162 artículos
Explorar guías
El throughput es la pregunta por la capacidad, distinta de la pregunta por la velocidad que plantea la latencia. Agrupar solicitudes en lotes sube el throughput y a la vez sube la latencia individual, que es exactamente el intercambio que quieres para trabajos offline y exactamente el equivocado para un chat. En la práctica: Procesar por lotes un millón de clasificaciones durante la noche; nadie está mirando el reloj.
Los modelos no ven letras ni palabras; ven tokens, que son trozos de caracteres producidos por un tokenizador. En inglés el promedio es de unos cuatro caracteres por token, así que 750 palabras son cerca de 1,000 tokens. Los tokens son también la unidad de facturación y la unidad de la ventana de contexto, lo que convierte a este en el término comercialmente más relevante del glosario. En la práctica: ‘unbelievable’ podría dividirse en ‘un’, ‘believ’, ‘able’ — tres tokens, una palabra. ...
Un tokenizador convierte el texto en números enteros usando un vocabulario fijo aprendido de los datos. Eso explica varias rarezas famosas: los modelos cuentan mal las letras porque nunca ven letras, y el texto que no está en inglés suele costar más tokens para el mismo significado, porque los vocabularios están sesgados hacia el inglés. En la práctica: La misma oración en griego puede costar dos o tres veces los tokens que cuesta en inglés. ...
Top-p se queda con los tokens más probables hasta que su probabilidad acumulada llega a p, y luego muestrea solo entre esos. A diferencia de la temperatura, se adapta a qué tan seguro está el modelo en cada paso. Ajustar los dos a la vez suele volver el comportamiento más difícil de razonar — elige uno. En la práctica: Top-p 0.9 ignora la cola larga de tokens improbables sin aplanar toda la distribución. ...
Las TPU son ASICs diseñados específicamente para las operaciones con tensores de las redes neuronales, disponibles a través de Google Cloud y no como hardware que compras. Son un ejemplo de un movimiento más amplio hacia silicio hecho a medida para IA, a medida que las GPU de propósito general dejan de ser la única opción. En la práctica: Los entrenamientos grandes en la infraestructura de Google suelen usar pods de TPU. ...
Presentado en 2017, el transformer reemplazó el procesamiento secuencial por la atención, lo que le permite al modelo mirar todos los tokens de la entrada a la vez y ponderar qué tan relevantes son entre sí. Ese paralelismo es lo que volvió práctico entrenar con texto a escala de internet. La ‘T’ de GPT viene de transformer. En la práctica: En ’el trofeo no cabía en la vitrina porque era demasiado grande’, la atención es la forma en que el modelo conecta ’era’ con ’trofeo’. ...
La transparencia tiene que ver con la divulgación más que con el mecanismo: publicar model cards, documentar los datos y avisarle a la gente que está hablando con una máquina. El EU AI Act vuelve obligatorias varias de sus formas, entre ellas etiquetar el contenido sintético y revelar las interacciones con chatbots. En la práctica: Un aviso que indica que el asistente es IA y que un humano puede tomar el control. ...
El uso de herramientas es lo que le permite a un modelo hacer cosas que por sí solo no puede: consultar datos actuales, hacer cálculos exactos, escribir en un sistema. El modelo elige la herramienta y los argumentos; tu código la ejecuta y devuelve el resultado. Las herramientas son también el punto donde los errores del modelo se convierten en acciones en el mundo real, así que los permisos importan. ...
La ventana de contexto es la memoria de trabajo del modelo para una sola solicitud. Todo tiene que caber: el prompt de sistema, el historial del chat, los archivos adjuntos y la respuesta. Si la excedes, se descarta el contenido más antiguo o la llamada falla. Ten en cuenta que una ventana grande no es lo mismo que una buena recuperación dentro de ella — los modelos siguen perdiendo el hilo en la parte media. ...
El artículo 3(25) y el artículo 72 exigen que los proveedores recojan y revisen la experiencia de los sistemas desplegados, para que los problemas disparen acciones correctivas en lugar de acumularse. Cierra el ciclo que el lanzamiento suele dejar abierto, y va de la mano con los deberes de notificación de incidentes graves. En la práctica: Un plan documentado para recopilar datos de desempeño en campo y actuar sobre ellos. ...