Guía de modelos de lenguaje: cómo funcionan realmente

Entender aunque sea a grandes rasgos cómo funcionan los modelos de lenguaje ayuda a usarlos mejor y a tener expectativas realistas sobre sus límites.

Predicción de la siguiente palabra

En su núcleo, un modelo de lenguaje predice qué palabra (o fragmento de palabra) es más probable que venga a continuación, dado todo el texto anterior. Repite ese proceso miles de veces para construir una respuesta completa.

Entrenamiento con enormes cantidades de texto

Estos modelos se entrenan con cantidades masivas de texto de internet, libros y otras fuentes, aprendiendo patrones estadísticos del lenguaje, hechos, estilos de escritura y relaciones entre conceptos.

El ajuste fino y el aprendizaje por refuerzo humano

Después del entrenamiento inicial, los modelos pasan por un proceso de ajuste donde personas humanas califican respuestas, enseñando al modelo a ser más útil, seguro y alineado con lo que se espera de un asistente conversacional.

Por qué a veces "alucinan"

Como el modelo predice patrones probables en lugar de consultar una base de datos de hechos verificados, puede generar información falsa con la misma confianza que información correcta, especialmente en temas muy específicos o recientes.

Qué significa la "ventana de contexto"

Es la cantidad de texto que el modelo puede "tener en cuenta" en una conversación a la vez; superarla hace que el modelo empiece a "olvidar" el inicio de la conversación.

Conclusión

Un modelo de lenguaje no es una base de datos de hechos ni un ser consciente: es un sistema de predicción de patrones extraordinariamente sofisticado, y entenderlo así ayuda a usarlo con las expectativas correctas.