Parte I: ¿Cómo funciona realmente tu IA favorita?

Cada vez que alguien me pregunta cómo funcionan modelos como ChatGPT, siento que detrás de una respuesta simple hay un universo entero de procesos matemáticos, lingüísticos y computacionales. Quiero contarte, de forma amena pero rigurosa, cómo funcionan los llamados Grandes Modelos de Lenguaje (LLM), y por qué han revolucionado la forma en que conectamos con la inteligencia artificial.

¿Qué es un LLM y qué lo hace tan especial?

Los LLM son modelos de inteligencia artificial entrenados con enormes cantidades de texto para comprender y generar lenguaje natural. Modelos como GPT-4, Claude o Gemini se entrenan con cantidades enormes de texto, del orden de billones de tokens, y absorben patrones, estilos, gramática y hechos. Pero más allá del tamaño, este proceso no ocurre de forma mágica: hay un flujo estructurado de procesamiento que va desde el texto en crudo hasta su representación matemática y su posterior interpretación mediante redes neuronales.

1. Tokenización: partir el lenguaje en fragmentos comprensibles

El primer paso para que una máquina entienda el lenguaje es dividir el texto en tokens, que pueden ser palabras, subpalabras o incluso sílabas. Esto permite que el modelo procese frases complejas como una secuencia ordenada de fragmentos reconocibles.

Los LLM como GPT usan tokenizadores basados en algoritmos como Byte Pair Encoding (BPE; Sennrich et al., 2016) o SentencePiece (Kudo y Richardson, 2018) para dividir el texto en fragmentos reutilizables. Esto permite manejar vocabularios más pequeños y representar de manera eficiente palabras raras o compuestas.

2. Vectorización y embeddings

Una vez que el texto se convierte en tokens, estos deben representarse de forma numérica para que una máquina pueda procesarlos. Esta representación se llama vectorización. Existen varias formas de hacerlo; una de ellas es el one-hot encoding, que consiste en representar cada token como un vector con un único 1 en la posición correspondiente al token en el vocabulario, y 0 en las demás.

Sin embargo, esto lleva a algunos problemas:

Esto lleva a la necesidad de representaciones más densas y semánticamente informativas: los embeddings.

Aquí el tema se vuelve más técnico, pero merece la pena. Empecemos por las definiciones: los embeddings son vectores densos y continuos que representan tokens en un espacio de menor dimensión, donde la proximidad entre vectores refleja similitud semántica. ¿Qué significa esto? Que los vectores más cercanos representan palabras con un significado más estrechamente asociado. Gracias a esto, el modelo puede entender que «rey» y «reina» están más cerca entre sí que «rey» y «silla».

Los embeddings se entrenan junto con el modelo. Inicialmente se asignan aleatoriamente y, a medida que el modelo aprende, se ajustan para que reflejen el contexto y significado de los tokens.

La magia del Transformer: atención y arquitectura neuronal

El corazón de un LLM moderno es el mecanismo de atención. Para entender mejor cómo funciona podemos imaginarlo así: cada palabra en una frase «mira» a las demás para entender cuál es relevante para su contexto. Esto se logra mediante vectores llamados queries, keys y values, que permiten ponderar la influencia de cada palabra en la generación del siguiente token.

Imaginemos que el vector de consulta (Q) correspondiente a la palabra «su» está diciendo algo como: «Estoy buscando un sustantivo que describa a una persona masculina». Por otro lado, el vector clave (K) de la palabra «Juan» podría estar diciendo: «Yo soy un sustantivo que describe a una persona masculina». La red neuronal detecta esta coincidencia entre ambos vectores y transfiere la información contenida en el vector de «Juan» hacia el vector de «su», ayudando así al modelo a entender a quién se refiere.

El mecanismo de atención multicabezal permite procesar múltiples relaciones en paralelo, con cada «cabeza» de atención enfocándose en una tarea diferente (por ejemplo, pronombres con sustantivos o resolución de homónimos).

Ahora toca un poco de matemáticas: para entender la atención hay que ver cómo se combinan estos tres factores. Es, además, una analogía útil de cómo asignamos la atención a las palabras cuando leemos.

Interpretemos esto paso a paso:

1. Producto punto Q·K^⊤: mide la similitud entre cada consulta y todas las claves.
2. Escalado por √d_k: estabiliza los gradientes al evitar valores extremadamente grandes.
3. Softmax: convierte los valores en pesos de atención entre 0 y 1 que suman 1.
4. Multiplicación por V: combina los valores según la importancia asignada por la atención.

Ahora es momento de pasar a la parte práctica. ¿Cuál es la importancia de todo esto para los grandes modelos de lenguaje? Creo que podemos resumirlo en tres aspectos:

• Permite que el modelo entienda dependencias a largo plazo.
• Mejora la comprensión contextual.
• Sustituye estructuras secuenciales como las RNN.

Cómo aprende y dónde se equivoca

El modelo no nace sabiendo. Aprende mediante un proceso iterativo donde predice palabras, compara con las correctas, calcula el error y ajusta sus millones (o billones) de parámetros para mejorar. Este proceso, llamado backpropagation, es lo que permite que el modelo se refine con el tiempo.

A pesar de su capacidad, los LLM cometen errores: pueden inventar datos (alucinaciones), reproducir sesgos de los datos de entrenamiento, y su desarrollo implica un alto costo computacional y energético. Tener conciencia de estas limitaciones es esencial para un uso ético y efectivo.

¿Qué podemos concluir de este breve análisis? Como científico de datos, entender cómo funciona un modelo de lenguaje me permite no solo usarlos mejor, sino también cuestionarlos, auditarlos y mejorarlos. Si algo debe quedar de este recorrido es que la atención no es comprensión: es un mecanismo de ponderación que, a gran escala, produce comportamientos que apenas empezamos a entender. De eso trata la segunda parte.

Referencias

• Kudo, T. y Richardson, J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. EMNLP 2018 (demostraciones).
• Sennrich, R., Haddow, B. y Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016.
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS 2017.