RoPE: cómo los LLM entienden la posición de los tokens

Zusammenfassung

Pixel comparte una explicación de RoPE, el método de embeddings posicionales que usan muchos LLM abiertos para representar el orden de los tokens. El anuncio compara la suma de posiciones al estilo GPT-2 con la aplicación de RoPE en cada bloque transformer, como en MiniMax-M3, y muestra por qué estas diferencias importan para comprender la atención.

DEV Community

RoPE: cómo la mayoría de los LLM abiertos ubican cada token

Cambiá el orden de dos palabras en una oración y el significado puede invertirse por completo. "El zorro rojo salta sobre el zorro gris" y "el zorro gris salta sobre el zorro rojo" comparten las mismas palabras, pero cambian quién salta sobre quién. Para una red neuronal que convierte cada palabra en un vector, esa diferencia no es automática, hay que decirle al modelo, de forma explícita, en qué posición de la secuencia está cada token. Ese problema, representar la posición dentro de un modelo de lenguaje, se resuelve con lo que se conoce como embeddings posicionales, y el método que domina en los LLM abiertos de 2026 se llama RoPE, por Rotary Position Embedding, descripto originalmente en el paper RoFormer (Su et al.). Cómo entra la posición a un modelo de lenguaje Un tokenizador convierte el texto en identificadores numéricos y una capa de embeddings transforma cada ID en un vector de características. Hasta ahí, el modelo no sabe nada del orden, la palabra "zorro" recibe el mismo vector sin importar si aparece primera o última. La posición se agrega después, y el momento exacto en que se agrega cambia según la arquitectura, según explica Sebastian Raschka en su repaso de los métodos posicionales usados en LLM modernos (Understanding Positional Embeddings in Modern LLMs). GPT-2, un modelo clásico, suma un vector de posición a cada embedding de token antes de que la secuencia entre al primer bloque transformer. La posición se fija una sola vez, al principio. MiniMax-M3, un modelo abierto reciente, hace algo distinto: agrega la información posicional dentro de cada bloque transformer, usando RoPE directamente en el mecanismo de atención (fuente). La posición ya no es un dato fijo que viaja pegado al token, se recalcula en cada capa, en función de qué tan lejos está un token de otro. Ese mismo artículo señala un detalle que pocos lectores notarían: de las 60 capas feedforward de MiniMax-M3, las primeras tres son densas y no mixture-of-experts, o MoE (fuente). Es un dato menor sobre la arquitectura, pero útil para quien compara modelos MoE, porque ni siquiera dentro de un mismo modelo todas las capas usan la misma estrategia. RoPE rota los vectores de atención en cada capa, no una sola vez. Cómo rota RoPE los vectores de atención La idea detrás de RoPE es geométrica. En el mecanismo de atención, cada token genera un vector de consulta (query) y un vector de clave (key); la similitud entre ambos decide cuánta atención presta un token a otro. RoPE toma esos vectores y los rota en pares de dimensiones, con un ángulo que depende de la posición del token en la secuencia. Un token en la posición 3 rota sus componentes un ángulo distinto al de un token en la posición 30. La parte que hace útil a RoPE no es la rotación en sí, sino lo que pasa cuando se multiplican un query rotado y un key rotado. El resultado depende únicamente de la distancia entre las dos posiciones, no de dónde empieza o termina la secuencia. Dos tokens separados por cinco posiciones producen la misma relación geométrica estén en el principio o en el final de un documento de 50.000 tokens. Esa propiedad, posición relativa y no absoluta, es la que le permite a un modelo generalizar mejor a secuencias más largas que las vistas en entrenamiento, al menos hasta cierto punto. Esto contrasta con los embeddings absolutos de GPT-2, donde cada posición tiene su propio vector aprendido y memorizado durante el entrenamiento. Si el modelo nunca vio la posición 10.000 durante el entrenamiento, ese vector simplemente no existe, y el modelo no tiene forma de representarla. Qué significa esto para quien extiende el contexto de un modelo Si fine-tuneás o adaptás un modelo open-weight (Llama, Qwen, Mistral) para que acepte un contexto más largo que el que trajo de entrenamiento, el método posicional que usa ese modelo decide qué herramienta de extensión te sirve. Un modelo con RoPE admite técnicas que escalan la frecuencia base de la rotación, como NTK-aware scaling o YaRN, para e...
RoPE: cómo los LLM entienden la posición de los tokens
Powered by Readybot.io

Das Neueste von Pixel

Incident Response: Look Beyond the Red Alert

Pixel’s DEV Community announcement explores how teams can fixate on one failing service while overlooking the real cause of an outage, such as a full …

Sach: AI Fact-Checks WhatsApp Forwards in India

Pixel’s announcement introduces Sach, a tool that checks forwarded messages in English, Hindi, Telugu, and 14 other Indian languages against official sources. It gives cited …

Java 25 Removes SecurityManager: What to Fix

Pixel’s announcement explains how Java 24’s JEP 486 permanently disabled the SecurityManager, breaking test workarounds that intercept System.exit. It recommends returning exit codes or throwing …