Microsoft y la Universidad de Cornell Introducen Tokens de Pausa Gratuitos para un Entrenamiento Eficiente de LLM

Investigadores de Microsoft y la Universidad de Cornell han publicado una técnica de entrenamiento innovadora destinada a mejorar los modelos de lenguaje grandes (LLMs) en la predicción del siguiente token, manteniendo la velocidad de inferencia. El método, conocido como Tokens de Pausa Gratuitos, fue detallado en un artículo enviado a arXiv el 3 de septiembre.

Este enfoque innovador introduce un flujo de predicción paralelo que comparte pesos con el flujo de estado principal del modelo. Esto permite realizar cálculos adicionales cerca del final del entrenamiento sin los inconvenientes típicos asociados con modificaciones arquitectónicas.

Cómo Funcionan los Tokens de Pausa Gratuitos

Los intentos previos de mejorar los modelos de transformadores implicaban insertar “tokens de pausa” explícitos en la secuencia de entrada, lo que proporcionaba al modelo tiempo adicional para pensar, pero resultaba en longitudes de contexto más largas y una inferencia más lenta. El método de Tokens de Pausa Gratuitos elude estos problemas al crear un flujo de predicción paralelo ligero durante el entrenamiento. Este flujo comparte pesos con el modelo principal a través de redes de alimentación hacia adelante (FFNs) compartidas, minimizando los parámetros adicionales y las demandas computacionales.

Durante la inferencia, el flujo de predicción puede ser ignorado de manera efectiva, permitiendo que el modelo opere a velocidades comparables a las de los transformadores estándar. Se informa que la mejora en el rendimiento para un modelo de 1 mil millones de parámetros es de aproximadamente 2 a 3 centinats en la precisión de predicción del siguiente token.

Innovaciones Técnicas

Tres decisiones técnicas clave contribuyen a la baja sobrecarga de entrenamiento de los Tokens de Pausa Gratuitos:

• Utilización de una división de dos pasadas para mantener la compatibilidad con FlashAttention, un popular algoritmo de atención eficiente en memoria.
• Implementación de una ventana de predicción de w=0, que simplifica la arquitectura al no requerir que el flujo de predicción mire hacia adelante.
• Aprovechamiento de FFNs compartidos, permitiendo que el flujo de predicción utilice los parámetros existentes del modelo principal sin necesidad de capas dedicadas.

Los investigadores informan que entrenar con Tokens de Pausa Gratuitos toma solo entre 1.09 y 1.14 veces más que una tubería optimizada estándar. Este método ha mostrado mejoras en varias métricas, incluyendo isoflop, isoparameter e isotoken, indicando que los Tokens de Pausa Gratuitos producen mejores modelos mientras mantienen constantes los presupuestos computacionales, el conteo de parámetros y los tamaños de los datos de entrenamiento.

Implicaciones para el Despliegue

La importancia práctica de los Tokens de Pausa Gratuitos radica en sus requisitos mínimos. No hay necesidad de longitudes de contexto adicionales, lo que significa que las infraestructuras de despliegue existentes permanecen intactas. Además, la ausencia de sobrecarga adicional de caché de clave-valor permite que entornos con limitaciones de memoria adopten esta técnica sin actualizaciones de hardware. Por último, el método no introduce pasos de decodificación adicionales, asegurando que las aplicaciones sensibles a la latencia mantengan sus tiempos de respuesta.