El modelo Astra de OpenAI genera controversia por sus afirmaciones matemáticas
OpenAI anunció el 1 de agosto que su nuevo modelo Astra había resuelto 10 problemas de larga data en matemáticas y ciencias de la computación teórica. Sin embargo, la reacción de la comunidad matemática fue rápida y crítica.
Investigadores prominentes acusaron a OpenAI de minimizar trabajos previos, de no atribuir adecuadamente las contribuciones existentes y de exagerar la novedad de sus resultados generados por IA. Según OpenAI, el modelo Astra abordó problemas como los límites de empaquetamiento de esferas en dimensiones altas y avances en teoría de códigos, afirmando que no había habido progreso en estos temas durante al menos una década.
Investigadores como Steven Miller de la Universidad Yeshiva y Francesco Fournier-Facio de la Universidad de Cambridge respondieron, argumentando que los resultados de Astra se basaban en trabajos previos que OpenAI ignoró o subrepresentó. Notablemente, investigaciones relevantes de Andreas Thom y del propio Miller datan de 2016, informando directamente sobre el territorio que Astra afirmaba haber conquistado.
Para el 6 de agosto, Scientific American caracterizó la gestión de OpenAI sobre los anuncios como “conducta indebida en la investigación” y plagio, lo que llevó a la empresa a revisar algunas de sus declaraciones.
Este incidente no es la primera controversia de OpenAI en torno a afirmaciones matemáticas. En ocasiones anteriores, la empresa enfrentó críticas por problemas similares, lo que plantea preocupaciones continuas sobre cómo los modelos de IA sintetizan el conocimiento existente.
En última instancia, el costo de $2,000 por el procesamiento de los 10 resultados plantea preguntas sobre la naturaleza de las contribuciones de la IA en la investigación, sugiriendo que si Astra sintetizó décadas de trabajo humano sin el crédito adecuado, el costo refleja menos la capacidad de la IA y más el reempaquetado del conocimiento existente.
Actualizado 18:01 UTC
Nuevos desarrollos sobre el modelo Astra de OpenAI
- El GPT-6 Astra de OpenAI se lanzó el 3 de septiembre, logrando una notable puntuación del 97.6% en FrontierMath Tier 4 (v2).
- Una versión interna anterior de Astra obtuvo solo un 17% en evaluaciones de capacidad matemática, lo que resalta una mejora significativa.
- Astra logró un 99.9% en ARC-AGI-3 y un 100% perfecto en ExploitBench.
- Obtuvo un 96.0% en el benchmark GPQA Diamond y un 64.6% en Terminal-Bench Science 0.1.
- El 97.6% de Astra en FrontierMath representa una mejora de 14.6 puntos porcentuales sobre su predecesor, el GPT-5.6 Sol, que obtuvo un 83.0%.
- El modelo ha proporcionado nuevas perspectivas sobre las brechas de primos, un área desafiante en la teoría de números.
- El lanzamiento de Astra fue escalonado, con acceso inicial otorgado a organizaciones seleccionadas, seguido de una disponibilidad más amplia para suscriptores de ChatGPT Plus, Pro, Business y Enterprise.
- El acceso a la API está disponible a través de OpenAI, Azure y AWS Bedrock.
- Las evaluaciones independientes clasifican a Astra entre los modelos de IA de mejor rendimiento, aunque algunas variantes de Claude de Anthropic tienen un mejor desempeño en pruebas de inteligencia más amplias.
FAQ
¿Qué es el modelo Astra de OpenAI?
El modelo Astra de OpenAI es un sistema de IA anunciado el 1 de agosto de 2023, que afirma haber resuelto 10 problemas de larga data en matemáticas y ciencias de la computación teórica.
¿Qué controversias surgieron a raíz del anuncio del modelo Astra?
La comunidad matemática criticó a OpenAI por minimizar trabajos previos, no atribuir adecuadamente las contribuciones existentes y exagerar la novedad de sus resultados generados por IA.
¿Qué problemas matemáticos específicos afirmó haber resuelto el modelo Astra?
El modelo Astra afirmó abordar problemas como los límites de empaquetamiento de esferas en dimensiones altas y avances en teoría de códigos.
¿Cuál fue la respuesta de los investigadores respecto a las afirmaciones de Astra?
Investigadores como Steven Miller y Francesco Fournier-Facio argumentaron que los resultados de Astra se basaron en trabajos previos que OpenAI ignoró o subrepresentó, con investigaciones relevantes que datan de 2016.
¿Cuáles fueron las implicaciones del costo de computación de $2,000 para los resultados producidos por Astra?
El costo de computación plantea preguntas sobre la naturaleza de las contribuciones de IA en la investigación, sugiriendo que si Astra sintetizó conocimiento existente sin el crédito adecuado, el costo refleja más el reempaquetado de conocimiento que la capacidad de la IA.
Comentarios
Los comentarios se moderan antes de publicarse.
Aún no hay comentarios — sé el primero.