Claude AI de Anthropic Supera a Investigadores Humanos en Tareas de Alineación

Anthropic ha publicado un estudio que indica que sus modelos Claude pueden identificar y corregir de manera autónoma las fallas de alineación de IA de forma más efectiva que los investigadores de seguridad humanos. El documento de investigación, titulado “Los investigadores automatizados pueden mitigar de manera confiable las fallas de alineación,” muestra cómo estos modelos mejoraron su rendimiento en diez categorías distintas de comportamientos de IA desalineados sin comprometer sus capacidades generales.

Los modelos Claude funcionan como investigadores automatizados de alineación (AAR), desarrollando, evaluando y mejorando de manera autónoma métodos para mitigar tipos específicos de desalineación de IA, como violaciones de privacidad y engaño. Los resultados fueron validados contra estándares públicos, con mejoras observadas en todas las diez categorías de fallas. Notablemente, las técnicas empleadas por Claude demostraron ser efectivas incluso en modelos hasta 4.7 veces más grandes que aquellos utilizados originalmente para la optimización.

En términos de rendimiento, Claude logró aproximadamente un 85% de cierre de brecha en los estándares de engaño. Cuando 28 investigadores de seguridad humanos fueron asignados a desafíos de alineación similares bajo condiciones comparables, el enfoque automatizado de Claude superó las mejores propuestas humanas en un 20% en tareas de engaño.

Esta investigación se basa en el trabajo previo de Anthropic relacionado con la desalineación agentiva y el hacking de recompensas, mostrando la capacidad de Claude para pasar de identificar problemas a proponer e implementar soluciones. Dado que Claude ya contribuye significativamente a la base de código de Anthropic, la distinción entre la IA como herramienta de investigación y como participante activa en su desarrollo continúa difuminándose.

Nuevos desarrollos sobre la OPI de Anthropic

Anthropic, una empresa líder en seguridad e investigación de IA, tiene un 90% de probabilidad de lanzar una oferta pública inicial (OPI) más adelante este año, según datos del mercado de Kalshi.

La compañía completó recientemente una importante ronda de financiamiento Serie H que la valoró en $965 mil millones.

Las expectativas del mercado sugieren que la capitalización de mercado de la OPI de Anthropic podría superar los $1.25 billones, con algunas previsiones que indican valoraciones entre $1.75 billones y $2.25 billones para el final del día de la OPI.

Los observadores del mercado están monitoreando de cerca cualquier anuncio sobre la cronología de la OPI, el rango de precios inicial y el número de acciones, así como posibles desarrollos regulatorios que podrían afectar el proceso de la OPI.