Cambió la regla de medir, y eso es bueno para quien compra
Artificial Analysis, una de las pocas organizaciones independientes que todo el mercado de IA usa para comparar modelos, cambió la regla de medición. Este martes lanzó el Intelligence Index v5, la mayor actualización desde la versión 4 en enero, y lo que importa fuera de la burbuja de benchmarks es simple: se volvió mucho más difícil para un laboratorio entrenar un modelo especialmente para sacar buena nota en la prueba.
Examen cerrado en vez de examen memorizado
Hasta ahora, buena parte de los benchmarks de IA eran públicos: cualquier laboratorio podía ver las preguntas, sospechar que estaban en sus datos de entrenamiento y optimizar el modelo para ese conjunto específico, inflando la nota sin una ganancia real de capacidad. En la v5, el 60 por ciento del índice pasa a correr sobre conjuntos privados o respuestas retenidas, que los laboratorios no ven antes de la evaluación. Artificial Analysis también sumó nuevos criterios: FrontierCode 2.0, de Cognition, enfocado en programación real de punta a punta, y Terminal Bench Science, centrado en tareas científicas ejecutadas en terminal.
Quién lidera ahora
Con la regla nueva, el Claude Opus 5.5 de Anthropic, en esfuerzo máximo, lidera con 58 puntos, por delante del GPT-6 Astra de OpenAI, también en modo máximo, con 57, y del GPT-6.1 Sol, con 55. Anthropic y OpenAI ocupan las cinco primeras posiciones del ranking. El Gemini 4 Argon de Google, en modo alto, aparece después con 50 puntos. La diferencia entre el primero y el segundo lugar es pequeña pero simbólica: muestra que la disputa entre los dos laboratorios sigue corriendo punto a punto, incluso bajo un criterio de evaluación mucho más estricto.
La distancia entre modelo abierto y cerrado se duplicó
El dato que más llama la atención para quien sigue el mercado de código abierto es otro: la diferencia entre el mejor modelo de pesos abiertos y el mejor modelo cerrado saltó de 3 puntos en la v4 a 12 puntos en la v5. El Kimi K3.1 Pro, de Moonshot, lidera entre los modelos abiertos con 46 puntos, pero sus pesos todavía no fueron publicados. Entre los modelos abiertos ya disponibles para descargar, DeepSeek V4.1 Flash y GLM-5.3 empatan en 32 puntos, 26 puntos por detrás del líder general. Es decir: el discurso de que el código abierto ya alcanzó al cerrado pierde fuerza justo cuando la regla se volvió más difícil de manipular.
El precio escondido de subir en el ranking
Artificial Analysis también expuso cuánto cuesta buscar una nota alta. El Claude Opus 5.5 varía de 35 puntos en modo de esfuerzo bajo hasta 58 en modo máximo, un salto de rendimiento que llega con un costo de inferencia cerca de diez veces mayor. La mediana de tokens de salida por tarea subió de 35 mil a 59 mil entre una versión y otra, un crecimiento impulsado principalmente por las evaluaciones agénticas: pesan el 55 por ciento de la nota final, pero representan cerca del 90 por ciento de los tokens generados en las pruebas. En la práctica, ganar posición en el ranking cada vez depende más de dejar que el modelo piense y actúe por más tiempo, no solo de un salto de arquitectura.
Qué cambia para quien elige un modelo en el día a día
Para quien decide qué IA poner en producción, la lectura práctica es doble. Primero, el ranking se volvió más confiable para apostar dinero, porque reduce la chance de que un modelo parezca bueno solo porque vio la prueba antes. Segundo, comparar nota sin comparar el costo del modo de esfuerzo usado se volvió una trampa: un modelo puede liderar en esfuerzo máximo y perder la ventaja financiera apenas se reduce el esfuerzo para caber en el presupuesto. Artificial Analysis también lanzó en paralelo el Progress Index v1, que compara la capacidad de modelos lanzados desde noviembre de 2022 en una sola escala, útil para medir la evolución histórica, aunque el Intelligence Index sigue siendo la referencia para decisiones de uso inmediato.
Fuentes
Artificial Analysis: Announcing Artificial Analysis Intelligence Index v5; Artificial Analysis en X: Claude Opus 5.5 takes the top spot; TestingCatalog en X: Daily AI Brief, 28 de octubre.
