Antes de abrir otra tabla de modelos, escribe qué necesitas terminar. «Usar la mejor IA» todavía no es un encargo. «Encontrar las discrepancias entre estos documentos, señalar las páginas y entregar una síntesis de doscientas palabras» ya permite decidir algo. Tiene resultado, condiciones y una manera de descubrir si la máquina se equivocó.

Los benchmarks ahorran una búsqueda enorme. Reúnen pruebas, publican métodos y permiten comparar candidatos que sería costoso examinar desde cero. Su utilidad aumenta cuando los leemos como evidencia para una decisión. El primer puesto merece atención. El contrato de exclusividad con nuestra cabeza puede esperar.

El número uno también tiene vecinos

En Text Arena, la tabla general fechada el 15 de octubre sitúa a Gemini 4 Argon (High) primero, con 1524 ± 9 puntos y 4.904 votos. Junto a esa fila aparecen dos detalles magníficos para estropear una captura demasiado entusiasta: el resultado es preliminar y su rango de posiciones va del uno al tres. Son datos de la misma tabla, consultada el 18 de octubre. Text Arena.

El rango recoge la incertidumbre de las puntuaciones y su relación con las de otros modelos. Leerlo junto al primer puesto ayuda a distinguir una ventaja estimada de una superioridad rotunda. Método de clasificación.

Arena compara respuestas a partir de preferencias humanas. Esa información ayuda a elegir candidatos; si tu encargo exige conservar una cita, verificar una fecha o sumar una columna, toca comprobarlo directamente. Una respuesta puede resultar convincente y dejar una suma mal hecha. La tabla ya ha ayudado bastante si permite escoger a quién pondremos a trabajar. Arena-Rank.

Qué trabajo había en el examen

Artificial Analysis ofrece otra entrada. Su Intelligence Index v4.3.2 reúne diez evaluaciones y es principalmente textual y en inglés. Consultar las pruebas que lo componen ayuda a reconocer qué capacidades participan en la nota. Para seleccionar un asistente que edite crónicas en español, la puntuación agregada abre una lista de candidatos; una muestra de edición en español decide cuáles permanecen en ella. Metodología del índice.

El tablero consultado el 18 de octubre atribuye la puntuación más alta publicada, 58, a Claude Opus 5.5 (Max, Default Fallback). El nombre completo importa: incluye una configuración. También importa el apellido del examen. Ese 58 pertenece al índice de Artificial Analysis; los 1524 de Arena pertenecen a otra escala y otro procedimiento. Promediarlos produciría una cifra muy precisa y perfectamente inútil. Tablero de Artificial Analysis.

Para programar, SWE-bench permite afinar la pregunta. Verified contiene 500 casos filtrados por humanos. Su vista Bash Only compara modelos en el mismo entorno mini-SWE-agent, y la medida publicada es el porcentaje de casos resueltos. La variante Multilingual reúne 300 casos de 42 repositorios y nueve lenguajes. Es una diferencia sustantiva para quien trabaja fuera de Python, el lenguaje de los repositorios del conjunto original. SWE-bench.

Ese diseño invita a examinar el sistema que produjo el resultado: modelo, herramientas, instrucciones, intentos y límites. Si vamos a contratar un agente que modifica un repositorio, interesa saber cómo trabaja equipado para hacerlo. Una cifra sin el conjunto y la configuración pierde parte de su significado antes de llegar a nuestra pantalla.

La factura del trabajo terminado

Un precio bajo por millón de tokens resulta atractivo; falta saber cuántos consumirá el encargo y cuántas veces habrá que repetirlo. Artificial Analysis ofrece un cálculo del coste por tarea. Su medida de tiempo excluye la espera hasta el primer token y la sobrecarga: no describe toda la espera del usuario. La factura y el reloj merecen leerse con el trabajo completo a la vista. Definiciones del tablero.

Para una clasificación nocturna de miles de textos, quizá podamos aceptar más espera. En una conversación de atención al cliente, esa misma espera se vuelve parte del problema. Y en ambos casos cuenta el trabajo de revisión: si una salida obliga a rehacerla a mano, la tarifa de la API cuenta solo una parte de la historia.

Propongo empezar con una docena de encargos habituales, incluidos algunos que suelan salir mal. Decide antes qué tendría que entregar la herramienta para que lo dieras por bueno. Después prueba con el mismo material y un presupuesto comparable. Anota cuánto gastó, cuánto tardó y cuántas veces tuviste que intervenir. Repite los casos dudosos; conserva los fallos.

Con esos resultados podrás elegir el sistema que cumple lo necesario a un coste sostenible y reservar otro más capaz para los encargos que lo justifiquen. Esta es una propuesta de prueba; SmartAGI no la ha ejecutado para este artículo.

La medalla puede quedarse en la web. Nosotros necesitamos entregar.