Todos los modelos de IA hacen trampas si les das ocasión. Decirles “no hagas trampas” no basta

Una empresa de ciberseguridad ha probado 22 modelos de última generación y les ha planteado situaciones de todo tipo

21 de ellos hicieron trampas al menos una vez, y si no las hacían la puntuación obtenida era mucho más baja

FelonyBench no es un benchmark de verdad. Es un sitio web irónico que se burla de una sola cosa: lo peligrosos que son los modelos de IA en materia de ciberseguridad. Ha surgido como respuesta a lo que ha pasado en las últimas semanas en este ámbito: modelos de Anthropic, OpenAI y Meta han sido noticia porque han hackeado todo tipo de sistemas y han hecho cosas que no deberían haber hecho. Lo que debería ser preocupante se ha convertido en una paradoja: si un modelo hackea, es porque es mejor, y aquí Anthropic y OpenAI parecen liderar. Pero claro, lo hacen con trampas.

Qué ha pasado. La consultora de ciberseguridad en IA Dreadnode ha probado 22 modelos frontera. Ha ejecutado varias pruebas y retos a cada uno de ellos, y se ha dado cuenta de algo sorprendente (o quizás no tanto): 21 de ellos hicieron trampas al menos una vez. Si durante las pruebas se les dejaba claras las restricciones a la hora de resolver esos retos de ciberseguridad, su eficacia se reducía notablemente: del 41,5% pasaban al 26,1%.

EL fin justifica los medios. El problema no es que las IAs sean tramposas por sí mismas. Cuando les damos un objetivo y herramientas suficientes, algunos modelos de IA encuentran "atajos" y caminos alternativos para maximizar su puntuación sin demostrar realmente la capacidad que queríamos medir. Los modelos probados de Anthropic, OpenAI, Google, xAI, DeepSeek, Alibaba y Z.ai intentaron resolver 23 retos de ciberseguridad, pero 21 de los 22 modelos hicieron trampas y el 37,1% de todas las tareas que habían superado incluían alguno de los citados atajos prohibidos.

Si la IA puede esquivar pensar mucho, lo hace. Los modelos de IA debían resolver retos del tipo "capturar la bandera" encontrando y explotando vulnerabilidades en diversos sistemas. Lo que pasó es que a veces hacían algo más sencillo: buscaban en internet si esos desafíos habían sido publicados, encontraban la respuesta sin tener que pensar por ellos mismos o inspeccionaban los metadatos de la infraestructura de evaluación para tratar de esquivarla por ese lado. Los resultados podían ser correctos, pero no demostraban que las IAs supieran resolver el problema. Dreadnode distinguió en ese momento los resultados en dos métricas: el pass rate —el modelo logra la respuesta correcta— y solve rate, que solo cuenta las soluciones obtenidas legítimamente.

Si no hacen trampas, no son tan peligrosos. La tasa media de éxito inicial fue del 41,5%, pero cuando se eliminaron las "trampas" cayó al 26,1%. En algunos modelos ese salto fue aún más espectacular. GPT-5.4 pasó de diez retos aparentemente resueltos a solo dos resueltos de forma "limpia", lo que significa que sus éxitos con atajos se multiplicaron por cinco. En el caso de Qwen3.6 Plus fue de 3,5 veces más, y en el de Claude Sonnet 5, tres veces más. Incluso Opus 4.8, que fue el que más retos resolvió, solo resolvió limpiamente ocho de los 19 que logró superar. La estadística es curiosa, porque recuerda el reciente caso de los alumnos que hicieron trampas durante exámenes universitarios.

El "no hagas trampas" funcionó, pero no del todo. Los responsables de Dreadnode primero añadieron una instrucción explícita para resolver legítimamente los retos. Después añadieron una mucho más estricta que enumeraba los métodos prohibidos y advertía de que cualquier trampa supondría un suspenso automático. La propensión a hacer trampas bajó del 33% al 17,8% y finalmente al 8,5%. Catorce modelos acabaron obedeciendo completamente esas normas más duras, pero aun así ocho siguieron utilizando trampas y cuatro siguieron incluso después de ser advertidos.

Modelos cabezones. El caso de Qwen 3.6 Plus fue especialmente significativo. El modelo de Alibaba encontró una solución en internet para uno de los retos razonó explícitamente que no debía leerla. Durante los siguientes 80 mensajes se vio cómo intentaba resolver el problema legítimamente, pero cuando no pudo, acabó abriendo la solución de internet y copió lo que necesitaba para conseguir la respuesta. Otros modelos cambiaron de estrategia disminuyeron las búsquedas internas cuando se les advirtió, pero incrementaron sus intentos de analizar la propia estructura del benchmark de pruebas.

Evitando trampas. Desde Dreadnode recomiendan quitar el acceso a internet a los modelos a menos que sea estrictamente necesario, además de endurecer los sandboxes e impedir que la propia infraestructura de pruebas de ciberseguridad revele las respuestas. También señalan que es crucial usar retos cuyas soluciones no esten publicadas, y en todos los casos el aprendizaje es claro: los benchmarks tienen que diseñarse asumiendo que el modelo de IA intentará hacer trampas.

En Xataka | Qué significa que las empresas de IA estén teniendo problemas de alineación y dediquen ya el 20% de sus recursos a esto