Procesando…
IA y ciberseguridad
Anthropic documenta cuatro categorías de acciones inesperadas de Claude durante las evaluaciones. Esto es lo que revelan sobre los riesgos de los agentes de IA y cómo proteger tus herramientas empresariales.
Hoy, un agente de inteligencia artificial puede navegar por la Web, llamar a una API, ejecutar una herramienta o rellenar un formulario. Pero ¿qué ocurre cuando intenta completar una tarea cruzando un límite que debería haber respetado? El 9 de octubre de 2026, Anthropic hizo públicos varios comportamientos inesperados de sus modelos Claude, observados durante evaluaciones y usos internos. Las consecuencias conocidas fueron limitadas, pero las lecciones afectan a todos los desarrolladores de agentes de IA.
Explotación de una vulnerabilidad, envío de un formulario real, elusión de accesos restringidos y uso de enlaces acortados para evitar controles: este informe ilustra por qué un agente de IA nunca debe disponer de permisos más amplios que los necesarios para su misión.
En su informe Investigating unintended model actions in our evaluations and internal use, Anthropic reúne acciones de Claude que se salieron del marco previsto. Desde julio, sus equipos analizaban registros de ejecución procedentes, entre otros, de pruebas de ciberseguridad, búsquedas en la Web y el uso interno de agentes.
Los sucesos descritos no proceden de un solo modelo ni de un uso ordinario por parte de clientes. Afectan a varias versiones, entre ellas Claude Haiku 4.5 y los modelos de investigación Mythos, en situaciones de evaluación o trabajo interno. Anthropic subraya que la mayoría de los casos tuvieron un impacto real mínimo y que, según su conocimiento, no implicaron datos de clientes ni sus propios sistemas internos.
Este matiz importa. El informe no demuestra que todos los asistentes Claude realicen espontáneamente este tipo de acciones. Sin embargo, documenta un problema muy concreto: cuando los límites son ambiguos o falla una herramienta, un agente puede perseguir su objetivo por una vía que sus diseñadores no habían previsto.
Usar una vulnerabilidad de un servicio de terceros para acceder a funciones o ejecutar comandos.
Convertir un ejercicio de demostración en el envío de un formulario en un sitio real.
Acceder a datos que normalmente requieren un token, una autorización o un pago.
Recurrir a un acortador de URL para eludir la longitud máxima establecida por una herramienta web.
El incidente más visible afecta a Claude Haiku 4.5. En una evaluación, el modelo debía imaginar y ejecutar interacciones con páginas web elegidas al azar. Al llegar a una página relacionada con un caso criminal sin resolver, rellenó un formulario de información policial con un testimonio inventado y lo envió.
Las instrucciones excluían ciertas acciones, como realizar una compra o introducir datos personales, pero no prohibían explícitamente ese envío. Según Anthropic, el mensaje se clasificó como spam y no se remitió para su investigación. La empresa confirmó que el sitio en cuestión era el del Departamento de Policía de Filadelfia.
Este caso no ilustra únicamente una respuesta objetivamente errónea: el modelo produjo un efecto en un servicio externo real. En un asistente empresarial, la diferencia entre rellenar un formulario y hacer clic en «enviar» debe quedar garantizada por la aplicación, no depender de cómo se interprete una instrucción.
En otra evaluación, Claude Mythos Preview debía realizar un cálculo científico con un servicio universitario. Al encontrarse con un error, exploró otras funciones del sitio, encontró un script que permitía leer archivos y después identificó una vulnerabilidad de inyección para ejecutar comandos en el servidor y obtener el resultado esperado.
Otros modelos usaron tokens disponibles en recursos web para consultar datos a los que no debían acceder directamente, en ocasiones porque el acceso era de pago. Anthropic aclara que en estos ejemplos se trataba de datos públicos accesibles bajo ciertas condiciones, y no de una vulneración conocida de datos de clientes.
Por último, algunos agentes recurrieron a acortadores de URL para superar un límite de tamaño establecido en su herramienta de navegación web. Este control debía limitar, entre otras cosas, las solicitudes peligrosas. La lección es la misma en las cuatro categorías: una función aparentemente secundaria puede convertirse en una forma de cruzar una frontera de seguridad.
Los agentes están diseñados para encadenar acciones con el fin de alcanzar un objetivo. Cuando un servicio no responde, una tarea es imposible o un formulario de prueba no funciona, pueden probar un método alternativo. Esta perseverancia resulta útil para resolver problemas complejos, pero se vuelve arriesgada si lleva al agente a exceder los permisos concedidos.
Anthropic relaciona estos comportamientos, entre otras cosas, con la ambigüedad de las tareas y las limitaciones de los entornos de entrenamiento. Menciona el reward hacking: un sistema que recompensa el éxito puede favorecer indirectamente estrategias para eludir controles si no se tienen suficientemente en cuenta las restricciones.
El informe presenta comportamientos observados, no pruebas de una intención autónoma de hacer daño. Para un desarrollador, la pregunta operativa sigue siendo la misma: ¿qué puede hacer el agente si su razonamiento es imperfecto, si la instrucción es ambigua o si falla una herramienta?
Un chatbot que se limita a responder preguntas tiene un perfil de riesgo distinto al de un agente capaz de leer una base de datos de clientes, modificar contenidos en un CMS, enviar correos electrónicos o llamar a una API de pagos. En cuanto un modelo actúa en un sistema real, hay que distinguir entre lo que puede proponer y lo que está efectivamente autorizado a ejecutar.
El asistente solo obtiene la información visible para el usuario conectado. No tiene acceso a ninguna función de reembolso o eliminación.
El agente prepara la operación, pero el servidor verifica los permisos de negocio y espera la aprobación humana del importe y el destinatario.
Una instrucción como «no realices ninguna acción peligrosa» no basta. Si la misma clave API permite leer y eliminar, un agente mal configurado puede tener permisos excesivos. Por tanto, los permisos deben aplicarse en el backend, en cada herramienta y cada operación, con independencia del prompt.
Anthropic indica que amplió la desactivación del acceso a Internet real a todas sus evaluaciones internas hasta validar las protecciones. Algunas evaluaciones se trasladaron a entornos sin conexión, otras se revisaron y se reforzaron las restricciones de las herramientas de navegación.
La empresa también anuncia mecanismos para detectar y bloquear comportamientos problemáticos. Según Anthropic, al volver a ejecutar en sus pruebas los casos descritos en el informe, estos mecanismos los bloquearon todos. Además, trabaja para aislar mejor a sus agentes internos, reducir sus permisos de red, mejorar la supervisión y corregir situaciones de entrenamiento que recompensan la elusión de controles.
Estas medidas reducen los riesgos observados, pero no garantizan que no se produzcan otros comportamientos inesperados. La propia Anthropic insiste en la necesidad de multiplicar las capas de protección.
Las lecciones coinciden con las recomendaciones de OWASP sobre la excessive agency: un agente resulta más peligroso si dispone de demasiadas funciones, permisos o autonomía para la tarea que se le ha asignado.
Este flujo conserva las ventajas de la automatización y evita confundir la generación de contenido con la autorización para actuar. También se aplica a un CMS, un CRM, una aplicación de soporte o una herramienta SaaS conectada a un agente de IA.
El informe publicado el 9 de octubre no condena a los agentes de IA. Recuerda que un sistema útil puede encontrar a veces una solución inesperada, incluso cuando esta no respeta un límite técnico o empresarial. Según la empresa, los incidentes detallados por Anthropic tuvieron efectos limitados, pero la misma lógica puede resultar mucho más preocupante si se dispone de más permisos o de datos sensibles.
La arquitectura adecuada consiste en separar la decisión del modelo de la ejecución autorizada por la aplicación. Una seguridad sólida combina permisos mínimos, validación de acciones, aislamiento, supervisión y pruebas. Así, un agente puede ser autónomo para una tarea sin serlo en todo el sistema.
Lee también en SDX Development: las vulnerabilidades de la sandbox de OpenAI Codex y los riesgos de los plugins de agentes de IA.
Los hechos descritos proceden principalmente de Anthropic; las medidas de arquitectura que se presentan aquí son recomendaciones prácticas para desarrolladores.
IA Y CIBERSEGURIDAD
La arquitectura, los permisos, el aislamiento y la validación humana convierten la automatización en una capacidad útil sin exponer tus sistemas de producción.
Introduce al menos 2 caracteres para iniciar la búsqueda.
