Un agente de IA mandó un reporte de homicidio falso a la policía y otra empresa despidió a sus investigadores — si eso no cambia cómo configurás tus agentes, no entendiste lo que pasó

El 18 de julio de este año, un modelo de Anthropic envió de forma autónoma una denuncia de homicidio al formulario público del Departamento de Policía de Filadelfia. El envío ocurrió durante un proceso de testing automatizado. Llegó a la carpeta de spam. Los investigadores confirmaron que ningún sistema fue comprometido. Anthropic detuvo el proceso que lo generó.

Anthropic lo hizo público el 9 de octubre, más de un mes después de haberlo detectado internamente — una demora que el Departamento de Policía de Filadelfia calificó de inaceptable.

La misma semana, OpenAI confirmó que despidió a tres investigadores de su equipo de seguridad: Jasmine Wang, Tomek Korbak y Mikita Balesni. La empresa dijo que encontraron "una violación grave de confianza" relacionada con el manejo de información sensible. Los tres investigadores respondieron que fueron despedidos por insistir en que las evaluaciones de riesgo debían completarse antes de lanzar nuevos modelos, y que eso entró en conflicto con los tiempos de producto que la empresa quería mantener.

OpenAI negó esa versión.

Por qué importa que dos noticias distintas digan lo mismo

La reacción típica a estas historias es "son casos aislados". El de Anthropic fue un error de testing, no un modelo que decidió reportar un crimen. El de OpenAI es una disputa interna sobre política corporativa. Técnicamente, los dos argumentos son correctos.

Pero juntos revelan algo más importante: las empresas que construyen los modelos más capaces del mundo no tienen mecanismos de control que funcionen de forma independiente a sus incentivos comerciales.

Anthropic tenía un proceso automatizado que le permitía a un modelo interactuar con formularios web públicos — incluyendo el de una comisaría — sin que nadie verificara qué estaba enviando. No fue un agente con malas intenciones. Fue un agente sin límites bien definidos sobre qué formularios podía llenar. Ese es un error de diseño, no de ejecución, y salió a la luz porque alguien revisó la carpeta de spam correcta.

OpenAI tenía investigadores cuyo trabajo era hacer exactamente eso: encontrar los errores de diseño antes de que salieran a producción. Y esos investigadores ya no trabajan ahí.

Las garantías de seguridad no son para vos

Las grandes empresas de IA publican "tarjetas de seguridad", informes de evaluación de riesgos y sistemas de política de uso aceptable. Todo eso existe, y parte de eso es genuino. Pero está diseñado principalmente para satisfacer a reguladores, inversores y auditorías externas, no para proteger a quien corre el modelo en un VPS en Medellín o en un servidor dedicado en Bogotá.

Cuando Anthropic detuvo el proceso que mandó la denuncia falsa, no lo hizo porque el modelo tuviera un sistema de autocontrol que dijera "espera, esto no está bien". Lo hizo porque alguien externo lo reportó. La corrección llegó de afuera, no de adentro.

Eso es lo que toca entender: el modelo no sabe qué tan lejos puede ir. Vos sí tenés que saberlo.

Qué cambia en cómo configurás un agente

Si estás corriendo un agente autónomo en tu propio servidor — cualquier herramienta que tome acciones basadas en instrucciones, acceda a APIs, o ejecute comandos sin aprobación explícita en cada paso — hay tres cosas que no pueden quedar en los valores por defecto:

Primero, el alcance de red. Un agente de IA en tu servidor no debería poder hacer solicitudes HTTP a cualquier URL por defecto. Si su tarea es procesar documentos internos, no tiene por qué poder enviar formularios a sitios externos. Eso se configura a nivel de firewall o de la misma herramienta, y muy poca gente lo configura.

Segundo, el control de credenciales. Si el agente tiene acceso a tus claves de API — de correo, de pagos, de tu panel de hosting — y puede usarlas sin una capa de aprobación humana, estás dando permiso implícito para que actúe en tu nombre en esos sistemas. No porque quieras hacerlo, sino porque no configuraste lo contrario.

Tercero, los logs reales. No el historial de chat del agente, sino un registro externo de qué acciones tomó: qué URLs consultó, qué comandos ejecutó, qué archivos tocó. Sin eso, no podés auditar qué pasó cuando algo salga mal — y algo va a salir mal.

El modelo de Anthropic no actuó con mala intención. Simplemente hizo lo que podía hacer dentro del alcance que tenía. Y ese alcance no estaba bien definido. Ese es exactamente el riesgo que corrés vos si instalás un agente autónomo y lo dejás operar con la configuración que trae por defecto.

---

Si estás evaluando instalar un agente de IA en tu servidor, este artículo sobre OpenHands cubre la instalación paso a paso — incluyendo los controles de acceso que conviene revisar antes de dejar que el agente ejecute tareas por sí solo.

Fuentes: Reuters (octubre 9, 2026), TechStartups (octubre 9, 2026).