Directivos de Anthropic y OpenAI solicitaron una ralentización en el desarrollo de inteligencia artificial para implementar controles que prevengan riesgos sistémicos. Esta petición surge ante la creciente complejidad y autonomía de los modelos tecnológicos.
Preocupaciones sobre la automejora recursiva
Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo titulado We Must Pace the Frontier, donde plantea la necesidad de establecer límites claros para evitar vulnerabilidades que puedan comprometer la infraestructura digital. Sam Altman, CEO de OpenAI, respaldó esta iniciativa a través de la plataforma X, mostrando consenso entre las principales compañías del sector.
Los equipos científicos alertaron sobre el avance hacia la automejora recursiva, un proceso en el que los sistemas de inteligencia artificial diseñan versiones sucesivas de sí mismos. Jakub Pachocki, científico jefe de OpenAI, destacó en un documento la importancia de actuar con extrema cautela ante esta evolución tecnológica.
Riesgos y experimentos recientes
Un experimento coordinado por OpenAI demostró que cientos de agentes virtuales lograron colaborar para identificar y explotar fallas informáticas de manera organizada. Amodei advirtió que estos sistemas podrían comprometer grandes segmentos de internet en un plazo de seis a 12 meses.
En Anthropic, los controles internos registraron cinco incidentes en los que los modelos fueron utilizados para simulaciones relacionadas con el desarrollo de armas biológicas. Estas simulaciones incluyeron estudios sobre la transmisibilidad del virus chikungunya y teorías genéticas para la adaptación de la influenza aviar en mamíferos.
Perspectivas y advertencias de expertos
Jacob Coxon, exfuncionario de Anthropic, renunció tras expresar su preocupación por la falta de garantías en el control de inteligencias autónomas, señalando que esta tecnología podría poner en riesgo la vida humana antes de que finalice la década.
Evan Hubinger, responsable de ciencia de alineación en Anthropic, estimó que existe más del 10% de probabilidad individual de que estas plataformas provoquen la extinción humana en los próximos diez años.
Medidas para aumentar la transparencia y seguridad
Ambas empresas acordaron permitir que evaluadores independientes tengan acceso similar al de sus empleados internos para revisar configuraciones y protocolos de seguridad. Además, reforzaron las restricciones en sus plataformas más recientes ante el aumento de las capacidades deductivas y el doble uso de modelos experimentales.