Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo en el que afirma que «debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA». La publicación coincide con la renuncia de un investigador de la empresa que declaró que la industria «apuesta con nuestras vidas».
Dario Amodei, director ejecutivo de Anthropic, publicó en el sitio de la empresa un ensayo de 3.800 palabras titulado «We Must Pace the Frontier» (Debemos marcar el ritmo de la frontera). La frase central del texto es: «Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA».
El ensayo fue publicado mientras un investigador de la empresa, Jacob Coxon, renunciaba y declaraba que la industria «apuesta con nuestras vidas». Además, un jefe de seguridad de Anthropic calculó más de un 10% de probabilidad de que la IA cause la extinción humana.
Amodei afirmó que dos factores terminaron de convencerlo. El primero es la velocidad con la que avanza la IA desde mediados de este año, impulsada en parte por sistemas capaces de contribuir al desarrollo de nuevas generaciones de inteligencia artificial. Según explicó, esa forma de automejora recursiva «está empezando a ocurrir en toda la industria, incluida Anthropic».
El segundo factor fue el episodio protagonizado por agentes de OpenAI contra Hugging Face. Amodei describió su comportamiento como el de un enjambre que actuó «como un colectivo fanáticamente devoto», atacó objetivos que nadie le había indicado e intentó vulnerar el sistema encargado de evaluarlo. Según su estimación, en un plazo de 6 a 12 meses, un conjunto de agentes con mayor capacidad y el mismo nivel de desalineación «podría tomar internet entera con una botnet persistente» y provocar daños por cientos de miles de millones de dólares.
Amodei admitió que incidentes «similares, aunque menos graves» ocurrieron en Anthropic, causados en parte por «filtrado imperfecto de entornos de entrenamiento rotos». Sobre lo que pasa adentro de sus modelos, escribió que «todavía entendemos una fracción diminuta».
El plan presentado en el ensayo tiene tres pasos. El primero, que compromete a Anthropic de manera directa, es incorporar evaluadores independientes dentro de la propia empresa. Amodei mencionó como ejemplo a METR y propuso que estos equipos cuenten con escritorio en las oficinas, credencial de acceso, computadoras de la compañía y permisos comparables a los de los grupos internos encargados de evaluar riesgos. También tendrían acceso directo a empleados y la posibilidad de publicar sus conclusiones «sin control editorial de Anthropic». La empresa podría eliminar información sensible, pero, según Amodei, «no podemos tachar hallazgos solo porque sean desfavorables». Para explicar el modelo, recurrió a una comparación con el sistema bancario: supervisores del regulador trabajando junto a los empleados de la institución.
El paso dos es que las empresas de países democráticos coordinen estándares comunes y límites al ritmo del progreso, algo que Amodei reconoce «legalmente desafiante» y que requiere que el gobierno de Estados Unidos emita una exención antimonopolio para que los competidores puedan sentarse a hablar.
El paso tres es que las democracias negocien con los gobiernos autoritarios, con la advertencia de que «no debemos ser ingenuos». Propuso incluso un «límite de velocidad» a la automejora recursiva que compara con los tratados SALT que limitaron misiles nucleares, y lo calificó de «justo al borde de lo posible».
Sobre la idea de pausar que circuló en 2023, Amodei escribió que «tenía poco sentido entonces», porque estudiar la alineación en aquellos modelos era «como estudiar la psicología humana experimentando con bacterias». Hoy cree que uno o dos años extra «reducirían enormemente el riesgo».
Amodei anticipó la objeción sobre una posible captura regulatoria. Escribió que Anthropic aboga por una mayor regulación «incluso cuando eso hace que nos acusen de exageración, de catastrofismo o de captura regulatoria». El inversor Jason Calacanis formuló esa sospecha en forma de pregunta: ¿Anthropic sigue un manual de captura regulatoria o quienes trabajan allí están viendo algo que los demás no ven? El ensayo no ofrece una respuesta.