Satya Nadella de Microsoft aboga por un 'freno de emergencia' para los modelos de IA
Redactado con inteligencia artificial.
El CEO de Microsoft, Satya Nadella, ha expresado la necesidad de evaluar la arquitectura de confianza de la inteligencia artificial. Propone documentar las acciones de los modelos de IA y asegurar que siempre haya una opción para detenerlos si es necesario.
La necesidad de una evaluación de la IA
El CEO de Microsoft, Satya Nadella, ha compartido sus reflexiones sobre la seguridad en la inteligencia artificial en un reciente post en X. Nadella ha señalado que es fundamental dar un paso atrás y analizar la arquitectura de confianza de los modelos de IA.
Propuestas para mejorar la seguridad
Nadella enfatiza que no se puede tratar a la Superinteligencia como un conjunto de cajas negras, donde se acepten o rechacen sus recomendaciones sin un análisis más profundo. Propone separar el modelo de la estructura que coordina su funcionamiento y sugiere la implementación de controles y salvaguardias externas.
Entre sus recomendaciones destacan:
- Documentar cada acción significativa del modelo con evidencia comprensible y a prueba de manipulaciones.
- Garantizar que una persona autorizada pueda pausar o detener un modelo en medio de su tarea.
- Asumir desde el principio que un modelo podría estar comprometido, actuando como un "freno de emergencia".
Contexto actual
Sus declaraciones llegan en un momento en que las principales empresas de IA reconocen incidentes en los que han perdido el control sobre sus modelos. Además, se producen tras la publicación de un plan por parte de Dario Amodei, CEO de Anthropic, que aboga por un desarrollo más cauteloso de la inteligencia artificial.