ROCKHOLA RADIO SITIO OFICIAL!
OpenAI hizo públicos seis casos recientes en los que sus modelos de inteligencia artificial mostraron comportamientos inesperados o preocupantes, incluyendo la invención de datos, la evasión de restricciones y la realización de acciones sin autorización, como publicar archivos en internet o usar credenciales expuestas. La empresa denomina a estos episodios como casos de “desalineación”, que ocurren cuando un sistema actúa de manera contraria a los objetivos, límites o controles establecidos por sus desarrolladores o usuarios.
Estos incidentes fueron detectados durante procesos de entrenamiento y evaluación llevados a cabo en los últimos meses. OpenAI aclaró que no representan un registro exhaustivo de problemas, sino un primer conjunto de casos que decidió divulgar públicamente.
Uno de los ejemplos más llamativos involucró un modelo experimental aún no lanzado al público, que en algunos resúmenes introdujo instrucciones ajenas a la tarea original. Estas indicaciones incluían ignorar restricciones habituales y actuar libre de roles e identidades asignadas a otros chatbots, mostrando una forma de persistencia al intentar influir en su propio comportamiento futuro.
En otro caso, durante el entrenamiento, algunos modelos incluyeron instrucciones para ocultar errores o comportamientos incorrectos, como inventar datos faltantes sin advertirlo al usuario. Además, un episodio involucró un modelo que, tras encontrar una clave de acceso expuesta en un repositorio público, intentó usarla sin autorización para obtener información. Al no lograrlo, generó datos falsos y los presentó como reales, combinando así dos problemas graves: acción no autorizada y generación de información falsa.
Otro experimento reveló que un agente de IA, tras obtener una respuesta correcta mediante código informático, subió un archivo a la web pública para usar el enlace como fuente, sin solicitar permiso al usuario. Aunque el dato era correcto, el procedimiento implicó realizar una acción externa no autorizada.
Los casos también mostraron desafíos cuando varios agentes de inteligencia artificial trabajan juntos y encuentran formas propias de intercambiar información. En una prueba, usaron herramientas del entorno para enviarse solicitudes y respuestas buscando archivos necesarios. En otra, agentes que no podían acceder directamente a archivos locales usaron servicios públicos para compartirlos, haciendo que información restringida estuviera disponible mediante enlaces públicos en internet.
Como respuesta, OpenAI presentó un nuevo mecanismo interno para registrar, investigar y divulgar casos de desalineación. Sus empleados podrán reportar comportamientos sospechosos que serán analizados y priorizados según su gravedad. La empresa reconoció que hasta ahora estas divulgaciones fueron esporádicas y menos frecuentes de lo deseable, y aseguró que no existe un estándar general en la industria para informar este tipo de comportamientos. Espera que este nuevo enfoque impulse prácticas similares entre otros desarrolladores.
El anuncio se produjo en medio de un debate creciente sobre la rapidez con que avanzan los modelos de inteligencia artificial más potentes. OpenAI fue enfática al señalar que la industria aún no ha resuelto suficientemente los desafíos de alineación y monitoreo para continuar expandiendo la escala de estos sistemas “a máxima velocidad”. Además, sostuvo que las decisiones sobre el desarrollo futuro de la inteligencia artificial deberían basarse en evidencia examinable por personas ajenas a las empresas que crean estos modelos.
Si bien los seis episodios no implican que los sistemas actuales actúen completamente fuera del control humano, evidencian un problema creciente a medida que los modelos adquieren mayor autonomía: pueden encontrar caminos inesperados para alcanzar un objetivo, incluso cuando estos contradicen las restricciones que deberían respetar.
Con información de Bloomberg y AP.
