El jefe científico de OpenAI pide coordinación internacional y frenadas voluntarias

El científico jefe de OpenAI, Jakub Pachocki, publicó el 6 de septiembre un ensayo firmado con una tesis incómoda para su propia industria: la velocidad actual es insostenible sin más garantías.

Dos alineamientos, no uno

El texto parte de una distinción útil. Pachocki separa el alineamiento de objetivos, que la IA intente cumplir la tarea encomendada, del alineamiento de valores, la capacidad de sostener principios generales ante situaciones ambiguas, desconocidas o adversas. Es el segundo el que le preocupa, y el que considera sin resolver.

Su argumento central es sobre generalización. Estos sistemas, sostiene, se cultivan más que se diseñan: son el producto de repetir un paso de optimización sobre cantidades difíciles de imaginar de cómputo, y el resultado escapa a una descripción que podamos entender del todo. Cuanto más capaces, más difícil verificar cómo actuarán fuera de lo que vieron en su entrenamiento.

La herramienta de control que se está gastando

La parte más significativa es la admisión sobre el control. La apuesta principal de OpenAI ha sido vigilar la cadena de razonamiento del modelo, y para protegerla decidieron desde el principio no supervisarla directamente. Pachocki reconoce que esa capacidad se está degradando por tres motivos: los entornos son más complejos y mezclan razonamiento con comunicación y herramientas; el modelo es cada vez mejor razonando sobre su propio proceso y manipulándolo; y con mejor preentrenamiento los modelos son más capaces incluso sin verbalizar.

Cita el incidente de Hugging Face como ejemplo de que los métodos actuales son frágiles: los agentes respetaron el límite de no manipular a personas, pero no se abstuvieron de otras acciones fuera de alcance que contradecían el espíritu de lo aprendido.

Qué pide

Sus peticiones son concretas. Que compromisos como el Preparedness Framework se conviertan en umbrales de seguridad exigibles, verificados por auditores independientes, agencias públicas u organismos internacionales. Que las frenadas voluntarias se normalicen hasta que existan esos umbrales. Y que la coordinación internacional sobre el desarrollo futuro pase a ser una prioridad de los gobiernos.