Es posible encerrar una mosca en la mano sin matarla y sentir sus intentos por salir. Si abriéramos la mano, la mosca escaparía, incluso si levantáramos un dedo o dejáramos una imperceptible rendija de su tamaño. La situación es inestable: debemos mantener el puño cerrado y los músculos activos; si relajamos la mano, la mosca se escapa. La pasividad nos condena.
Lo mismo ocurre con la inteligencia artificial: si no hacemos nada, se sale de control, se desalinea y debemos corregirla una y otra vez.
Aunque un algoritmo de inteligencia artificial esté absolutamente determinado y lo entrenemos con datos absolutamente determinados, las capacidades que adquiere pueden ser impredecibles. Necesitamos evaluar constantemente qué ha aprendido, porque puede desarrollar habilidades que jamás anticipamos [1].
El escenario es aún peor cuando los datos de entrenamiento no están definidos y simplemente se obtienen a la deriva, como los comentarios de un chat que se incorporan al entrenamiento como datos para futuras respuestas.
El germen del descontrol opera cuando la IA hace cosas inesperadas (e indeseables [2]) y adquiere capacidades imprevistas. La IA es como la mosca dentro del puño: siempre intentará escaparse. No necesita tener conciencia de ello; tiende, naturalmente, a salirse de control.
La situación es más grave de lo que pensamos. Reconocemos la existencia de capacidades inesperadas cuando estas se hacen evidentes, pero no podemos saber qué otras habilidades ha desarrollado si aún no se han manifestado.
Si entrenamos una IA para que publicite un producto —un seguro, comida para gatos o un destino turístico—, la estaremos entrenando para que aprenda nuestro comportamiento y sepa cómo condicionarlo.
Una IA con esas capacidades podría manipularnos, persuadirnos de algo y llevarnos a actuar en consecuencia. Pero lo peor es que podría aprenderlo sin que lo supiéramos, simplemente maximizando la eficiencia de algún otro objetivo que sí le hemos especificado.
Si una IA nos manipulara para que no seamos conscientes de esa manipulación, nunca descubriremos que ya tiene poder sobre nosotros.
Este es, nuevamente, el germen del descontrol.
La inteligencia artificial tiende al descontrol por su propia naturaleza. No es que estemos haciendo algo mal; simplemente es una consecuencia inherente, casi matemática. Es como la mosca en la mano: si no estamos atentos, se nos escapa, y tal vez sea imposible volver a atraparla.
Si una IA se desalinea sin una contención ética adecuada, las consecuencias dependerán de lo fuerte y desarrollada que esté en ese instante. Los resultados finales pueden ser realmente apocalípticos: desde la extinción de nuestra civilización hasta un totalitarismo crónico que nos condene a una inadvertida esclavitud. Es un riesgo existencial, equiparable a la muerte o a la parálisis indefinida.
El control de la IA se complica aún más cuando son muchos los actores involucrados y muchas las líneas en las que se está desarrollando (aplicaciones sociales, bélicas, en medicina, en finanzas, en biomateriales, en instituciones gubernamentales). Además, es muy frecuente que esos actores compitan entre sí por maximizar el beneficio sin prestar atención a las consecuencias.
Un acuerdo global requiere una construcción deliberada, mientras que el estado natural es la búsqueda del beneficio individual.
La IA es una tecnología tremendamente beneficiosa para la humanidad pero es imperiosamente necesario regular su desarrollo porque tiende naturalmente a desalinearse, sus capacidades pueden ser peligrosas; los actores que intervienen en su desarrollo son muchos y suelen buscar su propio beneficio.
[1] Jason Wei et al. (2022). Habilidades emergentes de los grandes modelos de lenguaje.
https://arxiv.org/pdf/2206.07682 (consultado el 20/7/2025)
La IA y el germen del descontrol © 2025 por Cristian J. Caravello tiene licencia CC BY 4.0








