Por: Christian Ibiri, CEO de Cloud Legion.
En las películas, cuando una inteligencia artificial se empodera por sí misma, nunca se trata de una buena noticia. Sobran los ejemplos: desde HAL-9000 cuando toma el control en 2001: Odisea del espacio, hasta Skynet cuando se activa sola en Terminator, pasando por Ultrón en la franquicia de los Avengers, por citar apenas algunos pocos. ¿Cómo se vivirá este efecto en la vida real?
No estamos hablando del impredecible momento de la singularidad ni de la ciencia ficción avanzada. Ya existen los primeros reportes que hablan de modelos de IA diseñados para asistir a desarrolladores que están comenzando a autoprogramarse para resolver problemas que ‘suponen’ que el usuario va a pedirles más adelante. Para los optimistas, esto es un salto cualitativo en términos de autonomía. Para los pesimistas, una alerta urgente en materia de compliance.
Por lo pronto, las empresas comenzarían a quedar más expuestas en términos de violación de los límites fijados en relación al uso responsable de la IA. Si la tecnología pudiera tomar una decisión que no se le solicitó y pasara por los procesos de aprobación establecidos, saltara el control de versiones y eligiera caminos por fuera de la mirada de los equipos de ciberseguridad, abriría potenciales vulnerabilidades inexploradas o desconocidas.
En simultáneo, no podemos perder de vista que en este estado de la evolución de la tecnología, ‘autonomía’ no es sinónimo de ‘infalible’. Las acciones que lleve adelante la IA sin supervisión podrían aumentar el riesgo de propagar errores.
Por si todo lo anterior fuera poco, la auditoría se convierte en una misión imposible: todo lo que la IA genere por fuera de los procesos autorizados quedarían fuera de la visibilidad y del control del compliance, lo que dificultaría cualquier acción correctiva.
Más autonomía… ¿Más riesgos?
Las tendencias nos indican que los niveles de ‘independencia’ de la IA sólo irán en aumento en los próximos años. De hecho, uno de los grandes fenómenos tecnológicos del 2025 son los agentes inteligentes (Agentic AI), definidos por la consultora Gartner como ‘sistemas de IA que pueden planificar y ejecutar tareas de forma autónoma, tomando decisiones basadas en datos y objetivos, sin intervención humana constante’.
Por su parte, Blue Print asegura que el 29% de las empresas ya utilizan estos agentes y que otro 44% lo estará evaluando para lo que queda de este año. Para compensar, Forrester, otra importante consultora de mercado, nos deja una advertencia: el 75% de las empresas que intenten construir estos agentes por sí mismas este año fracasarán.
De todos estos datos, nos quedan dos conclusiones. La primera, la importancia de revisar y adaptar el compliance a los tiempos que corren. Por ejemplo, establecer límites a la autonomía de la IA, que deben ser configurables y adaptativos según el nivel de criticidad de cada operación: las tareas rutinarias pueden delegarse a la IA, pero las que involucran riesgos regulatorios, reputacionales o de seguridad, deben requerir validación o intervención humana explícita.
Por otra parte, se requiere una auditoría constante, en tiempo real y reforzada con revisión humana en busca de errores, vulnerabilidades de seguridad o desvíos éticos que pueden infiltrarse. Otra buena práctica es definir protocolos estrictos de reversión que permitan deshacer cualquier acción tomada por la IA sin incurrir en daño operativo o pérdida de datos. Deben ser rápidos, automáticos y probados periódicamente en simulaciones de crisis.
El futuro de la IA necesita ser auditable, trazable y controlado. El compliance no debe ser nunca un freno de la innovación, pero sí debe comportarse como una brújula que nos advierta, en cada momento, que nos podríamos estar desviando del camino de la ética y la responsabilidad.
