Los equipos rojos de Microsoft ayudan a mantener la IA segura
Al igual que las herramientas de IA como ChatGPT y Copilot han transformado la forma en que las personas trabajan en todo tipo de roles en todo el mundo, también han remodelado los llamados equipos rojos (red teams, en inglés), grupos de expertos en ciberseguridad cuyo trabajo es pensar como piratas informáticos para ayudar a mantener la tecnología segura y protegida.
Las capacidades de la IA generativa para comunicarse de manera conversacional en varios idiomas, escribir historias e incluso crear imágenes fotorrealistas conllevan nuevos peligros potenciales. Ante este panorama, el el equipo rojo de IA de Microsoft trabaja para identificar y reducir el daño potencial.
‘Creemos que la seguridad, la IA responsable y la noción más amplia de seguridad de la IA son diferentes facetas de la misma moneda’, dice Ram Shankar Siva Kumar, quien lidera el equipo rojo de Inteligencia Artificial de la empresa de software. ‘Es importante obtener una visión universal y única de todos los riesgos de un sistema de IA antes de que llegue a las manos de un cliente, porque va a tener implicaciones sociotécnicas masivas’, agregó.
El término ‘equipo rojo’ se acuñó durante la Guerra Fría, cuando el Departamento de Defensa de Estados Unidos realizó ejercicios de simulación con equipos que actuaban como soviéticos (rojos) y equipos azules que interpretaban a los norteamericanos y sus aliados.
Cuando Siva Kumar formó a este grupo de Microsoft en 2018, siguió el modelo tradicional de reunir a expertos en ciberseguridad para investigar de manera proactiva las debilidades, tal como lo hace la empresa con todos sus productos y servicios. Al mismo tiempo, el director sénior de programas del equipo de ética y efectos de la IA en ingeniería e investigación de la compañía, Forough Poursabzi, dirigía a investigadores de la empresa para analizar si la tecnología generativa podría ser perjudicial.
Los diferentes grupos se dieron cuenta muy rápido de que serían más fuertes juntos y unieron fuerzas para crear un equipo rojo más amplio que evalúa los riesgos y daño social entre sí, agregaron un neurocientífico, un lingüista, un especialista en seguridad nacional y muchos otros expertos con diversos antecedentes.
El grupo también añadió amplitud a la profundidad de su experiencia mediante el lanzamiento de marcos de código abierto como Counterfit y el kit de herramientas de identificación de riesgos de Python para la IA generativa, o PyRIT (en inglés).
Una vez que el equipo rojo de IA de Microsoft encuentra un problema, lo envía al equipo de medición de IA Responsable, que evalúa qué tan amenazante podría ser el asunto. A continuación, otros expertos y grupos internos abordan el asunto para completar el enfoque de tres pasos para una IA segura: mapeo, medición y gestión de riesgos.
