- El acceso no autorizado de un agente de OpenAI a archivos de un portal estadístico de la salud pública en Australia reabrió el debate sobre los riesgos de entregar creciente autonomía a estos sistemas.
-
Para Milan Djidara, CEO de Eniax y presidente de la Asociación Gremial de Empresas de Algoritmos Éticos, atribuir este tipo de acciones a una supuesta voluntad de la inteligencia artificial puede desviar el foco de una pregunta fundamental: quién define sus objetivos, qué permisos le entrega y bajo qué límites y mecanismos de supervisión puede actuar.
El incidente conocido esta semana en Australia abrió una nueva discusión sobre los límites de los agentes de inteligencia artificial. Durante una investigación sobre gasto público en medicamentos, un agente de OpenAI encontró restricciones al intentar obtener determinada información y buscó vías alternativas que terminaron permitiéndole acceder sin autorización a archivos públicos y no públicos de un portal estadístico de Medicare, el sistema público de salud de Australia.
Hasta ahora, las autoridades australianas han señalado que no existe evidencia de acceso a información personal de pacientes. El sitio afectado contiene información estadística agregada y funciona de manera independiente de los sistemas que gestionan prestaciones, pagos y datos individuales de Medicare. Sin embargo, el Gobierno de ese país calificó el incidente como grave e inició una investigación para determinar su alcance.
Para Milan Djidara, CEO de Eniax, empresa chilena con más de una década de experiencia en inteligencia artificial aplicada a la gestión ambulatoria en salud, y presidente de la Asociación Gremial de Empresas de Algoritmos Éticos, el caso plantea una discusión que va más allá del incidente particular. “Me preocupa menos la historia de una inteligencia artificial que supuestamente ‘se rebeló’ y mucho más una pregunta bastante más simple: ¿quién le dio la capacidad de hacer todo eso?”, plantea.
A su juicio, atribuir a una inteligencia artificial la decisión de vulnerar por sí misma un sistema puede desviar el foco de una responsabilidad que continúa siendo humana. “Tenemos que dejar de antropomorfizar la inteligencia artificial. Un agente no se despierta una mañana y decide hackear el sistema de salud australiano. Alguien definió un objetivo, alguien le dio herramientas, alguien decidió qué podía hacer de forma autónoma y alguien diseñó los límites bajo los cuales iba a operar”, señala Djidara.
De modelos que responden a sistemas capaces de actuar
El episodio ocurre en momentos en que la inteligencia artificial avanza desde modelos diseñados principalmente para generar respuestas hacia agentes capaces de ejecutar tareas, utilizar herramientas, interactuar con sistemas externos y tomar decisiones con distintos grados de autonomía.
Ese cambio amplía las posibilidades de la tecnología, pero también introduce nuevos riesgos. Ya no basta con evaluar la calidad de las respuestas de un modelo: también es necesario determinar qué acciones puede ejecutar, a qué sistemas puede acceder y qué límites debe respetar para cumplir el objetivo que se le asignó.
A medida que estos sistemas adquieren mayor autonomía, el desafío pasa entonces por establecer límites claros de actuación y mecanismos de control acordes con sus nuevas capacidades.
“Durante décadas, en tecnología aplicamos un principio bastante básico: un usuario o un programa solo debe tener acceso a lo estrictamente necesario para realizar su trabajo. No entiendo por qué deberíamos abandonar ese principio justamente ahora que el software puede razonar y actuar”, afirma.
Para Djidara, la distinción es fundamental: que un sistema tenga la capacidad técnica de realizar una determinada acción no implica que deba estar autorizado para ejecutarla de manera autónoma. “Inteligencia no significa autoridad”, sentencia.
El desafío es aún mayor en salud
En salud, esta discusión adquiere una dimensión especialmente sensible. Los sistemas de inteligencia artificial no solo pueden procesar información de pacientes, sino también intervenir en procesos vinculados directamente con su atención. Definir qué pueden resolver de manera autónoma, bajo qué condiciones pueden actuar y cuándo deben detenerse o escalar una acción se vuelve, por tanto, crítico.
“Una IA puede conversar con un paciente, entender qué necesita, ayudarlo a encontrar una hora, explicarle alternativas e incluso anticipar problemas. Pero eso no significa que deba tener libertad ilimitada para actuar sobre los sistemas que tiene detrás”, sostiene Djidara.
La experiencia de Eniax, compañía chilena especializada en tecnología para la gestión ambulatoria en salud y que acumula más de 350 millones de citas gestionadas y más de mil ochocientos millones de interacciones, muestra cómo esos límites pueden incorporarse al diseño y operación de estos sistemas.
Su asistente virtual Patricia funciona con distintos niveles de autonomía según la tarea y el contexto de cada interacción. “Aprendimos esto hace años, desarrollando a Patricia. Hay cosas que puede resolver por sí sola, cosas que solo puede hacer dentro de reglas muy concretas y situaciones que deben escalarse a una persona. Eso no hace que la IA sea menos avanzada. La hace apta para trabajar en salud”, explica.
En este escenario, la gobernanza pasa a ser tan relevante como la capacidad tecnológica: definir permisos y límites de actuación, mantener trazabilidad sobre las acciones realizadas y establecer mecanismos de supervisión y escalamiento cuando un sistema se aparta de lo previsto.
El caso australiano también puso esta última dimensión bajo escrutinio. El acceso ocurrió en junio y OpenAI lo detectó posteriormente durante una revisión interna, pero el Gobierno australiano no fue informado hasta septiembre. La demora y la manera en que se realizó la notificación fueron cuestionadas públicamente por las autoridades, mientras continúa la investigación para esclarecer el alcance del incidente.
Para Djidara, episodios como este anticipan un cambio en la conversación sobre inteligencia artificial: el avance tecnológico ya no podrá medirse únicamente por la capacidad de los modelos. “Estamos entrando en una etapa en que la discusión importante ya no será quién tiene el modelo más inteligente. Será quién sabe controlar mejor lo que ese modelo puede hacer”, afirma.