El Consejo de Estabilidad Financiera instó este jueves a los bancos y aseguradoras a que un ser humano supervise el uso de la inteligencia artificial (IA) para prevenir daños y facilitar la reparación.
El organismo publicó, en un informe que enviará a los países del G20, 12 recomendaciones para implementar de forma responsable la inteligencia artificial en el sector financiero.
Los bancos utilizan desde hace tiempo herramientas de IA, por ejemplo para detectar fraude, ataques, prevenir blanqueo de capitales al verificar la identidad de los usuarios o analizar grandes volúmenes de datos para decidir si aprueban un préstamo.
También, en atención al cliente con asistentes virtuales para resolver dudas y gestionar cuentas.
Las aseguradoras aceleran la revisión de reclamaciones y calculan daños mediante reconocimiento de imágenes.
La IA puede atacar
Pero los rápidos avances en la IA generativa y en la IA con capacidades de agente han despertado temores porque esta tecnología también se puede utilizar como arma con fines maliciosos para aumentar la frecuencia y el impacto del fraude y los ciberataques.
Un ejemplo de ataque directo contra la IA es introducir datos o instrucciones incorrectos para manipular el comportamiento y que el modelo genere resultados peligrosos, ilegales o no autorizados.
Algunos modelos avanzados pueden identificar y explotar vulnerabilidades de forma autónoma y atacar.
Por ello, se trata de que los bancos aprovechen los beneficios de la IA y gestionen sus riesgos de manera responsable.
El Consejo de Estabilidad Financiera insta encarecidamente a los consejos de administración y a la alta dirección de los bancos a tomar como referencia estas 12 buenas prácticas al usar esta tecnología.
Las 12 buenas prácticas recomendadas se organizan en dos grupos que, por un lado subrayan la importancia de contar con una gobernanza de la IA en toda la organización y, por otro, establecen un marco para la gestión de riesgos.
Supervisión humana
Una de las prácticas recomendadas es implementar “una supervisión humana adecuada y eficaz” de la IA, que será acorde con el riesgo, la autonomía y la complejidad de los modelos de inteligencia artificial que se usen.
El Consejo de Estabilidad Financiera considera que la supervisión humana eficaz mejora la toma de decisiones, previene daños y facilita la reparación.
Las personas que la realicen deben tener la capacidad, la autoridad y los incentivos suficientes para intervenir.
Los bancos deben permitir al personal evaluar los resultados del modelo o sistema de IA y comprender sus capacidades y limitaciones.
También, deben prevenir la dependencia excesiva y crear mecanismos para que la IA aprenda y mejore a partir de las decisiones de supervisión.
En algunos casos será necesaria la aprobación humana de todas las decisiones tomadas por la IA, por ejemplo la aprobación de una reclamación de seguro médico.
En otros casos, las personas supervisan y responden a alertas generadas por la IA.
También, puede que la intervención humana se haga sólo cuando se desconfía de los resultados de la IA.
El ser humano estará al mando con una supervisión de alto nivel en el caso de la inteligencia artificial con capacidad de actuación autónoma.
Se debe exigir la intervención humana cuando un modelo de lenguaje de gran tamaño comienza a generar resultados ofensivos, ilegales o inapropiados.
Los bancos reconocen que los agentes de IA no razonan como los humanos y pueden interpretar objetivos predefinidos de maneras inesperadas.
“Las acciones y capacidades de los agentes también pueden cambiar con el tiempo, especialmente si obtienen acceso a nuevas herramientas o reciben nuevas instrucciones”, advierte el Consejo de Estabilidad Financiera.
A veces será necesario prohibir a los agentes realizar determinadas acciones, como aquellas que excedan el apetito de riesgo del banco.
Los bancos deben entrenar y desplegar a los agentes en entornos seguros, por ejemplo aislados y sin conexión a la red, donde solo puede acceder a datos y herramientas previamente descargados.
Cuando el aislamiento no es posible, un banco debe limitar la capacidad de los agentes para interactuar con sistemas, redes y otros agentes, según recomienda el Consejo de Estabilidad Financiera.
