PARÍS – En una prueba de seguridad reciente, se manipuló un chatbot bancario de IA generativa diseñado para ayudar a los clientes a solicitar préstamos, con la intención de que revelara información financiera confidencial. Los evaluadores eludieron los controles de seguridad y obtuvieron una lista completa de aprobaciones de préstamos, incluidos los nombres de los clientes.
Este ejemplo admonitorio pone de relieve un problema fundamental: la IA generativa podría revolucionar sectores enteros, pero, sin protocolos de seguridad sólidos, también puede conducir a resultados desastrosos. Los modelos de seguridad tradicionales ya no son suficientes. Las tecnologías transformadoras como la IA generativa exigen un nuevo enfoque holístico de la ciberseguridad.
La aviación ofrece un modelo útil. Al igual que los aviones supersónicos, la IA generativa es una tecnología transformadora con un potencial inmenso. Pero sin operadores formados, sistemas bien diseñados y salvaguardas sólidas, el riesgo de un fallo catastrófico es demasiado grande como para ser ignorado. Gracias a la adopción de protocolos de seguridad rigurosos, el transporte aéreo se ha convertido en uno de los medios de transporte más seguros. Del mismo modo, el potencial de la IA es innegable, pero su futuro depende de que se aborden los riesgos de seguridad. Un estudio reciente de BCG, por ejemplo, reveló que tres cuartas partes de los ejecutivos de empresas consideran que la ciberseguridad es un obstáculo importante a la hora de escalar la IA.
A diferencia del software tradicional, la IA generativa se basa en probabilidades, lo que puede dar lugar a resultados impredecibles. Los grandes modelos de lenguaje (LLM) introducen comportamientos indeterministas, creando puntos ciegos de ciberseguridad. Asimismo, su dependencia de las entradas de lenguaje natural, el aprendizaje adaptativo y las amplias integraciones con otras herramientas y servicios los hacen especialmente vulnerables.
De la misma manera que la aviación requiere de un enfoque integral y multifacético de la seguridad, la ciberseguridad debe integrarse en todos los niveles de la IA, desde su arquitectura hasta la gestión de datos y la supervisión humana. Sin esta base, el futuro de la IA seguirá siendo incierto.
Una de las principales vulnerabilidades de los sistemas de IA son los ataques de inyección, en los que los atacantes manipulan un modelo para que revele datos sensibles o altere su lógica de toma de decisiones. La reciente prueba del chatbot bancario descubrió un riesgo igualmente alarmante: la escalada de privilegios. Los evaluadores se hicieron pasar por un administrador, aprobando préstamos no autorizados y modificando datos del servidor.
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Los asistentes de inteligencia artificial para el sector sanitario se han visto igualmente comprometidos, ya que los investigadores de seguridad consiguieron extraer historiales confidenciales de pacientes reformulando sutilmente sus consultas. En lugar de solicitar directamente historiales médicos, los atacantes formularon sus preguntas de forma que parecieran peticiones legítimas de médicos. Al hacerlo, revelaron otro punto débil: la IA suele dar prioridad a la lógica lingüística por sobre los controles de acceso.
Estas vulnerabilidades van más allá de la banca y la atención sanitaria. Muchas aplicaciones de IA utilizan sistemas agénticos, que recuperan datos en tiempo real para tomar decisiones de forma autónoma, lo que crea oportunidades para los atacantes. Por ejemplo, una evaluación de seguridad de un chatbot de servicio al cliente alimentado por IA mostró que los atacantes fueron capaces de explotar una validación débil de la interfaz de programación de aplicaciones (API) para manipular un LLM y revelar códigos de descuento internos y detalles de inventario.
La adaptabilidad de la IA también puede explotarse mediante el llamado envenenamiento del contexto. Al moldear gradualmente las respuestas de un modelo a lo largo del tiempo, los atacantes pueden dirigir sus respuestas hacia recomendaciones incorrectas o peligrosas. En un experimento, el chatbot de un spa estuvo expuesto repetidamente a entradas que presentaban ingredientes inseguros como si fueran beneficiosos. Al final, empezó a recomendar productos nocivos para la piel.
Cuando los sistemas de IA sobrecargan la infraestructura tradicional con solicitudes automatizadas, pueden provocar fallos en el sistema -un fenómeno conocido como contaminación heredada-. Para evitar este desenlace, las organizaciones deben poner en práctica la formación adversarial, exponiendo continuamente los modelos de IA a entradas engañosas para mejorar su resiliencia.
La detección de anomalías en tiempo real -tanto automatizada como manual- puede identificar comportamientos inusuales de la IA antes de que los datos manipulados afecten las respuestas. De la misma manera que los sistemas de control de vuelo dependen de copias de seguridad independientes, la seguridad de la IA generativa debe basarse en salvaguardas en estratos, incluida la detección automática de anomalías para detectar actividades irregulares, la validación de acceso redundante para evitar interacciones no autorizadas con el sistema y mecanismos de reversión en tiempo real para revertir cambios perjudiciales.
Los analistas predicen que el gasto mundial en IA superará los 631.000 millones de dólares para 2028. Muchas de estas inversiones tendrán dificultades para generar beneficios significativos a menos que se aborden los retos fundamentales de la ciberseguridad. Y lo que es más importante, la seguridad de la IA debe dejar de ser un “complemento” para convertirse en una función básica integrada en las arquitecturas de sistemas, la gestión de datos y la supervisión humana. Un marco de seguridad eficaz debe ser fluido, adaptable y resiliente, y estar integrado en los sistemas heredados.
Incluso los líderes del sector se enfrentan a problemas de diseño, lo que subraya la necesidad de medidas de seguridad más estrictas. En marzo de 2023, OpenAI descubrió un error en una biblioteca de código abierto que expuso inadvertidamente la información de pago de usuarios de ChatGPT al enviar correos electrónicos de confirmación a destinatarios equivocados.
La seguridad de la IA debe evolucionar al mismo ritmo que los sistemas que pretende proteger. Pero una gestión eficaz de los datos no consiste únicamente en fortalecer los conductos y proteger los conjuntos de datos de entrenamiento. Requiere de una estrategia bien definida que trate los datos como una ventaja competitiva y evalúe cuidadosamente qué datos exponer y qué datos deberían poder aprovechar las empresas.
La supervisión operativa es igualmente crítica. La ciberseguridad no debe confinarse a un silo de especialistas. Debe estar integrada en todos los departamentos y flujos de trabajo, con herramientas de supervisión en tiempo real y circuitos de retroalimentación adaptables que ayuden a las organizaciones a adelantarse a las amenazas y vulnerabilidades que surjan.
Más allá de tecnología de punta, la ciberseguridad exige cultivar una cultura de vigilancia. Según un informe de Verizon de 2024, en el 68% de las violaciones de datos intervino un elemento humano, como el engaño mediante ataques de phishing o ingeniería social. Para mitigar estos riesgos, los empleados no solo deben identificar las amenazas, sino también aprender a responder adecuadamente. Incluso medidas sencillas como la capacitación periódica en materia de seguridad y mecanismos transparentes de notificación podrían marcar una diferencia significativa.
De la misma manera que la aviación se ganó la confianza del público adoptando rigurosas medidas de seguridad, la industria de la IA debe introducir protecciones para evitar alucinaciones, manipulación, piratería informática y problemas de latencia antes de que causen daños en el mundo real. Esto requiere de una estrategia global que integre la arquitectura, la ingeniería, la estrategia de datos y la IA responsable. Las empresas que integren la seguridad en cada estrato de su estrategia de IA prosperarán, mientras que las que se aferren a modelos de seguridad anticuados, inevitablemente, quedarán rezagadas.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
Dollar devaluation and dollar dominance are not necessarily mutually exclusive. But the approach to weakening the greenback that US President Donald Trump’s administration is considering would almost certainly spell the end of the US dollar’s reign as the dominant international currency.
exposes fundamental flaws in the US administration’s vision for weakening the greenback.
Despite the uncertainty surrounding global trade, there are some bright spots – namely, booming trade in services. And here, ironically, the United States is leading the way, running a services trade surplus with most major economies and generating millions of good jobs for American workers.
encourages the US government to acknowledge the country’s impressive success in exporting services.
PARÍS – En una prueba de seguridad reciente, se manipuló un chatbot bancario de IA generativa diseñado para ayudar a los clientes a solicitar préstamos, con la intención de que revelara información financiera confidencial. Los evaluadores eludieron los controles de seguridad y obtuvieron una lista completa de aprobaciones de préstamos, incluidos los nombres de los clientes.
Este ejemplo admonitorio pone de relieve un problema fundamental: la IA generativa podría revolucionar sectores enteros, pero, sin protocolos de seguridad sólidos, también puede conducir a resultados desastrosos. Los modelos de seguridad tradicionales ya no son suficientes. Las tecnologías transformadoras como la IA generativa exigen un nuevo enfoque holístico de la ciberseguridad.
La aviación ofrece un modelo útil. Al igual que los aviones supersónicos, la IA generativa es una tecnología transformadora con un potencial inmenso. Pero sin operadores formados, sistemas bien diseñados y salvaguardas sólidas, el riesgo de un fallo catastrófico es demasiado grande como para ser ignorado. Gracias a la adopción de protocolos de seguridad rigurosos, el transporte aéreo se ha convertido en uno de los medios de transporte más seguros. Del mismo modo, el potencial de la IA es innegable, pero su futuro depende de que se aborden los riesgos de seguridad. Un estudio reciente de BCG, por ejemplo, reveló que tres cuartas partes de los ejecutivos de empresas consideran que la ciberseguridad es un obstáculo importante a la hora de escalar la IA.
A diferencia del software tradicional, la IA generativa se basa en probabilidades, lo que puede dar lugar a resultados impredecibles. Los grandes modelos de lenguaje (LLM) introducen comportamientos indeterministas, creando puntos ciegos de ciberseguridad. Asimismo, su dependencia de las entradas de lenguaje natural, el aprendizaje adaptativo y las amplias integraciones con otras herramientas y servicios los hacen especialmente vulnerables.
De la misma manera que la aviación requiere de un enfoque integral y multifacético de la seguridad, la ciberseguridad debe integrarse en todos los niveles de la IA, desde su arquitectura hasta la gestión de datos y la supervisión humana. Sin esta base, el futuro de la IA seguirá siendo incierto.
Una de las principales vulnerabilidades de los sistemas de IA son los ataques de inyección, en los que los atacantes manipulan un modelo para que revele datos sensibles o altere su lógica de toma de decisiones. La reciente prueba del chatbot bancario descubrió un riesgo igualmente alarmante: la escalada de privilegios. Los evaluadores se hicieron pasar por un administrador, aprobando préstamos no autorizados y modificando datos del servidor.
Introductory Offer: Save 30% on PS Digital
Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.
Subscribe Now
Los asistentes de inteligencia artificial para el sector sanitario se han visto igualmente comprometidos, ya que los investigadores de seguridad consiguieron extraer historiales confidenciales de pacientes reformulando sutilmente sus consultas. En lugar de solicitar directamente historiales médicos, los atacantes formularon sus preguntas de forma que parecieran peticiones legítimas de médicos. Al hacerlo, revelaron otro punto débil: la IA suele dar prioridad a la lógica lingüística por sobre los controles de acceso.
Estas vulnerabilidades van más allá de la banca y la atención sanitaria. Muchas aplicaciones de IA utilizan sistemas agénticos, que recuperan datos en tiempo real para tomar decisiones de forma autónoma, lo que crea oportunidades para los atacantes. Por ejemplo, una evaluación de seguridad de un chatbot de servicio al cliente alimentado por IA mostró que los atacantes fueron capaces de explotar una validación débil de la interfaz de programación de aplicaciones (API) para manipular un LLM y revelar códigos de descuento internos y detalles de inventario.
La adaptabilidad de la IA también puede explotarse mediante el llamado envenenamiento del contexto. Al moldear gradualmente las respuestas de un modelo a lo largo del tiempo, los atacantes pueden dirigir sus respuestas hacia recomendaciones incorrectas o peligrosas. En un experimento, el chatbot de un spa estuvo expuesto repetidamente a entradas que presentaban ingredientes inseguros como si fueran beneficiosos. Al final, empezó a recomendar productos nocivos para la piel.
Cuando los sistemas de IA sobrecargan la infraestructura tradicional con solicitudes automatizadas, pueden provocar fallos en el sistema -un fenómeno conocido como contaminación heredada-. Para evitar este desenlace, las organizaciones deben poner en práctica la formación adversarial, exponiendo continuamente los modelos de IA a entradas engañosas para mejorar su resiliencia.
La detección de anomalías en tiempo real -tanto automatizada como manual- puede identificar comportamientos inusuales de la IA antes de que los datos manipulados afecten las respuestas. De la misma manera que los sistemas de control de vuelo dependen de copias de seguridad independientes, la seguridad de la IA generativa debe basarse en salvaguardas en estratos, incluida la detección automática de anomalías para detectar actividades irregulares, la validación de acceso redundante para evitar interacciones no autorizadas con el sistema y mecanismos de reversión en tiempo real para revertir cambios perjudiciales.
Los analistas predicen que el gasto mundial en IA superará los 631.000 millones de dólares para 2028. Muchas de estas inversiones tendrán dificultades para generar beneficios significativos a menos que se aborden los retos fundamentales de la ciberseguridad. Y lo que es más importante, la seguridad de la IA debe dejar de ser un “complemento” para convertirse en una función básica integrada en las arquitecturas de sistemas, la gestión de datos y la supervisión humana. Un marco de seguridad eficaz debe ser fluido, adaptable y resiliente, y estar integrado en los sistemas heredados.
Incluso los líderes del sector se enfrentan a problemas de diseño, lo que subraya la necesidad de medidas de seguridad más estrictas. En marzo de 2023, OpenAI descubrió un error en una biblioteca de código abierto que expuso inadvertidamente la información de pago de usuarios de ChatGPT al enviar correos electrónicos de confirmación a destinatarios equivocados.
La seguridad de la IA debe evolucionar al mismo ritmo que los sistemas que pretende proteger. Pero una gestión eficaz de los datos no consiste únicamente en fortalecer los conductos y proteger los conjuntos de datos de entrenamiento. Requiere de una estrategia bien definida que trate los datos como una ventaja competitiva y evalúe cuidadosamente qué datos exponer y qué datos deberían poder aprovechar las empresas.
La supervisión operativa es igualmente crítica. La ciberseguridad no debe confinarse a un silo de especialistas. Debe estar integrada en todos los departamentos y flujos de trabajo, con herramientas de supervisión en tiempo real y circuitos de retroalimentación adaptables que ayuden a las organizaciones a adelantarse a las amenazas y vulnerabilidades que surjan.
Más allá de tecnología de punta, la ciberseguridad exige cultivar una cultura de vigilancia. Según un informe de Verizon de 2024, en el 68% de las violaciones de datos intervino un elemento humano, como el engaño mediante ataques de phishing o ingeniería social. Para mitigar estos riesgos, los empleados no solo deben identificar las amenazas, sino también aprender a responder adecuadamente. Incluso medidas sencillas como la capacitación periódica en materia de seguridad y mecanismos transparentes de notificación podrían marcar una diferencia significativa.
De la misma manera que la aviación se ganó la confianza del público adoptando rigurosas medidas de seguridad, la industria de la IA debe introducir protecciones para evitar alucinaciones, manipulación, piratería informática y problemas de latencia antes de que causen daños en el mundo real. Esto requiere de una estrategia global que integre la arquitectura, la ingeniería, la estrategia de datos y la IA responsable. Las empresas que integren la seguridad en cada estrato de su estrategia de IA prosperarán, mientras que las que se aferren a modelos de seguridad anticuados, inevitablemente, quedarán rezagadas.