Nueva vulnerabilidad de la inteligencia artificial que amenaza a las empresas

Nueva vulnerabilidad de la inteligencia artificial que amenaza a las empresas
Por Lic. Carmen Marín de González con la colaboración de Gemini

El artículo de Agustina Paz en Infobae Nueva vulnerabilidad de la inteligencia artificial que amenaza a las empresas https://www.infobae.com/opinion/2026/05/08/la-nueva-vulnerabilidad-de-la-inteligencia-artificial-que-amenaza-a-las-empresas/, pone el acento sobre un problema profundo y sumamente delicado. Plantea que el vector de ataque y la vulnerabilidad principal ya no residen únicamente en el "robo" o la "filtración" masiva de datos (la clásica brecha de seguridad), sino en la manipulación silenciosa de las instrucciones y la lógica que estructuran cómo la IA decide y construye sentido sensemaking, dicho en palabras llanas: proceso humano mediante el cual las personas organizan, interpretan y dan significado a situaciones complejas, ambiguas o inciertas. Es la habilidad fundamental de "dar luz" a un entorno caótico para poder tomar decisiones informadas y actuar. (https://thecynefin.co/what-is-sense-making/)

Imagen creada por Grok

 
Ataque modificando las instrucciones que se le dan a la IA

Cuando un atacante altera el contexto, las reglas de negocio o los prompts del sistema —lo que el artículo describe como modificar cómo el sistema interpreta lo que ve sin necesidad de llevarse nada—, el riesgo deja de ser puramente técnico o informático. Se transforma en una crisis de confianza, veracidad y gobernanza de la información, siendo esta última el enfoque estratégico de una organización para gestionar todo su ciclo de vida de datos y contenidos

Desde un punto de vista archivológico

La perspectiva de la Archivología moderna, demuestra que nuestro rol va mucho más allá de custodiar soportes físicos para centrarnos en la gobernanza de datos, los metadatos y la autenticidad documental bajo normativas internacionales, esta vulnerabilidad impacta directamente en los pilares de nuestra profesión de las siguientes maneras:

1. La destrucción del "Documento de Archivo" como Evidencia

Para los archivólogos, un documento es tal si posee tres atributos esenciales: autenticidad, integridad y fiabilidad. Si los sistemas empresariales de IA (como agentes autónomos integrados en los flujos de trabajo) son vulnerados en su lógica, la IA puede comenzar a clasificar, indexar, resumir o incluso crear registros institucionales basándose en un sentido alterado.

 
El impacto: Se rompe el principio de fiabilidad. Los documentos generados o gestionados por esa IA pierden su valor administrativo y de evidencia legal. Si el sistema "entiende" mal una orden interna debido a una instrucción manipulada en sus capas lógicas, el resultado documental reflejará una realidad corporativa distorsionada.

2. El colapso de los Metadatos de Contexto (ISO 23081)

La norma ISO 23081 establece que los metadatos deben capturar no solo el contenido, sino el contexto de producción y los procesos de la gestión de documentos. Cuando el artículo señala que "cuando lo que se altera no son los datos sino el sentido, el riesgo deja de ser técnico", nos enfrenta a un escenario crítico: los datos crudos en la base de datos pueden parecer intactos, pero la capa de metadatos contextuales y relacionales que la IA aplica de forma automatizada ha sido corrompida. El rastro de procedencia y la cadena de preservación digital se vuelven difusos e irrelevantes porque la interpretación del documento ha sido secuestrada en silencio.

3. La urgencia del "Criterio Humano" en la Auditoría Archivística

El texto menciona una asimetría operativa: agentes autónomos de IA iterando miles de veces hasta encontrar fallos que el escaneo humano tardaría años en ver. Ante esta automatización masiva, la tentación de las organizaciones es delegar también la auditoría en la propia tecnología.
La respuesta archivística: Aquí es donde el criterio humano calificado se vuelve obligatorio. El archivólogo no puede ser un mero espectador técnico; debe liderar el diseño de las políticas de gobierno de la información, estableciendo pistas de auditoría robustas y sistemas de preservación a largo plazo (siguiendo modelos como OAIS/ISO 14721) que aíslen los documentos auténticos y sus lógicas originales del entorno dinámico y potencialmente vulnerable de los grandes modelos de lenguaje en producción.

4. Del Perímetro de Seguridad a la "Diplomática Digital"

Durante mucho tiempo, los departamentos de TI se enfocaron en proteger el "perímetro" (los servidores, el acceso, el cifrado). El artículo advierte que cuando la lógica de la IA vive detrás del mismo perímetro que los datos, una falla altera todo el procesamiento de manera interna.

Para el profesional de la información, esto valida la necesidad de aplicar los conceptos de:

• La Diplomática Digital, disciplina científica que estudia la autenticidad, integridad y validez jurídica de los documentos electrónicos,
• Herramientas como el blockchain: (o cadena de bloques) es una base de datos o libro contable digital, descentralizado y seguro. Almacena información agrupada en bloques que se enlazan criptográficamente entre sí, formando una línea de tiempo inalterable. Esto significa que, una vez registrada una información, no se puede borrar ni modificar
• El sellado de tiempo (timestamping): mecanismo digital que certifica la fecha y hora exacta en que se creó, firmó o modificó un documento electrónico o conjunto de datos, directamente sobre el documento y sus metadatos desde el momento de su génesis.
• La seguridad ya no puede depender de la "caja" (el sistema de IA), sino de la estructura intrínseca de los datos y documentos que garantice que no han sido alterados por interpretaciones maliciosas del algoritmo.

En conclusión:

Esta vulnerabilidad demuestra que el verdadero valor estratégico de las organizaciones y su continuidad operativa no dependen de acumular gigabytes de datos, sino de la integridad de la lógica con la que se gestionan. Este escenario aleja definitivamente la visión del archivólogo como un gestor de almacenes y lo coloca en la primera línea de la gobernanza corporativa. Ante la crisis del sensemaking artificial, la archivología aporta las reglas metodológicas, éticas y normativas indispensables para asegurar que la memoria institucional siga siendo confiable y verificable.

Read more...

Vulnerabilidad de la inteligencia artificial ¿Dónde vive la lógica de mis sistemas de IA y quién puede modificarla?

La nueva vulnerabilidad de la inteligencia artificial que amenaza a las empresas

https://www.infobae.com
PorAgustina Paz

Durante años, el foco estuvo puesto en proteger datos y documentos, pero el valor se está desplazando hacia algo mucho más difícil de ver: las instrucciones que estructuran cómo una IA decide qué responder

Un atacante ya no necesita llevarse nada: le alcanza con modificar, en silencio, cómo el sistema entiende lo que ve (Imagen ilustrativa Infobae)

En agosto de 1949, en Mann Gulch, Montana, quince bomberos paracaidistas saltaron sobre un incendio forestal que parecía rutinario y se unieron a un guarda forestal que ya estaba en el terreno. Dieciséis hombres en total, un equipo ad hoc ensamblado para esa misión, sin historia compartida ni códigos comunes. En menos de una hora, el fuego cambió de dirección, el viento se volvió impredecible y empezó a avanzar más rápido de lo que ninguno había visto.

En medio del ruido del incendio, con pocos minutos para decidir, el líder, Wag Dodge, hizo algo completamente contraintuitivo: encendió un fuego frente a él, en el pasto seco, y les indicó a los demás que tiraran sus herramientas al piso y se acostaran dentro de esa zona ya quemada. La técnica, que después se llamaría “fuego de escape”, no existía formalmente en ese momento. Nadie la había visto, nadie la había estudiado, nadie tenía razones para confiar en ella en medio del pánico. Nadie lo siguió. Dodge sobrevivió. Otros dos zafaron por casualidad, encontrando una grieta en la pared de roca. Trece murieron.

Años más tarde, el referente en teoría de las organizaciones Karl Weick analizó este episodio y llegó a una conclusión incómoda. En Mann Gulch no fallaron la técnica ni la información: falló el sentido. Un equipo que no se conocía, en un terreno que no terminaban de leer, frente a una propuesta que no podían interpretar a tiempo.

En situaciones de alta incertidumbre, sostiene Weick, las organizaciones no fallan por falta de datos, sino por la incapacidad de reinterpretar la realidad cuando todas las referencias conocidas dejan de funcionar. A esa capacidad de construir sentido en condiciones nuevas la llamó sensemaking.

Cuando el sentido colapsa, no alcanza con tener más información. Hacen falta liderazgo, criterio y la capacidad de soltar lo que hasta hace un minuto parecía incuestionable. Esa idea empieza a resonar de forma inquietante en el presente: la mayoría de las veces, lo que llamamos fallas del sistema son, en el fondo, fallas humanas. No por error individual, sino por diseño, por cultura y por cómo pensamos (o dejamos de pensar) frente a lo inesperado.

Hace pocas semanas tuvimos un ejemplo casi de manual. El 28 de febrero, la startup de ciberseguridad CodeWall puso a su agente autónomo de IA a explorar la infraestructura de McKinsey & Company. En dos horas, con un costo aproximado de veinte dólares de cómputo y sin intervención humana, el agente obtuvo acceso de lectura y escritura a la base de datos productiva de Lilli, la plataforma interna de IA de la consultora. Quince iteraciones le bastaron para encontrar una vulnerabilidad que dos años de escaneos convencionales no habían detectado.

Lo notable no es solo la velocidad. Es a qué accedió. Además de cuarenta y seis millones de mensajes internos y cientos de miles de archivos, el agente alcanzó los archivos que definen cómo razona el sistema: noventa y cinco instrucciones internas, distribuidas en doce modelos, que podían reescribirse sin generar despliegues, sin dejar registro y sin disparar ninguna alerta.

McKinsey parcheó en horas y sostuvo, con razón, que ningún dato de clientes salió del edificio. Pero pensar que esto fue un problema puntual de la consultora, o que en otra organización no hubiera pasado, sería repetir el error de fondo. No es la historia de una empresa que se descuidó. Es la radiografía de cómo se están construyendo, en este momento, casi todos los sistemas de inteligencia artificial empresariales del mundo. Lo que cambia con este caso no es que haya ocurrido. Es que elimina el último refugio cómodo: el de creer que esto les pasa a los que no están prestando atención.

Durante años, el foco estuvo puesto en proteger datos y documentos. Pero el valor se está desplazando hacia algo mucho más difícil de ver: las instrucciones que estructuran cómo una inteligencia artificial decide qué responder. Cuando esa lógica vive detrás del mismo perímetro que los datos, una sola falla no expone información: altera la forma en que el sistema interpreta todo lo que procesa. Un atacante ya no necesita llevarse nada. Le alcanza con modificar, en silencio, cómo el sistema entiende lo que ve.

Y acá vuelve el problema humano. No el error del técnico que ejecutó mal, sino el del líder que asumió que ciertos escenarios eran improbables, que lo crítico estaba separado, que el marco que usaba para pensar la seguridad seguía siendo el correcto.

Es Mann Gulch a escala digital. Equipos que no se conocen del todo, decidiendo en tiempo real sobre arquitecturas que evolucionan más rápido que la experiencia acumulada para evaluarlas. El marco con el que aprendimos a pensar la seguridad (datos, perímetro y accesos) se construyó para un mundo en el que la lógica del sistema no se podía editar. Ese mundo ya no existe, y todavía no terminamos de procesarlo.

La pregunta práctica, entonces, es qué hace un líder con esto. No el equipo de tecnología, no el equipo de seguridad: el líder. Y la respuesta no es contratar más expertos en ciberseguridad. Es empezar por tres preguntas que hoy muy pocos pueden responder con precisión, y no estoy hablando solo de las grandes corporaciones globales: ¿dónde vive la lógica de mis sistemas de IA y quién puede modificarla? ¿Qué pasa si esa lógica se altera sin que nadie lo note? ¿Cuándo fue la última vez que alguien en el directorio revisó eso? No son preguntas técnicas. Son preguntas de gobierno. Y si no tienen respuesta clara, el perímetro no importa demasiado.

A esto se suma la velocidad. Quince iteraciones de un agente autónomo encontraron lo que dos años de escaneo humano no habían visto. No porque piense mejor, sino porque puede intentar miles de combinaciones sin fricción ni cansancio. Esa asimetría ya no es teórica. Es operativa.

Por eso la discusión ya no pasa por reforzar el perímetro, sino por diseñar sistemas con gobernanza desde el origen. El valor no está solo en los datos, sino en la lógica que los interpreta, y esa lógica debe tratarse como un activo crítico: separada, auditada y monitoreada con el mismo rigor que cualquier información sensible.

Los directorios de empresas que operan con contrapartes internacionales ya empiezan a recibir preguntas sobre gobernanza de IA que antes no llegaban. Lo que hace dos años parecía un debate técnico se está convirtiendo, muy rápido, en un criterio de evaluación de socios, proveedores y clientes. Y esa conversación no espera a que Argentina tenga un marco regulatorio propio.

La verdadera pregunta no es si estos sistemas van a fallar. Eso, en algún momento, va a ocurrir. Es si, cuando ocurra, vamos a ser capaces de darnos cuenta a tiempo. Porque cuando lo que se altera no son los datos sino el sentido, el riesgo deja de ser técnico. Y pasa a ser, como en Mann Gulch, profundamente humano.

Read more...