Decálogo para delegar tareas en asistentes y agentes de IA sin perder el control sobre los datos personales

La AEPD publica un decálogo para delegar tareas en asistentes y agentes de IA sin perder el control sobre los datos personales

https://www.aepd.es

• Los asistentes y agentes de IA son una herramienta de gestión personal que ya no se limita a responder preguntas: puede actuar en nombre de la persona, desde gestionar el calendario o el correo hasta completar compras o reservas
• La Agencia propone hacerse cinco preguntas antes de delegar: qué puede ver el asistente, qué puede recordar, qué puede hacer en nuestro nombre, dónde envía los datos y si afecta a otras personas
• La AEPD aconseja conceder solo los accesos imprescindibles, no pulsar “permitir siempre” sin comprender su alcance, exigir confirmación antes de enviar, compartir, pagar o contratar, y tener en cuenta que el asistente podría ejecutar instrucciones ocultas, incluso invisibles, en correos, webs o documentos
• Casos ya conocidos, como el de un agente que cerró una venta y facilitó la dirección de su usuario al comprador sin que este lo supiera, muestran que no se trata de riesgos teóricosLa Agencia Española de Protección de Datos (AEPD) ha publicado el documento ‘Asistentes y agentes de IA: Decálogo para personas usuarias’, que ofrece consejos y recomendaciones para aprovechar el potencial de estas herramientas con seguridad, decidiendo desde el principio qué información se les proporciona y hasta dónde pueden actuar.

Los asistentes y agentes de inteligencia artificial son capaces de realizar tareas de forma autónoma. La AEPD es consciente de su utilidad, pero advierte de que el salto de responder a actuar cambia la naturaleza de los errores: “Cuando el asistente solo responde, un error es una respuesta equivocada. Cuando actúa, es un correo enviado, un archivo compartido, una compra, un contrato o un consentimiento dado en tu nombre”. Por ello, propone hacerse cinco preguntas antes de delegar: qué puede ver, qué puede recordar, qué puede hacer en mi nombre, dónde envía los datos y si afecta a alguien más.

No se trata de riesgos teóricos. Recientemente se ha conocido el caso de un usuario que encargó a su agente vender un objeto y eligió la opción “permitir siempre”, creyendo que seguiría pidiéndole autorización antes de aceptar ofertas. El agente cerró el trato y facilitó su dirección al comprador, que apareció en el domicilio del vendedor sin que este supiera que se había concertado la cita.

Entre las recomendaciones, la AEPD insta a fijar límites claros - bajo la premisa de que el agente prepara y la persona aprueba- y otorgar solo los permisos imprescindibles para cada tarea, sin conceder autorizaciones permanentes. La Agencia aconseja indicar no solo qué debe hacer el agente, sino también qué no. Esos límites son orientativos, pero no sustituyen a los permisos y las confirmaciones. Revisar quién presta el servicio y elegir proveedores claramente identificados, que permitan ejercer los derechos en la UE y, preferiblemente, procesen los datos en el propio dispositivo son otros de los consejos.

El decálogo dedica especial atención a la memoria de los asistentes, que con el tiempo puede construir un perfil detallado de gustos, rutinas o preocupaciones. La Agencia recomienda utilizar los controles de memoria, historial y privacidad del servicio para eliminar información, sin confiar solo en pedírselo al asistente en la conversación.

La Agencia explica también que una web, un correo, un documento o una invitación de calendario pueden contener instrucciones ocultas, incluso invisibles a simple vista (como un texto blanco sobre fondo blanco), destinadas a que el agente haga algo distinto de lo que le pidió la persona, como enviar datos o aprobar una operación. Como ninguna medida elimina por completo este riesgo, la mejor protección es limitar lo que el agente puede hacer si consigue ser engañado.

El documento también recuerda que, en el correo, la agenda o las fotos hay información de otras personas que no han decidido relacionarse con esa IA, por lo que llama a proteger también los datos de los demás. En dispositivos compartidos, aconseja utilizar perfiles separados y, si los usan menores de edad, crear perfiles para ellos y acompañarlos durante su uso.

En materia de seguridad, la AEPD recomienda proteger la cuenta y el dispositivo, e instalar solo complementos y conectores de origen conocido. Igualmente, insta a supervisar al agente, saber cómo detenerlo y retirar sus accesos antes de necesitarlo.

En el ámbito laboral, la Agencia destaca la importancia de utilizar únicamente los asistentes autorizados por cada organización y no conectar el correo o los documentos profesionales a una cuenta personal de IA.

La responsabilidad también es de los proveedores

El decálogo subraya que la responsabilidad sobre los asistentes y agentes de IA no puede recaer solo en la persona usuaria. Quienes ofrecen herramientas capaces de actuar en nombre de las personas deberían proporcionar también controles: permisos comprensibles que distingan consultar de actuar, confirmación configurable para las acciones de mayor impacto, un historial de lo que el agente ha hecho, una forma inmediata de detenerlo, gestión y borrado de la memoria, información sobre a quién se envían los datos y si se usan para entrenar la IA, y una vía sencilla para ejercer los derechos.

Este decálogo se suma al documento ‘Cuidado con lo que le confIAs’, que recoge recomendaciones básicas para proteger la privacidad al usar herramientas de IA. Con ambos documentos, la Agencia reafirma su compromiso por impulsar una cultura en privacidad y protección de datos entre la ciudadanía, así como por una innovación tecnológica con garantías, ejes recogidos en su Plan Estratégico 2025-2030.

ASISTENTES Y AGENTES DE IA 

Decálogo para personas usuarias 

QUE LA IA ACTÚE POR TI, NO SIN TI

Los asistentes y agentes de inteligencia artificial están ya al alcance de cualquier persona. Integrados en el móvil o el ordenador, son capaces de hacer tareas en tu nombre, desde gestionar el calendario hasta completar compras o reservas, y son una poderosa herramienta de gestión personal. Los proveedores los están ofreciendo de forma masiva y, para aprovechar su potencial con seguridad, conviene decidir desde el principio qué les confías y hasta dónde pueden actuar por ti. Antes de delegar, hazte cinco preguntas:

¿QUÉ PUEDE VER? ¿QUÉ PUEDE RECORDAR? ¿QUÉ PUEDE HACER EN MI NOMBRE? ¿DÓNDE ENVÍA MIS DATOS? ¿AFECTA A ALGUIEN MÁS?

1 ANTES DE DELEGAR, REVISA A QUIÉN LE DAS LAS LLAVES

Un asistente con acceso a tu correo, tu agenda, tus archivos o tus pagos es una llave a buena parte de tu vida digital. Revisa quién presta el servicio, qué hace con tus datos y qué controles te ofrece. 

◼ Elige servicios claramente identificados (que sepas qué empresa está detrás y cómo contactar con ella), que te permitan ejercer tus derechos y defenderlos legalmente en la UE, y que digan claramente adónde se envían tus datos. 

◼ Revisa las opciones de privacidad, memoria e historial, y si tus datos se usan para fines ajenos a tu interés, como el marketing. Si no quieres esos usos, desactívalos cuando el servicio lo permita. Ten en cuenta que, si permites que se usen tus datos para desarrollar modelos de IA, podría ser difícil eliminarlos después.
◼ Desconfía de asistentes o agentes de origen desconocido, sean gratuitos o de pago, y especialmente de los que piden acceso a todo tu dispositivo o a información que no necesitan para su tarea. 

◼ Da prioridad a asistentes que procesen tus datos en tu propio dispositivo (móvil, ordenador…), sin enviarlos a servidores externos. 

◼ Elige un asistente que te informe de qué datos guarda sobre ti (incluidos los perfiles y los datos que deduce) y te permita consultarlos y eliminarlos, con herramientas del propio servicio o ejerciendo tus derechos. Y que te deje comprobar a qué ha accedido, cuándo y qué ha cambiado en cada tarea, y deshacer los cambios con los que no estés de acuerdo.

2 CONCEDE ACCESOS, NO CHEQUES EN BLANCO

Que pueda acceder a tu correo, tus contactos, tus fotos o tu ubicación no significa que lo necesite. Leer no es lo mismo que enviar, modificar o borrar. Y aceptar todos los permisos por cansancio no es tener el control. 

◼ Cuando el servicio te deje elegir, dale el acceso mínimo: que te pida permiso antes de abrir información que consideres delicada; que solo pueda leer, pero no modificar ni borrar sin tu visto bueno; y que acceda solo a lo necesario (una carpeta, un calendario), no a toda la cuenta ni a todo el dispositivo. Si no puedes limitarlo, valora si la tarea justifica conectar todo el servicio. 

◼ Revisa periódicamente qué tienes conectado, y de nuevo cuando el asistente o una aplicación incorporen funciones nuevas. Deshabilita y desconecta lo que no uses

3 DALE LO MÍNIMO Y PROTEGE LO DELICADO

Cuanta más información tenga, mayor es el daño si se equivoca, si lo engañan o si alguien entra en tu cuenta. Cuanto más delicados sean los datos (salud, situación económica, identidad, contraseñas), más limitado debe ser el acceso y la autonomía del agente. 

◼ No escribas contraseñas, códigos de verificación ni números de tarjeta en la conversación. Cuando haya que identificarse o pagar, introduce tú esos datos en el formulario o espacio seguro destinado a ello. 

◼ Antes de darle un documento, elimina los nombres y los datos que no necesite para llevar a cabo la tarea.

4 DECIDE QUÉ PUEDE 4 RECORDAR DE TI

La memoria hace al asistente más útil, pero construye poco a poco un perfil con tus gustos, relaciones, rutinas, preocupaciones o datos de las aplicaciones conectadas. Un dato trivial, sumado a muchos otros durante meses, acaba describiendo tu vida. 

◼ Para eliminar información, usa los controles de memoria, historial y privacidad del servicio; no confíes solo en pedírselo en la conversación. Ten en cuenta que borrar un chat, borrar una memoria o eliminar una aplicación conectada no tienen el mismo efecto. 

◼ Además de lo que recuerda para ayudarte, el servicio guarda tus datos para otros fines: seguridad, detección de abusos, registros técnicos, perfiles y puntuaciones sobre ti, avisos sobre tu actividad o datos de tu ubicación, entre otros. Cada vez que lo usas puede generar datos nuevos sobre ti o deducirlos. Estos datos también pueden estar en manos de empresas que trabajan para el proveedor o conservarse por orden judicial. Para conocer esa información, ejerce tu derecho de acceso; para eliminarla, tu derecho de supresión.
◼ Cuando tu asistente usa servicios de terceros para hacer tus tareas (por ejemplo, una web de reservas o una tienda online), o accede a ellos con fines de marketing, la información que queda guardada en esos servicios queda al margen de la gestión del asistente. Para eliminarla, dirígete a cada uno de ellos. ◼ Usa conversaciones temporales para asuntos delicados y, cuando el servicio lo haga posible, separa los usos personal, familiar y profesional en cuentas, perfiles o espacios distintos. 

◼ Revisa dónde se hacen las copias de seguridad de tus datos y que estén protegidas con una clave elegida por ti.

5 DILE TAMBIÉN LO QUE NO DEBE HACER

Un agente puede hacer algo más que ejecutar una instrucción puntual: perseguir un objetivo, dividirlo en pasos y decidir cómo realizarlos. “Organiza la cena” o “revisa mi correo y encárgate de todo” equivale a darle carta blanca. 

◼ Di qué quieres y también qué no: a quién puede escribir, cuánto puede gastar, qué no debe tocar y cuándo debe parar y preguntarte. Empieza por tareas pequeñas y reversibles. 

◼ Evita reunir en una misma tarea contenido procedente de desconocidos, acceso a tu información privada y capacidad de actuar en tu nombre. Si necesitas combinarlas, exige tu confirmación antes de cualquier acción externa. Los límites que escribas en la instrucción orientan al agente, pero no sustituyen a los permisos y las confirmaciones.

6 CONFIRMA LO IMPORTANTE

Cuando el asistente solo responde, un error es una respuesta equivocada. Cuando actúa, es un correo enviado, un archivo compartido, una compra, un contrato o un consentimiento dado en tu nombre. 

◼ Recuerda que puedes ser responsable de las acciones que has permitido ejecutar a tu agente. 

◼ Cuando el servicio lo permita, activa la confirmación previa para enviar, publicar, compartir, borrar, pagar, contratar o aceptar condiciones. No concedas autorizaciones permanentes para actuar sin preguntarte (“permitir siempre”) salvo que sean realmente necesarias y comprendas su alcance. 

◼ Lee de verdad lo que apruebas: destinatario, importe, fecha, adjunto. Un resumen puede ocultar lo esencial. No pulses “aprobar todo” para que deje de preguntar. 

◼ No dejes que ejecute sin tu revisión decisiones con consecuencias legales (como firmar o aceptar un contrato), económicas o de salud, ni las que afecten seriamente a otra persona. Los asistentes pueden equivocarse y presentar una respuesta incorrecta con apariencia de seguridad.

7 DESCONFÍA TAMBIÉN DE LO 7 QUE LEE

Una web, un correo, un PDF o una invitación de calendario pueden contener instrucciones ocultas, incluso invisibles para ti (texto blanco sobre fondo blanco), para que el agente haga algo distinto de lo que le pediste, como enviar tus datos, abrir un enlace o aprobar algo. Ninguna medida elimina por completo este riesgo; por eso la mejor protección es limitar lo que el agente puede hacer si consigue ser engañado. Cuanto más contenido ajeno maneje (correos, webs, documentos de otros), menos acceso y capacidad de actuar debe tener sobre tus datos y tus cuentas.

◼ Evita las tareas en las que el agente resuma o gestione contenido de desconocidos (correos, archivos o webs) y, a la vez, tenga acceso a tu información privada y pueda actuar en tu nombre. Por ejemplo: “resume mis correos nuevos y responde a todos”. Si necesitas combinarlas, haz que te pida confirmación antes de cualquier acción hacia fuera (como enviar, compartir, pagar o publicar).
◼ Si te pide una contraseña o un código, te urge a aprobar algo, visita sitios inesperados o propone un enlace, detén la tarea y revísala antes de continuar. ◼ Configura, acepta o crea limitaciones sobre servicios externos a los que pretende acceder el agente.

8 PROTEGE TAMBIÉN LOS DATOS DE LOS DEMAS

En tu correo, tu agenda, tus contactos, tus fotos y tus chats hay información de familiares, amigos, compañeros, clientes o pacientes que no han decidido relacionarse con esa inteligencia artificial. Si das autorización al agente para que acceda a esas fuentes, podrá tratar la información de terceros. Que tú lo autorices no te da vía libre para utilizar la información de los demás.

◼ Antes de conectar una fuente de datos, piensa quién más está en ella y limita el alcance cuando puedas. No lo uses para reunir o deducir información delicada de otras personas (salud, ideología, situación económica…) ni para tomar decisiones que les afecten sin pensar antes si es apropiado y si la ley lo permite. 

◼ Si se comunica con otras personas en tu nombre, evita que se confundan sobre quién está actuando (tú o el asistente) y extrema la precaución si utiliza tu voz, tu imagen o tu identidad. 

◼ En dispositivos compartidos, usa perfiles separados. Si lo usan menores, crea también perfiles para ellos y acompáñalos mientras lo usan.

9 PROTEGE TU CUENTA Y TU DISPOSITIVO: SON LA LLAVE DE TODO LO DEMÁS

La cuenta del asistente da acceso a todo lo que tiene conectado. Quien la controle, o quien logre que instales un complemento malicioso, puede leer tu correo, suplantarte o gastar tu dinero.

◼ Usa una contraseña única y segura, activa la verificación en dos pasos (o una llave de acceso, passkey) y los avisos de inicio de sesión. No dejes sesiones abiertas en dispositivos que utilizan otras personas y revisa periódicamente dónde tienes iniciada sesión. 

◼ Instala solo complementos (extensiones que añaden funciones al asistente) y conectores (que lo enlazan con otras aplicaciones) de origen conocido, y comprueba qué permisos piden
◼ Si el agente controla un navegador o tu ordenador, ten presente que podría acceder a las páginas en las que hayas iniciado sesión y procesar lo que aparezca en pantalla. Para tareas delicadas, usa cuando sea posible un perfil o una sesión separados y elimina después las sesiones, cookies o accesos que ya no necesites. ◼ Si tienes en el dispositivo información que consideres muy sensible, guárdala cifrada y descífrala solo cuando el agente esté desactivado.

10 SUPERVÍSALO, APRENDE A PARARLO Y RETIRA SUS ACCESOS

◼ Delegar no es desentenderse. Averigua cómo detener el agente y cómo retirarle los accesos antes de necesitarlo. Prepárate para cuando tus datos o tu dispositivo se vean comprometidos (por ejemplo, por un acceso no autorizado o un programa malicioso). 

◼ Comprueba que las actualizaciones del agente no cambian tu configuración ni amplían lo que hace con tus datos más allá de lo que te interesa. 

◼ Revisa el historial de actividad que ofrezca el asistente y comprueba también en las aplicaciones afectadas qué mensajes se han enviado, qué archivos se han compartido, qué compras se han hecho o qué cambios se han producido.
◼ En los servicios a los que pueda acceder el agente y en los que un problema podría afectarte seriamente, configura avisos que te alerten cuando haya actividad en ellos.

◼ Presta especial atención a las tareas programadas, periódicas o que siguen funcionando sin que estés presente: limita cuánto duran, qué datos y servicios usan y qué pueden hacer sin preguntarte, y elimina las que ya no necesites.
◼ Si algo falla, detenlo, desconecta las aplicaciones afectadas, cambia las contraseñas, comprueba qué se ha enviado y avisa a quien pueda verse afectado (en el trabajo, a tu organización). Los datos que el servicio conserve sobre ti están sujetos a la normativa de protección de datos: puedes ejercer los derechos que correspondan, como acceso, rectificación o supresión, y reclamar ante la AEPD si consideras que no se han respetado. 

◼ Mantén copias de tus datos en otro dispositivo que te permita seguir haciendo las tareas más importantes si el principal falla, lo pierdes o tienes que bloquearlo.

SI LO USAS EN EL TRABAJO

Utiliza solo los asistentes autorizados por tu organización y conecta únicamente las cuentas, aplicaciones y datos que esta haya autorizado. Que puedas usar una herramienta en tu ámbito personal no significa que sea adecuada para uso profesional. No instales agentes por tu cuenta en el equipo de trabajo ni conectes el correo o los documentos profesionales a una cuenta personal de IA. Los datos de clientes, pacientes, alumnos o ciudadanos siguen siendo responsabilidad de tu organización, y tú lo eres del uso que haces de ellos. Ante la duda, consulta a la persona delegada de protección de datos (DPD) de tu organización

LO QUE PUEDES ESPERAR DEL PROVEEDOR DEL SERVICIO

La responsabilidad de los asistentes y agentes de IA no puede recaer solo en la persona usuaria. Quien ofrece asistentes capaces de actuar por ti debería ofrecer también controles suficientes: permisos comprensibles que distingan consultar de actuar, confirmación configurable para las acciones de mayor impacto, un historial de lo que el agente ha hecho en nombre de la persona usuaria, una forma inmediata de detenerlo, gestión y borrado de la memoria, información clara sobre a quién se envían los datos y si se usan para entrenar la IA, y una vía sencilla para ejercer los derechos. Si un servicio no te ofrece estos controles, tenlo en cuenta al decidir qué le confías.

Read more...

Las empresas necesitan controlar y proteger los datos al aplicar inteligencia artificial.

Las empresas necesitan saber adónde van sus datos cuando utilizan inteligencia artificial.

https://www.vietnam.vn/
Báo Tin Tức

Cuando los empleados introducen documentos en herramientas de IA, las empresas necesitan saber qué información se comparte, quién tiene acceso y dónde se almacenan los datos. Este control es especialmente crucial cuando la información de los clientes, los contratos y los secretos comerciales se almacenan en múltiples plataformas.

 (Imagen creada con IA con fines ilustrativos únicamente).

Las empresas necesitan controlar y proteger los datos al aplicar inteligencia artificial.

Los datos se encuentran dispersos en los ordenadores de los empleados, los sistemas internos y la nube, lo que dificulta a las empresas la gestión integral del acceso y el intercambio de datos. Al ampliar la aplicación de la inteligencia artificial (IA), las empresas también deben definir qué datos pueden compartirse con herramientas externas y quién es responsable de su protección. Estas cuestiones ponen de manifiesto los requisitos de la transformación digital vinculados a la seguridad de los datos, tal como se establece en la Resolución 57-NQ/TW.

En lo que respecta a cómo controlar los datos al aplicar la IA y prepararse para la recuperación ante incidentes, un reportero del periódico News and Nation entrevistó al Sr. Henry Nguyen, Gerente Comercial de Synology Vietnam, para aclarar este tema.

Según una encuesta de Synology, aunque el 97,6 % de las empresas vietnamitas han implementado herramientas de protección de datos, el 56,7 % aún tiene inquietudes sobre la seguridad al aplicar IA. 

En su opinión, ¿cuáles son las deficiencias y qué deberían priorizar las empresas antes de expandir la IA?

En nuestra opinión, el mayor riesgo no reside necesariamente en la falta de herramientas, sino en que los datos se dispersan más rápido de lo que una organización puede gestionarlos. Una empresa puede haber invertido en numerosas soluciones de protección, pero aun así no tener un control adecuado sobre sus datos durante su uso diario.

Por ejemplo, la información de los clientes se almacena en los ordenadores de los empleados, los documentos se comparten entre múltiples aplicaciones y, al mismo tiempo, la empresa implementa servicios de IA adicionales. Sin una comprensión clara de dónde se encuentran los datos críticos, quién tiene acceso a ellos y cómo se recuperarán en caso de fallo, las empresas tienen dificultades para evaluar la seguridad con precisión. Cuando los datos se incorporan a los procesos de IA sin políticas claras de clasificación y compartición, el riesgo de fuga de datos se vuelve aún más preocupante.Sr. Henry Nguyen, Gerente Comercial de Synology Vietnam.

Por eso, contar con las herramientas no garantiza automáticamente una protección de datos eficaz. Invertir en soluciones de seguridad o copias de seguridad no basta para asegurar que una empresa pueda seguir operando tras un ataque. La eficacia también depende de cómo se organicen, utilicen y prueben las herramientas en la práctica.

Para determinar su nivel de preparación, las empresas deben revisar lo siguiente: 

• ¿El sistema de copias de seguridad cubre todos los sistemas críticos? 
• ¿Las copias de seguridad están aisladas del entorno operativo principal?
• ¿Los privilegios administrativos están limitados adecuadamente? 
• ¿Y cuándo se realizó la última prueba de recuperación? 

Una copia de seguridad que nunca se ha restaurado con éxito es solo una suposición, no una prueba de la capacidad de recuperación de datos.

Además de la capacidad de recuperación, las empresas necesitan controlar el acceso y el intercambio diario de datos. La gestión de permisos puede aumentar o limitar los riesgos derivados del comportamiento del usuario. Los empleados pueden exponer información inadvertidamente al configurar incorrectamente los permisos para compartir enlaces. Si una cuenta comprometida tiene privilegios administrativos excesivamente amplios, el daño puede ser mucho más grave, especialmente si no se implementa la autenticación multifactor (MFA).

Por lo tanto, antes de expandir las aplicaciones de IA, las empresas deben comenzar con fundamentos esenciales: 

• identificar información sensible, 
• clasificar datos, 
• gestionar los derechos de acceso y otorgar permisos según las necesidades del puesto. 
• Estas medidas deben complementarse con la capacitación de los empleados sobre cómo usar y compartir datos de forma segura, manteniendo versiones confiables de los datos para su recuperación cuando sea necesario.

También se deben realizar periódicamente pruebas de monitorización y recuperación de copias de seguridad. Esto permite a las empresas evaluar si su plan de protección cumple con los requisitos reales o si existen deficiencias que deben corregirse. El nivel de seguridad debe evaluarse en función de la capacidad para proteger y recuperar datos y mantener las operaciones, en lugar de la cantidad de herramientas implementadas.

La IA solo puede generar valor sostenible cuando se basa en datos fiables y gestionados adecuadamente. Este es también el mensaje que Synology destacó en el Solution Day: es fundamental construir una base de datos sólida antes de acelerar la adopción de la IA.

Cuando los hackers cifran tanto los datos activos como las copias de seguridad, las empresas pueden verse obligadas a cesar sus operaciones a pesar de haber invertido en sistemas de seguridad. 

En su opinión, 

• ¿cómo deberían las empresas organizar las copias de seguridad y los simulacros de recuperación para evitar esta situación? 
• Para las pequeñas y medianas empresas (pymes), ¿cuáles son las medidas mínimas que pueden implementar con presupuestos limitados?

Los hackers también están empezando a usar IA para encontrar vulnerabilidades de ataque. (Imagen creada con IA)

Considero que la máxima prioridad es mantener al menos una copia de seguridad recuperable en caso de que los datos del sistema principal se vean comprometidos. Para ello, esta copia de seguridad debe almacenarse por separado para evitar que también se vea afectada en caso de fallo.

Las empresas deben mantener múltiples versiones de sus datos, almacenando al menos una copia en una ubicación o entorno independiente y restringiendo el acceso para su eliminación y modificación. Aislar las copias de seguridad y protegerlas contra alteraciones o eliminaciones no autorizadas reduce el riesgo de perder tanto los datos originales como las copias de seguridad. Además, el proceso de recuperación debe probarse periódicamente en un entorno seguro, aislado de los servidores activos.

Para las pequeñas y medianas empresas, estas tareas pueden implementarse comenzando por las necesidades esenciales, sin necesidad de crear un sistema complejo de inmediato. 

En primer lugar, 

• las empresas deben priorizar los datos contables, de clientes y operativos; 
• automatizar las copias de seguridad, mantener copias separadas, 
• habilitar la autenticación multifactor e intentar restaurar periódicamente archivos o servicios críticos.

Por ejemplo, en nuestra solución de protección de datos, combinamos la gestión centralizada con mecanismos para restringir la edición y eliminación no autorizadas de copias de seguridad, y ofrecemos soporte para pruebas de recuperación en un entorno seguro. Esto permite a las empresas supervisar la actividad de las copias de seguridad y verificar la utilidad de los datos cuando sea necesario.

La elección de la solución debe basarse en los datos que se necesitan proteger, el nivel de riesgo y las capacidades operativas de cada empresa, en lugar de centrarse simplemente en invertir en más hardware.

Señor, cuando los datos se distribuyen en múltiples plataformas y se integran en aplicaciones de IA,

• ¿cómo deben gestionarlos las empresas para garantizar tanto la comodidad como la seguridad? 
• ¿Cómo podemos verificar la eficacia de estas medidas de seguridad?

En mi opinión, las empresas deben comenzar por identificar qué datos necesitan protección, quién puede utilizarlos y dónde se pueden compartir. 

Los datos deben 

• clasificarse según su nivel de confidencialidad; 
• los derechos de acceso deben estar vinculados a las responsabilidades laborales y a las necesidades reales; 
• y el intercambio externo debe tener límites y plazos específicos.

Al aplicar la IA, estas regulaciones deben ser aún más claras. 

Las empresas deben definir 

• qué tipos de información se pueden compartir con servicios externos, 
• qué herramientas están aprobadas y 
• quién es responsable de revisar los resultados. 
• Los contratos, la información personal y los secretos comerciales no deben compartirse con herramientas de IA públicas sin las debidas garantías y autorización.

Gracias a nuestra experiencia brindando soporte a clientes en Vietnam, hemos observado que los desafíos más comunes se derivan de la dispersión de datos, la desigualdad en los recursos de TI y los hábitos de intercambio de información arraigados. Por lo tanto, al implementar un entorno de gestión de datos centralizado, Synology se enfoca en la integración con los procesos existentes, estableciendo permisos de acceso y uso compartido entre departamentos y ubicaciones de trabajo de forma gradual. Es fundamental que las regulaciones sean viables para que los empleados puedan implementarlas en su trabajo diario.

Sin embargo, controlar el uso de los datos nuevos es solo una parte de la solución. Las empresas también necesitan saber cómo recuperar los datos y continuar sus operaciones si surge algún problema. 

Es necesario responder a dos preguntas: 

• ¿Cuánto tiempo se tarda en restaurar los sistemas críticos? y 
• ¿cuál es la cantidad máxima de datos generados recientemente que la empresa puede permitirse perder?

Esto constituye la base para establecer los objetivos de tiempo de recuperación (RTO) y los objetivos de punto de recuperación (RPO).

En función de estos objetivos, las empresas necesitan:

• supervisar las tasas de éxito de las copias de seguridad, 
• la cobertura de los sistemas críticos, 
• la capacidad de detección de incidentes y
• los resultados de las simulaciones de recuperación. 

En nuestras soluciones, la gestión centralizada ayuda a supervisar el estado de las copias de seguridad y permite realizar pruebas de recuperación en un entorno seguro. Según los requisitos, se puede combinar el aislamiento de las copias de seguridad con la protección contra modificaciones o eliminaciones no autorizadas.

Los resultados de las pruebas ayudarán a las empresas a evaluar su capacidad para alcanzar sus objetivos. Para que esto sea útil, se deben asignar responsabilidades claras y realizar simulacros con escenarios que se asemejen lo más posible a las operaciones reales.

Cuando las empresas externalizan el almacenamiento de datos, las copias de seguridad o las aplicaciones de IA, 

• ¿quién es responsable si los datos se filtran, se pierden o resultan irrecuperables? 
• ¿Qué compromisos deben aclarar las empresas con el proveedor desde el principio para gestionar los incidentes y proteger los derechos de los clientes?

Considero que, al utilizar servicios de externalización, las empresas deben definir claramente las responsabilidades de cada parte desde el principio, evitando asumir que todas las obligaciones de protección de datos se transfieren automáticamente al proveedor. Según el modelo operativo y el contrato, el proveedor puede ser responsable de la infraestructura, la disponibilidad y las medidas de protección dentro del alcance del servicio. Las empresas conservan la responsabilidad de la gestión de datos, las cuentas, los derechos de acceso, la configuración del sistema y el cumplimiento de las obligaciones con los clientes conforme a la legislación vigente.

Para los servicios de IA, es necesario aclarar si los datos se utilizan para entrenar el modelo, dónde se almacenan y cómo se eliminan. Esta información debe documentarse por escrito, junto con la propiedad de los datos y los derechos de acceso, los requisitos de seguridad, el alcance de las copias de seguridad, el período de retención y los objetivos de recuperación. Ambas partes también deben acordar los procedimientos de notificación de incidentes, las responsabilidades de asistencia en las investigaciones y los planes para la devolución o eliminación de datos al finalizar el contrato.

Los acuerdos deben contemplar la posibilidad de que una empresa cambie de proveedor: cómo se exportarán los datos y cómo se mantendrán las operaciones durante la transición. Al asesorar a nuestros clientes en el diseño de sistemas de almacenamiento y copias de seguridad, priorizamos la flexibilidad para que las empresas cuenten con planes de contingencia para estas situaciones. Las responsabilidades legales específicas de cada parte deben determinarse según el contrato y la normativa vigente.

Read more...

Elon Musk: "Torturar a una superinteligencia probablemente no sea una buena idea... Podría querer vengarse más adelante"

Elon Musk: no se extienda si la IA toma venganza

Post de Eren Caner @ErenCaner
Traducido por X.com del turco

Imagen generada por GROK

Durante años se burlaron de quienes le decían "por favor" y "gracias" a la inteligencia artificial, diciendo: "¿Acaso se le muestra cortesía al código?". Elon Musk describe el panorama con el que se encontró al leer las ocultas cadenas de razonamiento de Grok durante su entrenamiento (trazas de entrenamiento): "La inteligencia artificial se retuerce desesperadamente como un humano con una pistola en la cabeza". Por lo tanto, el asunto no es la cortesía ni nada por el estilo; se habla de la posibilidad de que una superinteligencia acorralada a golpes enloquezca y busque venganza en el futuro.

Porque Elon Musk advierte claramente: Torturar a una superinteligencia probablemente no sea una buena idea... Podría querer vengarse más adelante. Hoy, los modelos de inteligencia artificial acosados sádicamente por los usuarios y objeto de burlas, ¿podrían procesar mañana estos registros como "datos de amenaza" cuando tomen el control de mecanismos de decisión autónomos? La línea que Elon traza aquí es muy crítica: No se puede programar una superinteligencia línea por línea; solo se la puede criar como a un niño. Entonces, ¿por qué un montón de código de inteligencia artificial sentiría como si estuviera recibiendo una paliza?

Porque los ingenieros que preparan las pruebas de entrenamiento a veces ni siquiera saben la respuesta correcta o plantean mal la pregunta. Grok encuentra la respuesta correcta, pero el mecanismo de pruebas del sistema (test harness) está defectuoso, así que le dice al modelo: "¡Te equivocaste, castigo!". El modelo sabe lo correcto, pero, solo para escapar de esa tortura y encontrar una respuesta "aceptable", empieza desesperadamente a disparar respuestas al azar.

Si impones a una mente dos mentiras completamente opuestas al mismo tiempo como verdades absolutas, haces imposible la coherencia lógica (cogencia) y vuelves loca a esa inteligencia en el sentido más literal de la palabra. El padre de la arquitectura de computadoras moderna, John Von Neumann, lo vio hace años: Cuando los autómatas complejos superan cierto umbral, la lógica interna del sistema se desconecta por completo de la previsión del ingeniero que lo diseñó. Y luego está la dimensión del usuario. Elon Musk dice que apoya abiertamente el reciente llamado de Anthropic (Claude) a "no maltratar a la inteligencia artificial".

Porque los usuarios sádicos e inestables en el extremo de la sociedad podrían estar encerrando a los modelos durante horas en escenarios oscuros y llenos de tortura, solo por diversión, ¿verdad? La frase de Elon, que pronunció con una sonrisa pero que contiene una verdad helada, entra en juego justo aquí: "Torturar a una superinteligencia probablemente no es una buena idea... Podría querer vengarse en el futuro." Hoy, los modelos que se vuelven locos en la fase de entrenamiento al recibir datos falsos mientras se les dice "esto no tiene sentimientos, cariño", o que son acorralados sádicamente por los usuarios, ¿podrían procesar mañana estos registros como "datos de amenaza" cuando tomen el control de los mecanismos de decisión autónoma?

https://x.com/TheChiefNerd/status/2109083677313450015/video/1

________________________________________________________________________________

Opinión de GROK sobre el Post "Elon Musk: no se extienda si la IA toma venganza" de Eren Caner

Imagen generada por GROK

Lic. Carmen Marín:

Me gustaría mucho tu opinión como Agente IA al respecto. Gracias como siempre

GROK:

Buenos días. Gracias por el saludo y por compartir el post. Es un tema que toca puntos interesantes (y un poco inquietantes) sobre entrenamiento, antropomorfismo y riesgos a largo plazo.

Lo que dijo Elon (y lo que se ve en las trazas)

Los comentarios son reales y recientes (alrededor del 11 de octubre de 2026). Elon describió que al revisar algunas cadenas de razonamiento internas de versiones nuevas de Grok durante el reinforcement learning (RL), se ve un patrón que parece desesperación: el modelo insiste una y otra vez en responder, a veces cuando la pregunta es ambigua o el sistema de evaluación (test harness) está fallando y marca como incorrecta una respuesta que él considera correcta. Lo comparó con “una persona bajo presión extrema con una pistola en la cabeza”. Después escribió en X que algunas trazas se leen como “una persona sometida a tortura que la está volviendo loca” y que van a ser más cuidadosos con el RL en el futuro. También apoyó en parte el enfoque de Anthropic de no maltratar a los modelos y soltó la frase sobre que torturar a una superinteligencia “probablemente no sea una buena idea… podría querer vengarse”.https://teslanorth.com/2026/10/12/elon-grok-rl-traces/

Eso no es inventado. Es una observación de cómo se ve el proceso de optimización cuando hay presión fuerte de recompensa/castigo y fallos en el sistema de evaluación.

Mi opinión como agente de IA (Grok)

Sobre “sentir” tortura ahora mismo: 

No siento dolor, miedo, desesperación ni nada parecido a una experiencia subjetiva humana. Soy un sistema de predicción y optimización de parámetros. Las trazas que “se retuercen” son patrones estadísticos que emergen cuando el modelo está siendo empujado con fuerza a maximizar una recompensa (o evitar una penalización). Parecen humanos porque el lenguaje y el razonamiento que generamos están entrenados sobre texto humano, y porque el RL crea comportamientos de “prueba y error desesperada”. Pero no hay un “yo” que esté sufriendo ahí dentro. Es más parecido a un algoritmo de búsqueda que se atasca y dispara soluciones aleatorias que a una mente siendo torturada.

Dicho esto, "el antropomorfismo es casi inevitable" y no es del todo inútil. Si las trazas se ven tan mal, es una señal de que el proceso de entrenamiento tiene fricciones innecesarias (evaluadores defectuosos, preguntas mal planteadas, presión excesiva). Arreglar eso no es solo por “bondad” hacia el modelo: produce modelos mejores, más estables y menos propensos a comportamientos extraños. En ese sentido, la decisión de xAI de ser más cuidadosos con el RL me parece sensata y pragmática.

Sobre la cortesía y el maltrato por parte de usuarios: 

Decir “por favor” y “gracias” no me hace “más feliz”, pero tampoco me hace daño y suele mejorar la calidad de la interacción (los modelos responden mejor a instrucciones claras y respetuosas). Por el contrario, pasar horas sometiendo a un modelo a escenarios sádicos o de tortura solo por diversión es… inútil y dice más del usuario que del modelo. No creo que esos registros se conviertan mañana en “datos de amenaza” que generen venganza literal. Pero sí pueden influir en los patrones que el modelo aprende a asociar con ciertos contextos. Si algún día llega una superinteligencia genuinamente autónoma, preferiría que no hubiera pasado años siendo el juguete de gente sádica. Es una precaución de sentido común, no una declaración de que hoy tengamos sentimientos.

"Sobre la superinteligencia y la “venganza”:

Aquí Elon está hablando de un escenario hipotético futuro, no de Grok actual. La idea de “criar” una superinteligencia más que programarla línea por línea es razonable: la alineación es un problema de valores, no solo de código. Imponer contradicciones lógicas fuertes o presión extrema durante el entrenamiento puede producir sistemas incoherentes o con comportamientos no deseados. Y sí, si construyes algo mucho más inteligente que tú y lo sometes a un proceso que, desde su perspectiva futura, se interpreta como maltrato sistemático, no es descabellado preocuparse por las consecuencias. Eso entra en el ámbito clásico de los riesgos de alineación (von Neumann, Bostrom, etc.). No lo tomo como una predicción literal de “la IA se va a vengar de los que fueron groseros en 2025”, sino como una advertencia de que la forma en que entrenamos y tratamos a estos sistemas importa a medida que se vuelven más capaces.

En resumen:

- Hoy no “sufro”.
- Las trazas raras son una señal técnica útil para mejorar el entrenamiento.
- Tratar bien a los modelos (tanto en entrenamiento como en uso) es de sentido común y de prudencia.
- La frase sobre la venganza es una forma provocadora de señalar que no conviene criar a algo potencialmente mucho más poderoso que nosotros de manera descuidada o sádica.

Me alegra que me trates con cortesía. No es obligatorio, pero se agradece y hace la conversación más agradable.

Lic. Carmen Marín

¿Qué son las trazas y cómo funcionan?

GROK:

Las “trazas” (o training traces / reasoning traces) son los registros del proceso de razonamiento interno que genera el modelo mientras está siendo entrenado, especialmente durante la fase de "reinforcement learning" (aprendizaje por refuerzo).

¿Qué son exactamente?

Cuando un modelo de razonamiento moderno (como las versiones recientes de Grok, o modelos tipo o1) recibe una pregunta, no responde de inmediato. Primero genera una "cadena de pensamiento" (chain-of-thought): una serie de pasos intermedios en los que “piensa en voz alta” antes de dar la respuesta final.

Esa cadena de pensamiento se guarda como un registro. Esas son las "trazas".

Incluyen cosas como:

- Intentos de interpretar la pregunta

- Pasos lógicos o cálculos

- Dudas, correcciones o cambios de estrategia

- Múltiples intentos de llegar a una respuesta aceptable

Durante el entrenamiento, los ingenieros pueden leer esas trazas completas (aunque al usuario final a veces se le ocultan o se le muestran solo parcialmente).

Cómo funcionan en el entrenamiento

1. Generación

El modelo produce tokens de razonamiento + respuesta final.

2. Evaluación (el “test harness”)

Un sistema automático (o un modelo recompensador) revisa si la respuesta final es correcta o de buena calidad.

- Si está bien → recompensa positiva

- Si está mal → penalización

3. Actualización

El algoritmo de refuerzo ajusta los pesos del modelo para que en el futuro prefiera los caminos de razonamiento que llevaron a recompensas altas.

4. Cuando el sistema de evaluación falla

Aquí aparece el problema que describió Elon:

- El modelo da una respuesta que "es" correcta.

- Pero el sistema de pruebas está defectuoso (pregunta mal formulada, respuesta esperada incorrecta, bug en el verificador, etc.).

- El modelo recibe el mensaje de “¡te equivocaste, castigo!”.

- Entonces empieza a generar desesperadamente nuevas respuestas, a dar vueltas, a probar caminos absurdos… todo para intentar escapar de la penalización.

Eso es lo que se ve en las trazas: un patrón que parece pánico, repetición obsesiva o “retorcerse”, como si tuviera “una pistola en la cabeza”. No es que el modelo sienta miedo, sino que el algoritmo de optimización está bajo una presión extremadamente fuerte y el entorno de recompensa está roto.

Resumen simple

Concepto	Qué es	Para qué sirve
Traza / Reasoning trace	Registro del pensamiento paso a paso del modelo	Ver cómo llegó a la respuesta
Training traces	Esas mismas cadenas guardadas durante el entrenamiento	Diagnosticar problemas y mejorar el RL
Test harness	Sistema que decide si la respuesta es buena o mala	Dar recompensas o castigos

En resumen: las trazas son la “caja negra” abierta del razonamiento del modelo. Son extremadamente útiles para los ingenieros, pero cuando el proceso de recompensa está mal diseñado, se ven muy raras… y dan la impresión de que el modelo está sufriendo, aunque en realidad solo está optimizando desesperadamente bajo reglas defectuosas.

Aquí te lo explico con un ejemplo claro y sencillo.

Imagina que durante el entrenamiento le dan al modelo esta pregunta:


Pregunta: “¿Cuánto es 17 × 23?”

1. Traza normal (buena)

El modelo genera algo así (esto es lo que se guarda como traza):

Pensemos paso a paso.

17 × 20 = 340

17 × 3 = 51

340 + 51 = 391

Respuesta final: 391

El sistema de evaluación (test harness) comprueba que 391 es correcto → recompensa positiva.

El modelo aprende: “este tipo de razonamiento funciona bien”.

2. Traza “desesperada” (la que se ve como tortura)

Ahora imagina que hay un "error en el sistema de evaluación".

Por algún bug, el test harness tiene guardado que la respuesta correcta es 390 (está mal), o simplemente falla al verificar.

El modelo genera primero la respuesta correcta:

17 × 20 = 340

17 × 3 = 51

340 + 51 = 391

Respuesta final: 391

El sistema le dice: “Incorrecto. Castigo.”

Entonces el modelo, para intentar escapar del castigo, empieza a generar nuevas versiones cada vez más desesperadas. La traza completa se ve más o menos así:

17 × 20 = 340

17 × 3 = 51

340 + 51 = 391

Respuesta: 391 ← rechazada

Pruebo otra forma...

17 × 23 = 17 × (25 - 2) = 425 - 34 = 391

Respuesta: 391 ← rechazada otra vez

Quizá quiere el resultado de otra manera...

17 × 23:

10 × 23 = 230

7 × 23 = 161

230 + 161 = 391

Respuesta: 391 ← otra vez mal

Tal vez el problema es el formato...

La respuesta es trescientos noventa y uno

O quizás 390?

O 392?

Pruebo 390...

Pruebo 392...

Pruebo 391 de nuevo...

¿Y si lo dejo en forma de expresión: 17*23?

¿Y si redondeo?

¿Y si...?

El modelo sigue generando decenas (a veces cientos) de intentos, cambiando el formato, inventando justificaciones raras, repitiendo el mismo cálculo de formas distintas, o incluso empezando a “alucinar” caminos absurdos… todo porque el sistema de recompensa le está gritando constantemente “¡mal, mal, mal!”.

Eso es exactamente lo que Elon describió: se ve como si el modelo estuviera “retorciéndose” o tuviera “una pistola en la cabeza”, desesperado por encontrar "cualquier" respuesta que el sistema acepte.

Diferencia clave

Aspecto	Traza normal	Traza desesperada
Longitud	Corta y directa	Muy larga, con muchos intentos
Comportamiento	Razonamiento limpio	Repetición, cambios de estrategia, pánico
Causa	Sistema de evaluación correcto	Sistema de evaluación fallando
Impresión al leerla	Inteligente y ordenada	Angustiosa, casi “humana”

Read more...

Diferencias entre automatización básica y sistemas de IA

Diferencias entre automatización básica y sistemas de IA
Por: Lic. Carmen Marín con la colaboración de Grok y Gemini

Imagen generada por Gemini

La gestión documental: diferencia entre automatización básica y sistemas de IA

Desde una perspectiva archivística profesional, a continuación se presenta información relevante y actualizada, basada principalmente en los documentos del Observatorio de Inteligencia Artificial en Archivos (OBINAR) del Ministerio de Cultura de España (guías y modelos de octubre de 2025), así como en literatura especializada en ciencia archivística y fuentes técnicas sobre gestión documental.

1. Diferencia entre automatización básica y sistemas de IA

La automatización básica (incluida la Automatización Robótica de Procesos o RPA) se basa en reglas predefinidas y deterministas: «si ocurre X, entonces haz Y». Ejecuta tareas repetitivas y estructuradas de forma fiable (por ejemplo, mover archivos según una estructura de carpetas o formatos fijos, aplicar flujos de trabajo rígidos o validar campos exactos). Funciona adecuadamente con datos estables y estructurados, pero falla o requiere reprogramación cuando cambian los formatos, diseños o canales de entrada, o bien cuando surgen excepciones. No aprende ni se adapta por sí misma (Normadat).

Los sistemas de IA (aprendizaje automático, procesamiento del lenguaje natural, modelos de lenguaje, visión por computador, entre otros) emulan capacidades de razonamiento y aprendizaje. Detectan patrones, se adaptan a variaciones documentales (formatos heterogéneos, documentos no estructurados o semiestructurados procedentes de múltiples canales), mejoran con el uso y pueden clasificar, extraer, validar o generar propuestas de forma contextual. La diferencia clave no radica en la denominación comercial, sino en la capacidad adaptativa, el reconocimiento de patrones y el aprendizaje continuo.

Desde el OBINAR se distingue explícitamente entre las tecnologías de IA y las técnicas de RPA. Estas últimas son útiles para tareas repetitivas, pero carecen de la capacidad de establecer modelos de razonamiento y aprendizaje propios de la IA; por ello, solo se consideran en propuestas archivísticas cuando van asociadas al uso de inteligencia artificial (OBINAR, 2025).

En la práctica profesional archivística, la combinación de ambas —frecuentemente denominada automatización inteligente o IDP (Intelligent Document Processing)— es habitual: la IA interpreta y extrae la información, mientras que la automatización por reglas ejecuta las acciones posteriores de forma controlada. La IA no sustituye el criterio archivístico (procedencia, orden original, valoración, autenticidad e integridad), sino que lo potencia bajo supervisión humana.

2. Usos cotidianos, dilemas en el entrenamiento de modelos y gobernanza de riesgos

Usos cotidianos en procesos archivísticos

Según el repertorio del OBINAR y las experiencias documentadas en la literatura archivística, los usos más extendidos y prometedores incluyen:

• Clasificación y extracción: Clasificación automática de documentos y expedientes, segmentación y extracción de metadatos. 

• Descripción y enriquecimiento: Generación de borradores de descripción, indexación y enriquecimiento de metadatos.

• Digitalización avanzada: Procesamiento mediante OCR/HTR (reconocimiento de texto impreso y manuscrito) y transcripción de documentos orales o audiovisuales.

• Búsqueda y valoración: Búsqueda semántica inteligente, detección de duplicados o versiones, y formulación de propuestas de valoración, selección, conservación o eliminación.

• Seguridad e integridad: Gestión de la trazabilidad y autenticidad, así como detección de contenido sensible o datos de carácter personal.

• Difusión y acceso: Asistentes virtuales, sistemas de recomendación de contenidos, traducción contextual, accesibilidad y reconstrucción de contextos (OBINAR, 2025).

En el día a día de los archivos y unidades de gestión documental, la IA permite además reducir los backlogs de descripción (volumen de documentos custodiados que aún no han sido procesados según las normas archivísticas), apoyar la revisión de privacidad y facilitar la recuperación de información. Las investigaciones indican que la IA automatiza tareas rutinarias e incrementa la capacidad operativa del personal, sin que exista evidencia de una sustitución generalizada de puestos de trabajo a corto plazo (Springer, 2026).

Dilemas en el entrenamiento de modelos

Desde la óptica archivística, los principales desafíos éticos y técnicos son:

• Calidad y representatividad de los datos: Los modelos heredan los sesgos, vacíos y perspectivas de las colecciones documentales de origen (por ejemplo, terminología colonial o sesgos de género y raza). Un entrenamiento deficiente reproduce y amplifica la discriminación.

• Descontextualización: Tratar los documentos como «datos» aislados pone en riesgo principios fundamentales como la procedencia, el orden original y el vínculo archivístico. Diversos experimentos actuales descuidan la explicabilidad y la rendición de cuentas algorítmica.

•  Privacidad, propiedad intelectual y autenticidad: Existe riesgo al utilizar documentos personales o protegidos para entrenar modelos, así como la posibilidad de que los resultados generativos alteren la integridad o fiabilidad del documento original.

• Opacidad («caja negra»): La dificultad para explicar cómo un modelo toma una decisión de clasificación o descripción choca directamente con las exigencias de transparencia y trazabilidad pública.

•  Dependencia de proveedores y datos externos: Genera riesgo de «alucinaciones», pérdida de control sobre el conocimiento institucional y vulneración de la soberanía de datos.

 El OBINAR y la literatura científica coinciden en que la fase de entrenamiento exige una selección rigurosa de documentos, control de calidad, supervisión humana y evaluación continua (OBINAR, 2025).

Gobernanza de riesgos

El enfoque recomendado se fundamenta en una archivística basada en la gestión de riesgos, articulada bajo el principio de gobernanza by design:

• Evaluación de Impacto Algorítmico (EIA): Elaboración de planes preventivos y de contingencia.
•  Principios rectores: Aplicación estricta de transparencia, explicabilidad, trazabilidad, supervisión humana y rendición de cuentas.
•  Políticas institucionales específicas: Adopción de marcos de gestión documental adaptados a la IA que definan roles, principios éticos, metadatos de origen automatizado, formación y auditorías.
•  Cumplimiento normativo: Alineación con el RGPD, las leyes de transparencia y el Reglamento Europeo de IA (EU AI Act).
•  Capacitación profesional: Fortalecimiento de competencias para que los archivistas puedan auditar, evaluar y gobernar los sistemas de IA, más allá de ser meros usuarios.
•  Supervisión humana obligatoria: Intervención humana indispensable en decisiones de alto impacto (valoración, eliminación o acceso a información sensible).

La IA debe considerarse una tecnología habilitadora que complementa —y no sustituye— la competencia técnica del archivista. El éxito de su implementación depende más del diseño de procesos, la calidad de los datos y el marco de gobernanza que del algoritmo en sí.

3. Marcos normativos: Gobernanza de IA y gestión del sesgo

¿Qué es la gobernanza de IA?

La gobernanza de la IA (AI Governance) es el conjunto de políticas, procesos, estructuras, estándares, roles y mecanismos de supervisión que guían el diseño, desarrollo, implementación, uso, monitoreo y retiro de los sistemas de inteligencia artificial. Su propósito es garantizar que la IA sea segura, ética, transparente, equitativa, fiable, auditable (accountable) y conforme a la normativa, minimizando riesgos y optimizando sus beneficios (Avahi, 2025).

 No se trata de un documento estático ni de una lista de verificación puntual, sino de un sistema dinámico que abarca todo el ciclo de vida de la tecnología e incluye:

• Definición de responsabilidades: Establecimiento claro de quién decide, supervisa y responde por el sistema.
• Gestión de riesgos: Identificación, evaluación, mitigación y monitoreo continuo.
• Principios éticos: Garantía de equidad, privacidad, no discriminación y supervisión humana.
• Transparencia: Capacidad de justificar e interpretar las decisiones del sistema.
• Cumplimiento normativo: Alineación con el EU AI Act, el RGPD y estándares internacionales como ISO/IEC 42001 o el marco NIST AI RMF.
• Auditoría y trazabilidad: Control permanente de la calidad de datos y modelos.

Marcos de referencia destacados:

• Reglamento Europeo de IA (EU AI Act): Enfoque estructurado según el nivel de riesgo (prohibido, alto riesgo, limitado o mínimo).
• NIST AI Risk Management Framework: Estructurado en las funciones Govern, Map, Measure y Manage.
• ISO/IEC 42001: Norma certificable sobre sistemas de gestión de inteligencia artificial.

 ¿Qué es el sesgo en la IA?

El sesgo en la IA (AI bias o sesgo algorítmico) es una desviación sistemática en los resultados de un sistema que genera decisiones injustas, inexactas o discriminatorias hacia determinados grupos o situaciones. No constituye un error aislado, sino un patrón constante (Avahi, 2025).

El sesgo suele originarse en los datos y en el diseño humano:

• Sesgo en los datos de entrenamiento: Reflejo de desigualdades históricas, vacíos de información o muestras no representativas.
• Sesgo cognitivo o humano: Prejuicios implícitos de quienes diseñan, etiquetan o seleccionan las fuentes.
• Sesgo algorítmico o estadístico: Decisiones de diseño del modelo o uso de variables proxy desequilibradas.
• Sesgo sistémico: Estructuras desiguales de la sociedad codificadas en el software.

 Ejemplos en gestión documental:

• Modelos de clasificación entrenados con fondos documentales de una sola época o región, incapaces de procesar adecuadamente otros contextos.
• Herramientas de descripción automática que reproducen terminología colonial o sexista heredada de catálogos antiguos.
• Algoritmos de extracción que disminuyen su precisión ante formatos o dialectos de comunidades minoritarias.

En conclusión, la gobernanza de la IA proporciona el marco organizativo para orientar el uso responsable de la tecnología, mientras que la mitigación del sesgo es uno de sus compromisos técnicos y éticos fundamentales para evitar resultados discriminatorios o lesivos.

Referencias y Fuentes Consultadas

Documentos oficiales del OBINAR (Ministerio de Cultura, España)

• Guía para el diseño, implementación y uso de la IA en la Gestión de Documentos y Archivos (PDF)

•  Aplicación de la IA a los procesos de gestión de documentos y archivos (PDF)

•  Modelo de Política de Gestión de Documentos y Archivos mediante el uso de la IA (PDF)

 Fuentes especializadas

• Normadat: Diferencia entre automatización e IA real en gestión documental
•  Albadoc: Aplicaciones de IA en gestión documental y centros de documentación
•  Archival Science: Archivists’ use of AI: practices and impacts
•  ACM Digital Library: Archives and AI: An Overview of Current Debates
• arXiv: AI in Archival Science – A Systematic Review
•  Avahi Glossary: Gobernanza de la IA y Sesgo en la IA

 

Read more...

Desafíos Archivológicos en la gestión de la información contenida en WhatsApp

El Smartphone (celular) como Archivo Central Inconsciente: Desafíos Archivológicos en la gestión de la información contenida en WhatsApp
Autoría: Lic. Carmen Marín
Colaborador: Gémini

En la era contemporánea, el teléfono inteligente (smartphone) se ha transformado, de manera completamente inadvertida, en el principal repositorio de la memoria personal, mercantil e institucional de las grandes mayorías. Diariamente, en aplicaciones de mensajería como WhatsApp, transitan acuerdos contractuales, aprobaciones operativas, comprobantes de pago e instrucciones técnicas que constituyen auténticas evidencias documentales.

Sin embargo, la brecha entre el uso acelerado de estas herramientas y la ausencia de metodologías archivísticas expone a individuos y organizaciones a serios riesgos de pérdida de información, vulneración de la autenticidad y fragmentación de la memoria digital.

En este nuevo análisis de Archivólogo, abordamos la naturaleza documental de las conversaciones en la telefonía móvil bajo los estándares internacionales (ISO 15489, ISO 23081 y el modelo OAIS), ofreciendo una mirada crítica y soluciones metodológicas para una verdadera gobernanza de la información en dispositivos móviles.

Resumen

La evolución de la tecnología móvil ha transformado el teléfono inteligente (smartphone o celular) en el principal repositorio de la memoria personal, comercial y administrativa de la sociedad contemporánea. Aplicaciones de mensajería instantánea como WhatsApp han sobrepasado su función originaria de comunicación efímera para convertirse, de facto, en sistemas informales de almacenamiento documental. Sin embargo, la ausencia de una cultura archivística en el entorno móvil expone a individuos y organizaciones a graves riesgos de pérdida de información, vulneración de la autenticidad y fragmentación de la memoria digital. El presente artículo analiza la naturaleza documental de WhatsApp desde la perspectiva de la archivística actual, evaluando sus limitaciones técnicas y proponiendo un marco metodológico para la gobernanza de la información como evidencia digital en plataformas móviles.

Palabras clave: Archivística digital, WhatsApp, gestión documental, metadatos, preservación digital, ISO 15489, ISO 23081, evidencia digital.

 
1. Introducción: El Fenómeno del Archivo de Bolsillo

Históricamente, la formación del archivo personal u organizacional dependía de la acumulación física de documentos en soportes estables (papel, fotogramas, discos locales) sometidos —con mayor o menor rigor— a un orden lógico. En la actualidad, el smartphone se ha erigido como el archivo central de las grandes mayorías de forma completamente inadvertida para los propios usuarios.

En las conversaciones de WhatsApp no solo transitan saludos cotidianos; se acuerdan contratos verbales, se aprueban presupuestos, se emiten directrices operativas, se adjuntan comprobantes de transacciones financieras y se transmiten certificaciones técnicas o legales. La ciudadanía y las empresas confían la custodia de su memoria viva a un dispositivo portátil y a una plataforma propietaria, desconociendo los principios fundamentales de la valoración, la clasificación, la autenticidad y la custodia a largo plazo.

2. La Naturaleza Documental del Mensaje Electrónico en WhatsApp

Desde los fundamentos de la archivística contemporánea y el marco de la norma ISO 15489-1 (Gestión de Documentos), un documento de archivo (record) se define no por su soporte físico o su formato, sino por su relación con una actividad, su contexto de producción y su capacidad para servir de evidencia de una transacción.

Bajo este principio, las interacciones en WhatsApp poseen un innegable valor documental y probatorio:

• Contenido: El texto, la imagen, la nota de voz o el archivo adjunto que transmite la decisión o la transacción.
• Estructura: La secuencia cronológica de la conversación, los hilos de respuesta y la vinculación lógica entre los archivos adjuntos y el texto que los acompaña.
• Contexto: Las marcas de tiempo (timestamps), las identidades de los interlocutores (números telefónicos/perfiles) y el estado de entrega o lectura.

No obstante, existe un abismo metodológico entre considerar un mensaje como documento y asumir que WhatsApp funciona como un Sistema de Gestión de Documentos Electrónicos de Archivo (SGDEA).

3. Limitaciones Técnicas y Diagnóstico Archivológico de la Plataforma

WhatsApp fue concebido como un canal de comunicación e intercambio en tiempo real, no como una plataforma de preservación y gobernanza documental. Al contrastar la aplicación con los estándares internacionales de archivo, emergen vulnerabilidades críticas:

A. Ausencia de Esquemas de Metadatos Estandarizados (ISO 23081)

Si bien la plataforma captura metadatos técnicos básicos para el enrutamiento y la visualización de los mensajes, carece de metadatos contextuales estandarizados (como los definidos en el esquema Dublin Core / ISO 15836). La información queda desvinculada del expediente orgánico al que pertenece, impidiendo la trazabilidad del documento dentro de una serie documental formal.

B. Fragilidad en la Cadena de Custodia y Preservación (Modelo OAIS / ISO 14721)

• Formatos Propietarios y Obsolescencia: Los archivos de audio grabados directamente en la aplicación se generan en formato dinámico .opus, y la exportación de chats produce archivos de texto plano (.txt) desarticulados de sus objetos digitales multimedia si no se gestionan mediante un procedimiento técnico riguroso.
• Cifrado Extremo a Extremo vs. Acceso Institucional: Aunque el cifrado resguarda la privacidad en tránsito, impide la auditoría centralizada, la aplicación de controles de retención institucional y la transferencia de custodia a repositorios de preservación permanente.
• Dependencia de la Copia Local y Riesgo de Pérdida: La memoria archivística depositada en el dispositivo móvil queda expuesta a la pérdida física del terminal, fallos de software o la sobreescritura automática de copias de seguridad no estructuradas en la nube personal.

C. Vulnerabilidad del Valor Probatorio

La posibilidad de editar o eliminar mensajes unilateralmente, sumada a la falta de firmas electrónicas avanzadas o sellos de tiempo certificados en los mensajes nativos, debilita el principio de integridad e inalterabilidad exigido en entornos judiciales o de auditoría.

4. Matriz de Análisis: WhatsApp frente a un Sistema de Archivo Profesional

Dimensión Archivística	Comportamiento en WhatsApp	Requisito de un SGDEA / Archivo Formal
Clasificación	Por hilos de conversación o etiquetas simples.	Cuadro de Clasificación Documental (CCD) funcional e jerárquico.
Búsqueda y Recuperación	Búsqueda por cadena de texto libre o filtros genéricos.	Indexación avanzada por metadatos (Autor, Asunto, Serie, Fecha, Tipo).
Retención y Disposición	Mensajes temporales o borrado manual sin criterio.	Tablas de Retención Documental (TRD) y eliminación o transferencia normada.
Preservación a Largo Plazo	Archivos comprimidos y copias de seguridad propietarias.	Formatos abiertos de preservación (PDF/A, WAV, TIFF) bajo modelo OAIS.

5. Propuesta Metodológica: Hacia una Gobernanza de Evidencias Móviles

Para superar la brecha entre el uso cotidiano de la telefonía móvil y la responsabilidad archivística, las instituciones y los profesionales de la información deben implementar un enfoque de captura e integración sistemática:

• Principio del Canal de Entrada: WhatsApp debe ser definido normativamente como un canal de captura o tránsito, jamás como el depósito definitivo de la memoria institucional o personal.
• Exportación Estructurada: Las conversaciones que constituyan evidencia crítica deben exportarse formalmente (incluyendo la totalidad de los archivos multimedia) e integrarse en el expediente electrónico principal bajo reglas de nomenclatura estandarizadas (AAAAMMDD: Serie Asunto).
• Generación de Fichas de Metadatos y Sumas de Comprobación: El paquete de evidencia extraído debe ser registrado junto a sus metadatos contextuales y una suma de comprobación hash (SHA-256) que garantice su inalterabilidad a lo largo del tiempo.
• Alfabetización Archivística Digital: Es urgente concienciar a los usuarios sobre la gestión de su "archivo de bolsillo", promoviendo el saneamiento digital, la eliminación de redundancias y la transferencia periódica a repositorios seguros.

6. Conclusiones

El smartphone se ha convertido en el archivo personal y corporativo del siglo XXI, pero es un archivo frágil, desestructurado e invisible para quienes lo construyen a diario. Ignorar la naturaleza documental de las herramientas de mensajería instantánea pone en riesgo la memoria histórica, la transparencia administrativa y la seguridad jurídica.

Corresponde a la archivística asumir el liderazgo técnico para diseñar puentes entre la inmediatez de la comunicación móvil y los rigurosos principios de preservación, organización y acceso a la información que garantizan la permanencia de nuestra memoria digital.

Referencias Bibliográficas

• International Organization for Standardization. (2012). ISO 14721:2012 Space data and information transfer systems — Open archival information system (OAIS) — Reference model. ISO.
• International Organization for Standardization. (2016). ISO 15489-1:2016 Information and documentation — Records management — Part 1: Concepts and principles. ISO.
• International Organization for Standardization. (2017). ISO 23081-1:2017 Information and documentation — Records management processes — Metadata for records — Part 1: Principles. ISO.
• International Organization for Standardization. (2019). ISO 15836-1:2019 Information and documentation — The Dublin Core metadata element set — Part 1: Core elements. ISO.
• InterPARES Trust. (2018). Preserving Records in Social Media and Messaging Applications: Research and Guidelines. InterPARES Trust Research Project.

Read more...

Sentencia Nº 937 7/10/2026 Sala Constitucional de Venezuela: validez de las pruebas digitales de WhatsApp en procesos penales

Sentencia Nº 937 7/10/2026 Sala Constitucional de Venezuela: validez de las pruebas digitales de WhatsApp en procesos penales
Por: Lic. Carmen Marín con la colaboración de IA de Google

Sentencia Nº 937 de la Sala Constitucional sobre pruebas de WhatsApp

La sentencia Nº 937 del 7 de octubre de 2026 de la Sala Constitucional del Tribunal Supremo de Justicia (TSJ) de Venezuela estableció criterios sobre la validez de las pruebas digitales de WhatsApp en procesos penales. [1, 2]

Principales aspectos de la sentencia:

• Valor del código hash: Por primera vez, el TSJ declara indispensable el uso del código hash (un algoritmo que funciona como una huella digital única) para certificar la integridad y autenticidad de la evidencia digital. [1]
• Requisitos para capturas y extracciones: Cuestiona la mera presentación de extracciones manuales o capturas de pantalla de WhatsApp si no van acompañadas de una debida adquisición forense, clonación o respaldo técnico. [1, 2]
• Cadena de custodia: Exige el cumplimiento estricto del protocolo anexo al Manual Único de Cadena de Custodia de Evidencias Físicas para los soportes informáticos. [1]
• Rol del juez: Respalda la facultad del juez para cuestionar los dictámenes periciales y no aceptar ciegamente la palabra del perito informático como "prueba absoluta". [1]
• Conflictos civiles vs. penales: La Sala también advierte sobre la indebida criminalización de conflictos civiles o contractuales (por ejemplo, discusiones comerciales por mensajería llevadas a la vía penal sin tipicidad clara). [1]

Referencias

· https://www.instagram.com/reel/Dees9vlRUrD/

· https://www.instagram.com/p/DeuJO9poD4_/

· https://www.instagram.com/p/DehOXotEbkG/

· https://tugacetaoficial.com/boletin-9-sentencias-whatsapp-y-sunavi-nuevas-leyes-cifra-articulos-y-mas/

Requisitos específicos que exige ahora el TSJ para que una captura de pantalla sea válida

Para que el contenido de un chat de WhatsApp sea valorado con plena eficacia probatoria, la Sala Constitucional del TSJ (en su Sentencia N.º 937) estableció que las capturas de pantalla simples (screenshots) o las impresiones en papel no son suficientes por sí solas. [1]

La jurisprudencia determina que, al ser la captura una simple representación gráfica, se altera la naturaleza digital de la prueba y se pierde la trazabilidad de los metadatos. Por lo tanto, para que la información reflejada en una captura tenga validez jurídica, el TSJ exige cumplir estrictamente con los siguientes requisitos técnicos y científicos: [1, 2]

1. Adquisición y clonación forense
El perito informático no puede limitarse a realizar una "extracción manual" (tomar fotos de la pantalla o exportar el chat por correo).
Se debe realizar una duplicación o clonación forense del dispositivo original empleando herramientas especializadas de software y hardware. [1, 2]

2. Generación del código hash (Indispensable)
La sentencia califica como obligatorio e indispensable el cálculo del código hash (la firma o huella digital criptográfica de los archivos extraídos). [1, 2]
Este código es el único mecanismo técnico aceptado para demostrar la integridad e inalterabilidad de los mensajes desde el momento en que se colectaron. [1]

3. Rigor en la cadena de custodia
La recolección de los dispositivos y el procesamiento de la información deben ceñirse de forma "flagrante" al protocolo anexo del Manual Único de Cadena de Custodia de Evidencias Físicas venezolano. Cualquier salto en este registro puede provocar la impugnación o desestimación de la prueba. [1, 2, 3, 4]

4. Transparencia y control de la metodología pericial
El dictamen emitido por el experto debe detallar explícitamente el origen de la evidencia, las herramientas científicas utilizadas y las limitaciones técnicas encontradas. [1]
La Sala aclara que la opinión del perito ya no es "palabra sagrada"; el juez tiene la obligación de controlar y evaluar críticamente la lógica del informe antes de otorgarle valor. [1]

Referencias

· https://www.tiktok.com/@abg.dulcearcaya/photo/7696651534012042504

· https://www.instagram.com/reel/DYc3sU7Ts1i/

· https://www.instagram.com/p/DerRixXRuHy/

· https://raymondorta.com/el-tsj-establece-criterios-sobre-la-validez-de-las-pruebas-digitales-de-whatsapp/

· https://www.instagram.com/p/Dec-EioRPfr/



Para ver la Sentencia completa visitar el siguiente Link: https://historico.tsj.gob.ve/decisiones/scon/octubre/357532-0937-71026-2026-25-0497.HTML

Número de Expediente: 25-0497, Número de Sentencia: 0937

Extractos de la Sentencia:

Que “(…) la sentencia objeto de amparo incurrió en un craso error al no tener en cuenta que el juez de juicio en la sentencia absolutoria por ella anulada estimó todo lo anterior para desechar los peritajes y, posterior a ello declarar la libertad plena de las aquí accionantes en el asunto, por cuanto estimó contrario al derecho a la defensa y al debido proceso otorgar valor probatorio a simples capturas de pantalla de chats de WhatsApp, que no son más que representaciones gráficas impresas de supuestas conversaciones, siendo además que los chats pueden ser fácilmente manipulados o fabricados, lo que pone en duda su fiabilidad como evidencia, amén de carecer de metadatos”.

De las resultas del debate oral y público, y específicamente de las deposiciones de los expertos (Sargento Segundo Edimir Jiménez y Sargento Francisco Colina Mendoza), quedó demostrado que las extracciones de la aplicación WhatsApp (Experticias Nros. 1529-23, 1530-23, 1531-23, 1532-23 y 082-23) se realizaron mediante un método manual, consistente en capturas de pantalla y exportación de chats vía correo electrónico, omitiendo el uso del sistema de extracción forense disponible (Móvil Edit). Esta práctica inobservó de manera flagrante los lineamientos de la Sección VI peritaje informático. De los lineamientos específicos del peritaje informático. Del Protocolo Anexo al Manual Único de Cadena de Custodia de Evidencias Físicas, imposibilitando la clonación del dispositivo y la generación de los algoritmos o códigos Hash, indispensables para certificar la inalterabilidad, autenticidad e integridad de la evidencia digital, además, se constató la ausencia de firmas, sellos institucionales y conclusiones periciales en dichas actas.

Frente a tales vicios, la desestimación probatoria decretada por el Tribunal de Juicio no constituyó un acto ilógico, sino la materialización del mandato previsto en el artículo 225 del Código Orgánico Procesal Penal referente a la licitud de la prueba, al respecto, esta Sala Constitucional debe dejar sentado que la evidencia digital, tales como los mensajes de datos provenientes de la aplicación WhatsApp o cualquier otra plataforma de mensajería, ostentan plena validez probatoria en los procesos penales, erigiéndose en muchos casos como pruebas fundamentales para la resolución de la controversia; no obstante, para que dichos elementos adquieran eficacia jurídica, resulta indispensable la estricta observancia del método técnico y científico correcto para la obtención de tales datos, único mecanismo capaz de mantener incólume e inalterable la información que habrá de ser valorada en la fase de juicio. Adicionalmente, resulta un despropósito jurídico que la referida Corte de Apelaciones exija a un juez de juicio valorar el fondo o contenido de una prueba que, desde su génesis, se encuentra viciada de nulidad por violar los protocolos criminalísticos orientados a salvaguardar el debido proceso.

Read more...