Los historiadores advierten que los registros sesgados pueden distorsionar nuestra comprensión del pasado.
>> viernes, 31 de julio de 2026
El archivo no es un juguete: los problemas ocultos de una IA ‘Vintage’
https://goodmenproject.com
Por Jacob Polay, Chloë Farr y Jessica Jack
Un nuevo modelo de IA entrenado en archivos históricos destaca por qué los historiadores advierten que los registros sesgados pueden distorsionar nuestra comprensión del pasado.
Generaciones de historiadores sociales han explorado archivos e inventado nuevas formas de abordar la historia mediante la colaboración con otras disciplinas. Un nuevo modelo de IA de estilo retro, llamado talkie, es un ejemplo de lo que sucede cuando la extracción de conocimiento reemplaza la colaboración.
Tras analizar las diversas comunicaciones en torno al modelo, el equipo detrás de talkie ha presentado su nuevo modelo de lenguaje natural (MLN) de dos maneras. En su publicación de blog, donde presentan este nuevo modelo, y en una entrevista con el podcast Hard Fork, el equipo describe su potencial predictivo. Su objetivo es comprobar si los modelos de lenguaje pueden predecir eventos más allá del período de los datos de entrenamiento, y para ello lo entrenan con documentos anteriores a 1931. El equipo parte de la premisa de que si este modelo "clásico" puede predecir su futuro, entonces los modelos modernos entrenados con la web actual pueden predecir nuestro futuro.
Sin embargo, la interfaz del chatbot talkie no utiliza el modelo como herramienta predictiva. No existe evidencia de su eficacia. En nuestras pruebas, su modelo local no incluye capacidades predictivas ni proporciona documentación suficiente para realizar ninguna predicción. En cambio, funciona más como un juguete para interactuar con una versión particular de la historia. Su eslogan anuncia el modelo como «un modelo LM de 1930», como si el usuario estuviera hablando con una entidad del pasado. Esta contraposición entre predicción e historia disfraza una herramienta cuyo uso no está claro y cuyos fundamentos son defectuosos.
Estos defectos comienzan con los datos con los que se entrenó talkie. Su corpus de entrenamiento era un subconjunto de los registros publicados en inglés anteriores a 1930. Como la mayoría de los archivos occidentales, este es un corpus probablemente dominado por escritores blancos, hombres y de élite. Otras voces quedan relegadas en los registros y, además, se filtran mediante la digitalización. El resultado es un modelo que habla con seguridad sobre el pasado con la voz de su segmento más limitado.
El equipo de talkie tomó estas decisiones deliberadamente. En el podcast Hard Fork, el Dr. David Duvenaud, miembro del equipo de Talkie y profesor asociado de la Universidad de Toronto, afirmó que querían que todo estuviera disponible públicamente en código abierto, y que la década de 1930 era la fecha más reciente que prácticamente no presentaba problemas legales. Sin embargo, el equipo no ha publicado las fuentes de los datos de entrenamiento, por lo que la poca información que tenemos sobre el conjunto de datos se basa en sus declaraciones públicas. Al parecer, el conjunto de datos de entrenamiento solo contiene textos impresos en inglés, excluyendo fuentes manuscritas o multilingües. Su publicación en el blog menciona específicamente "libros, periódicos, revistas, revistas científicas, patentes y jurisprudencia" como su corpus de entrenamiento. Obtuvieron estos materiales de repositorios como la Iniciativa de Datos Institucionales de la Universidad de Harvard, Internet Archive y productos del proyecto Common Pile. De esta manera, el equipo se basó en datos fáciles de encontrar y listos para usar, en lugar de desarrollar un corpus representativo con diversas perspectivas del pasado. Una dependencia excesiva de datos disponibles puede generar problemas, como la reproducción de puntos de vista estrechos de miras que ciertas personas sostenían en el pasado.
Esta dependencia de datos fáciles no se debía a la falta de acceso a conocimientos especializados. Cinco meses antes del lanzamiento de Talkie, Farr, una de nosotras, se reunió con Levine y Radford para una conversación de una hora sobre el reconocimiento óptico de caracteres (OCR) y el acceso a archivos históricos. Como parte del proyecto Talkie, se está desarrollando un OCR de última generación, que se relaciona con la investigación de Farr sobre modelos de lenguaje visual para la transcripción de archivos. Sin embargo, en lugar de hablar sobre nuevas herramientas de transcripción con IA, como Farr esperaba, el equipo le preguntó cómo obtener datos de entrenamiento para su modelo de predicción. Las preguntas de Farr sobre sus métodos de curación de corpus, como qué se incluiría o excluiría y cómo se reconocerían las lagunas, fueron recibidas con escaso interés. Consideraron que estas preguntas quedaban fuera del alcance de su trabajo actual. Cinco meses después, el modelo se lanzó con los problemas del corpus que Farr había señalado, representados únicamente como "limitaciones" y "direcciones futuras" en la publicación de lanzamiento, que reconoce su contribución en "discusiones útiles".
Si se hubieran tenido en cuenta advertencias como la de Farr, se habrían mitigado algunos de los problemas con los resultados de talkie. Como se observa en la Figura 1, talkie genera respuestas intolerantes y las presenta como una representación de 1930; un resultado de la metodología del proyecto. El arduo trabajo de ampliar el archivo se ve socavado. Investigadores de humanidades han contrastado las experiencias de personas marginadas con los registros publicados, han reconstruido la vida de personas esclavizadas utilizando libros de contabilidad coloniales y han reconstruido historias indígenas a partir de tradiciones orales y los márgenes de documentos coloniales. El uso que hace el equipo de talkie de documentos fáciles y accesibles, y la intolerancia resultante del modelo, eclipsa los esfuerzos profesionales y colaborativos que se han dedicado a diversificar y ampliar los archivos más allá de estas voces problemáticas. Estos esfuerzos han abordado los desafíos archivísticos ignorados por talkie: gran parte del material nunca se imprimió; gran parte de lo que se imprimió no está digitalizado; la mayoría de las fuentes manuscritas digitalizadas no están transcritas. Las fuentes efímeras y multilingües necesarias para entrenar un modelo con algo que se aproxime al archivo completo del pasado simplemente no existen en un formato legible por máquina.
Read more...
Tras analizar las diversas comunicaciones en torno al modelo, el equipo detrás de talkie ha presentado su nuevo modelo de lenguaje natural (MLN) de dos maneras. En su publicación de blog, donde presentan este nuevo modelo, y en una entrevista con el podcast Hard Fork, el equipo describe su potencial predictivo. Su objetivo es comprobar si los modelos de lenguaje pueden predecir eventos más allá del período de los datos de entrenamiento, y para ello lo entrenan con documentos anteriores a 1931. El equipo parte de la premisa de que si este modelo "clásico" puede predecir su futuro, entonces los modelos modernos entrenados con la web actual pueden predecir nuestro futuro.
Sin embargo, la interfaz del chatbot talkie no utiliza el modelo como herramienta predictiva. No existe evidencia de su eficacia. En nuestras pruebas, su modelo local no incluye capacidades predictivas ni proporciona documentación suficiente para realizar ninguna predicción. En cambio, funciona más como un juguete para interactuar con una versión particular de la historia. Su eslogan anuncia el modelo como «un modelo LM de 1930», como si el usuario estuviera hablando con una entidad del pasado. Esta contraposición entre predicción e historia disfraza una herramienta cuyo uso no está claro y cuyos fundamentos son defectuosos.
Estos defectos comienzan con los datos con los que se entrenó talkie. Su corpus de entrenamiento era un subconjunto de los registros publicados en inglés anteriores a 1930. Como la mayoría de los archivos occidentales, este es un corpus probablemente dominado por escritores blancos, hombres y de élite. Otras voces quedan relegadas en los registros y, además, se filtran mediante la digitalización. El resultado es un modelo que habla con seguridad sobre el pasado con la voz de su segmento más limitado.
El equipo de talkie tomó estas decisiones deliberadamente. En el podcast Hard Fork, el Dr. David Duvenaud, miembro del equipo de Talkie y profesor asociado de la Universidad de Toronto, afirmó que querían que todo estuviera disponible públicamente en código abierto, y que la década de 1930 era la fecha más reciente que prácticamente no presentaba problemas legales. Sin embargo, el equipo no ha publicado las fuentes de los datos de entrenamiento, por lo que la poca información que tenemos sobre el conjunto de datos se basa en sus declaraciones públicas. Al parecer, el conjunto de datos de entrenamiento solo contiene textos impresos en inglés, excluyendo fuentes manuscritas o multilingües. Su publicación en el blog menciona específicamente "libros, periódicos, revistas, revistas científicas, patentes y jurisprudencia" como su corpus de entrenamiento. Obtuvieron estos materiales de repositorios como la Iniciativa de Datos Institucionales de la Universidad de Harvard, Internet Archive y productos del proyecto Common Pile. De esta manera, el equipo se basó en datos fáciles de encontrar y listos para usar, en lugar de desarrollar un corpus representativo con diversas perspectivas del pasado. Una dependencia excesiva de datos disponibles puede generar problemas, como la reproducción de puntos de vista estrechos de miras que ciertas personas sostenían en el pasado.
Esta dependencia de datos fáciles no se debía a la falta de acceso a conocimientos especializados. Cinco meses antes del lanzamiento de Talkie, Farr, una de nosotras, se reunió con Levine y Radford para una conversación de una hora sobre el reconocimiento óptico de caracteres (OCR) y el acceso a archivos históricos. Como parte del proyecto Talkie, se está desarrollando un OCR de última generación, que se relaciona con la investigación de Farr sobre modelos de lenguaje visual para la transcripción de archivos. Sin embargo, en lugar de hablar sobre nuevas herramientas de transcripción con IA, como Farr esperaba, el equipo le preguntó cómo obtener datos de entrenamiento para su modelo de predicción. Las preguntas de Farr sobre sus métodos de curación de corpus, como qué se incluiría o excluiría y cómo se reconocerían las lagunas, fueron recibidas con escaso interés. Consideraron que estas preguntas quedaban fuera del alcance de su trabajo actual. Cinco meses después, el modelo se lanzó con los problemas del corpus que Farr había señalado, representados únicamente como "limitaciones" y "direcciones futuras" en la publicación de lanzamiento, que reconoce su contribución en "discusiones útiles".
Si se hubieran tenido en cuenta advertencias como la de Farr, se habrían mitigado algunos de los problemas con los resultados de talkie. Como se observa en la Figura 1, talkie genera respuestas intolerantes y las presenta como una representación de 1930; un resultado de la metodología del proyecto. El arduo trabajo de ampliar el archivo se ve socavado. Investigadores de humanidades han contrastado las experiencias de personas marginadas con los registros publicados, han reconstruido la vida de personas esclavizadas utilizando libros de contabilidad coloniales y han reconstruido historias indígenas a partir de tradiciones orales y los márgenes de documentos coloniales. El uso que hace el equipo de talkie de documentos fáciles y accesibles, y la intolerancia resultante del modelo, eclipsa los esfuerzos profesionales y colaborativos que se han dedicado a diversificar y ampliar los archivos más allá de estas voces problemáticas. Estos esfuerzos han abordado los desafíos archivísticos ignorados por talkie: gran parte del material nunca se imprimió; gran parte de lo que se imprimió no está digitalizado; la mayoría de las fuentes manuscritas digitalizadas no están transcritas. Las fuentes efímeras y multilingües necesarias para entrenar un modelo con algo que se aproxime al archivo completo del pasado simplemente no existen en un formato legible por máquina.
