Hayk Grigorian es un estudiante de ciencias computacionales y desarrollador aficionado que desde hace algún tiempo se ha dedicado a crear desde cero un modelo de lenguaje de IA a pequeña escala y a entrenarlo exclusivamente con 7,000 textos londinenses de la época victoriana (específicamente publicados entre 1800 y 1875).

Recientemente, Grigorian publicó en Reddit que durante una sesión de entrenamiento escribió " Era el año del Señor de 1834 ", a lo que el modelo llamado TimeCapsuleLLM respondió narrando ocurrido en aquella fecha. Esto sorprendió a su creador, quien desconocía aquel dato y tras una búsqueda en Google comprobó que tanto los hechos como el personaje mencionado por IA eran verdaderos.

Las revueltas de 1834

La respuesta del LLM fue la siguiente: 

Era el año del Señor de 1834 y las calles de Londres estaban llenas de protestas y peticiones. La causa, como muchos relataron, no se circunscribió a lo privado, sino que, habiendo surgido el mismo día en la época de Lord Palmerston, el público recibirá una breve exposición de las dificultades que han atravesado este día de la ley. Es profundamente lamentable que los acontecimientos actuales en la historia del mundo sean claros y, por consiguiente, se conozcan. No es cierto que los mismos hombres que se asentaron por primera vez en Jerusalén según el Evangelio tuvieran un registro tan extenso e interesante de prosperidad y auge.

Al principio, Grigorian pensó que se trataba de una coincidencia, pero tras comprobar en una serie de fuentes descubrió que Henry John Temple , también conocido como Lord Palmerston , fue Secretario de Asuntos Exteriores durante un periodo de protestas ocurridas a causa de la llamada Ley de Enmienda de la Ley de Pobres de 1834. Palmerston posteriormente llegaría a primer ministro.

Henry John Temple 3rd Viscount Palmerston

Fotografía de de Henry John Temple, vizconde de Palmerston (1857).

Para cualquier modelo de lenguaje grande como ChatGPT, esto no es la gran cosa. como menciona ArsTechnica , los investigadores de IA saben que estos modelos son capaces de ordenar información aprendida de diversas fuentes para entregar respuestas realistas. Sin embargo, lo interesante es que un modelo a pequeña escala fuera capaz de recrear un momento histórico a partir de referencias desperdigadas en una pequeña cantidad de documentos (para un LLM grande 7,000 textos no son nada).

Y es que Grigorian no proporcionó a TimeCapsuleLLM documentos específicos sobre las protestas de 1834, lo que significa que la IA hizo sus propias conexiones a partir de patrones implícitos en apenas 6.25 GB de textos de la época . " Imaginen los resultados [que podría arrojar] con 30 GB o más ", escribió el desarrollador en Reddit.

Desarrollador

El auge de los Modelos Lingüísticos Históricos de Gran Escala

En realidad, Grigorian ha entrenado tres modelos , dos con nanoGPT y otro con Phi 1.5. Esto le permitió crear una IA que se comporta a la manera de la época, que replica su vocabulario y muchas referencias de esos años. En lugar de ajustar modelos IA existentes, el estudiante buscó crear su propio modelo desde cero, que no simulara ser antiguo, sino que realmente lo fuera.

TimeCapsuleLLM no es el único LLM entrenado exclusivamente con textos de una época determinada. De hecho existe todo un campo de investigación sobre los llamados HLLM o Historical Large Language Models . Por ejemplo, están MonadGPT , entrenado con 11 000 textos de entre 1400 y 1700 d. C. que pueden abordar diversos temas utilizando marcos conceptuales del siglo XVII, o XunziALLM , que genera poesía clásica china siguiendo antiguas reglas formales.

Este tipo de experimentos podrían resultar útiles para investigadores de ciencias sociales y humanidades , puesto que podrían permitirles interactuar con los marcos lingüísticos e intelectuales de épocas anteriores. Según un artículo publicado en PNAS , los HLLM tendrían la capacidad de generar respuestas plausibles como si provinieran de personas de épocas y culturas distintas de la nuestra, y así podrían usarse en experimentos o estudios de normas sociales en contextos pasados.