Чел натренировал LLM на текстах из Лондона 19 века

Модель не знает что такое телефон, так как тренировалась лишь на данных до 1875 года, но зато прекрасно ориентируется в тогдашней религиозной дискуссии. Да, она базовая во всех смыслах — очень небольшой датасет, без файнтюнов поверх и всего миллиард параметров. Но если накинуть поверх этого базовый чатовый файнтюн, то получится прекрасный экскурс в настрой людей той эпохи. Обычные большие ллм тут плохо подходят — у них слишком много данных о современности, из-за чего они постоянно выходят из образа.

Вообще мне хочется такие ллмки для всевозможных временных периодов. Вспоминаются свитки, которые расшифровывают в рамках Vesuvius Challenge, и понимаем что можно попытается натренировать ллмку и на этих античных текстах (правда датасет из нескольких сотен свитков совсем крошечный).

https://huggingface.co/haykgrigorian/TimeCapsuleLLM-v2-1800-1875

@ai_newz