Камрады, коллеги, сторонни_цы и сторонни_ки цифровых свобод, укротители тензоров, флибустьеры VRAM, GPU-эксплуататоры и прочие обитатели машинного андеграунда! Сегодня мы выложили на 🤗Hugging Face🤗 и 🤖Github🤖 ML-оптимизированный набор данных «Благословенного прилива».

Набор содержит:

• полный корпус текстов нашего троебучия в формате удобном для машинного обучения;
• иллюстрации и графические материалы, с аннотациями в JSONL;
• данные для RAG-систем, тематических ассистентов, поиска, классификации и любых экспериментов с машинной генерацией контента.

Кому это может пригодиться?

• разработчикам ML-систем, которые придумаю что бы такого построить поверх нашего странного-странного мира, с его арригинальными терминологией и логикой;
• создателям игровых ассистентов, цифровых NPC, лорбуков, специализированных агентов или просто удобного способа быстро и локально собрать тезисный пресс-кит для сайта (или статистическое сравнение, или карты смыслов), как в нашем случае;
• исследователям RAG и knowledge retrieval, энтузиастам synthetic data и domain adaptation;
• всем, кто считает, что светлое технологическое будущее должно состоять не только из корпораций, закрытых API, подписок на токены, бейонда по скидке, пакетик не нужен.

Зачем нам это всё?

Ну, во-первых, чтобы делом выказать то во что мы верим – любая информация хочет быть и, в итоге, становится свободной. А помимо того…

В последнее время вокруг много говорят о том, что т.н. "нейросети" меняют культуру. А мы, по этому поводу, скажем, что культура тоже должна менять нейросети. И что мы все можем быть акторами, а не только потребителями этой культуры.

Если независимые авторы, вроде нас, не будут открыто публиковать собственные корпуса знаний, то будущие информационные системы окажутся обучены исключительно на том, что сочли важным несколько крупных платформ. И вот это уже вопрос не технологий, но 🏳️ информационной автономии 🏳️.

И поэтому сегодня мы отправили в открытый доступ отправляется ещё один кусочек человеческой культуры. Берите. Изучайте. Индексируйте. Дообучайте. Стройте странные цифровые сущности. Помогайте машинам разобраться в морской мелкоторговле, таможенных дрязгах, стратегии соблазнения торговки металлопрокатом и прикладной экономике далёких архипелагов, населённых какими-то сомнительными многоножками.

pics creds: @sketch_break, freepik.com