Геймер собрал языковую модель на 6,4 млн параметров прямо в Factorio 🏭

Пользователь RomaPro227 запустил внутри Factorio языковую модель — честный трансформер на 6,4 млн параметров, восемь слоёв, восемь голов внимания, контекст на 256 символов, генерация посимвольно. Без модов и сторонних скриптов, чисто ванильным железом: около 105 тысяч комбинаторов, соединённых 200 тысячами проводов, а вывод — на табло из 8000 лампочек. Работает так: вбиваешь английский текст по одному символу в ряд комбинаторов, щёлкаешь переключателем отправки, ждёшь индикатор обработки... и табло отвечает.

Пара из арифметического и постоянного комбинаторов образует нейрон с 256 или 1024 входами: комбинаторы считают скалярное произведение, веса лежат в постоянных, а числовые векторы путешествуют по проводам. Скорость соответствует архитектуре, при 60 обновлениях системы в секунду модель выдаёт один символ примерно за семь секунд, сотня символов — почти 12 минут чистого ожидания. Зато функционал настоящий: модель отвечает на вопросы о Factorio, сочиняет короткие истории и шутит, хоть иногда ошибается и повторяется.

YT | GIT

🥸 godnoTECH - Новости IT