Анонсированная компанией Норникель доменная языковая модель MetalGPT-1 лидирует по скачиваниям в сегменте российских языковых моделей на платформе Hugging Face. Это первая в семействе больших языковых моделей компании модель с открытым исходным кодом (open source).

Модель включает 32 миллиарда параметров и обучена на 10 гигабайтах профильных текстов по металлургии и горнодобывающей промышленности — объёме, сопоставимом с половиной англоязычной Википедии. Компания использовала более миллиона документов из закрытых источников: технологические протоколы, внутренние регламенты и инструкции предприятий, проектная и строительная документация, патенты, отчёты НИОКР, научно-техническая литература. Все данные прошли многоступенчатую очистку и анонимизацию, что позволило использовать отраслевые знания без раскрытия коммерческой тайны. 

В отличие от универсальных моделей, обученных на общих интернет-данных, MetalGPT-1 изначально спроектирована для работы с профессиональной терминологией, аббревиатурами и сложными технологическими цепочками. Это снижает уровень «галлюцинаций» и повышает качество решений, принимаемых на основе рекомендаций искусственного интеллекта. Модель подходит для решения инженерных, технологических, производственных и корпоративных задач.

Для объективной оценки качества команда «Норникеля» создала промышленный бенчмарк по металлургии — набор вопросно-ответных пар, которые покрывают разные процессы горно-металлургической отрасли. На нём MetalGPT-1 стабильно превосходит открытые универсальные модели.

👍 Кадры Недр | Мы в Max