«Норникель» выложил в опенсорс доменную модель MetalGPT-1

Она интересна тем, что обучена на данных, которые обычно не циркулируют в открытой среде. Это всякие технологические регламенты, протоколы, НИОКР, проектная документация из области металлургии и гордобычи. Объем – примерно миллион текстов.

Размер самой модели – 32В, не маленькая. На ее основе компания уже строит ассистентов и автономных агентов, которые встраиваются непосредственно в узкие операционные процессы.

Архитектура типовая, но из-за того, что модель обучена на корпусе, которого веб никогда не увидит, разрыв в качестве на доменных задачах большой. В этом смысле открытые веса тут почти декоративны: без данных такое все равно не воспроизвести.

В ближайшем будущем у компаний будет появляться все больше таких доменных моделей, и рынок в каком-то смысле может даже разделиться по этому признаку.

Веса