Post #511
48
Nice IT Парни, захотел увеличить количество параметров с 330 Миллионов до 1,2 Миллиардов и выкатить V1.2, но появилась серьезная проблема, нехватка RAM и VRAM. Для 1B и более требуется от 128 гигабайт RAM и 48GB VRAM, так что либо не делаешь вообще ничего, либо колотишь…
Я очень быстро уперся в потолок своей системы, ждать 128 часов(5 дней) это мазохизм чистой воды, поэтому обучение LLM моделей более чем на 500M параметров и с датасетом более чем на 6М примеров необходимо отложить до апгрейда системы.