Post #583
21
Nice IT Изучил ещё большее информации и решил обучить по нормальному. Сменил имя с Aletheia на Nerik, потому что имя Aletheia уже занял Google. Сейчас прогоняю 124 миллионов параметров на 2 млрд токенов текста Pre-Training чтобы научилась базовому английскому языку…
Pre-Training занял около 17 часов, модель прошла Pre-Training успешно, теперь перехожу к SFT чтобы допилить модель полностью. И решил сделать ровно 100 миллионов параметров