Post #567
20
Nice IT Снова взялся за нейросеть, решил уже обучать их по нормальному, начал с pre-training на датасете из 1 млрд токенов, 75 миллионов параметров, токенизатор и архитектура от qwen2. Если всё пройдет хорошо будет новая Aletheia V1.4 75M Но даже сейчас чувствуется…
Ну его нахрен, по такой логике пре-тренинг 75M модели займет 4 года. В общем я заброшу это дело на неопределенный срок. Возможно буду клепать бомж сервер для обучения нейросети