Снова взялся за нейросеть, решил уже обучать их по нормальному, начал с pre-training на датасете из 1 млрд токенов, 75 миллионов параметров, токенизатор и архитектура от qwen2. Если всё пройдет хорошо будет новая Aletheia V1.4 75M

Но даже сейчас чувствуется жесткий упор в железо, одной 5060 Ti банально не хватает.

Вот датасет если кому интересно https://huggingface.co/datasets/Dodosoomro/simple-100m-pretrain-1b