Железо: Ryzen 7 5700X, 64GB DDR4, RTX 5060 Ti 16GB (Blackwell, тензорные ядра 5-го поколения).
Модель: GPT-like, 28 слоёв, n_embd=1024, n_head=16, FP16, gradient checkpointing, SDPA.
Датасет: 1M синтетических диалогов (арифметика, алгебра, геометрия, проценты, дроби, идентичность), содержит 22,6 млн токенов
Обучение: 1 эпоха, ~70 минут,
После обучения модель корректно отвечает на математические вопросы и знает, что она Aletheia. Никакого переобучения, качество держится стабильно.
Архитектура: GPT-2
Токенизатор: BPE
Планирую дальнейшее масштабирование и расширение датасета.
Умеет:
Арифметика
Сложение целых чисел (до 100)
Вычитание целых чисел
Умножение целых чисел (до 20)
Деление нацело (без остатка)
Смешанные операции (два действия: +, -, ×)
Решение уравнений
Линейные уравнения вида ax + b = c (переменные x, y, z)
Линейные уравнения вида ax - b = c
Пошаговое объяснение переноса и деления
Геометрия
Площадь прямоугольника по длине и ширине
Периметр прямоугольника
Периметр квадрата
Проценты
Нахождение процента от числа (10%, 20%, 25%, 50%, 75%)
Вычисление результата в одно действие
Дроби
Сложение двух обыкновенных дробей с разными знаменателями
Поиск общего знаменателя и суммы
Идентичность и общение
Ответ на вопросы «Кто ты?», «Как тебя зовут?»
Сообщение о создателе (Nice)
Приветствие и базовое общение