💡 Как дообучить LLM

Берем open-source LLM (вроде Qwen или DeepSeek) и дообучаем вытаскивать JSON из текста по схеме. Автор разобрал весь пайплайн: задача, метрики (Levenshtein + валидность JSON), датасет scrapegraphai/scrapegraphai-100k (1k примеров), тест на paraloq/json_data_extraction. И отдельно замерили MMLU. Если вам нужно заставить маленькую модель стабильно выдавать структурированный ответ — это годный референс.

Источник

P.S. Нравится ли вам такой формат на канале?