Маленький лайфхак.

Хотите вы протестировать фунциональность вашего кода на какой-то новомодной LLM-ке, но десятки, а то и сотни гигов качать впадлу.
Да и если раздебаг на колабе, банально и не влезет.

Кроме того, при прогонке кода обычно приходится ждать ⏳, пока чекпоинт подгрузится, да и прогонка активаций через большую модель занимает время.

Решение простое:
1️⃣ Cоздаете модель через AutoConfig
2️⃣ Урезаете число слоев и ширину модели
3️⃣ Вуаля. Можете хоть на CPU гонять.

Допер только на днях. До этого гонял Llama-2-7b в большинстве тестов.

[Колаб с примером]