⚡️Новый метод, который позволяет удалить 40% слоев LLM без снижения точности.

Это делает их намного дешевле и быстрее.

Его протестировали это на различных моделях с открытым исходным кодом.

В каждом семействе моделей было максимальное количество слоев, которые можно было удалить без снижения точности:

- Mistral - 30%
- Lama 70B - 40%
- Lama 13B - 50%

Отличная статья.

https://arxiv.org/html/2403.17887v1

@bigdatai