💪Даёшь большие LLM в каждый чайник

На днях группа ученых из MBZUAI и UESTC выложила тех репорт фреймворка TPI-LLM, который позволяет запускать большие LLM на смартфонах значительно быстрее аналогичных фреймворков (на 80-90%). По памяти тоже выбили рекордные 3.1 Gb для модели LLaMA 2-70B. LLaMA 3.1-70B «кушает» уже 11.3 Gb (но кого сейчас это пугает на смартфонах)

👉Код выложили тут
👉Тех репорт на arXiv