Сейчас сэкономлю вам кучу времени.

🤔 Мне тут на работе выпало делать голосового помощника. И если вы делаете что-то похожее или просто хотите поднять себе собственную бесплатную chatGPT, то этот пост для вас.

👨‍💻 Первое, что вам придется сделать, это понять, какого качества LLM'а вас устроить. Моделей сейчас хватает, vicuna, llama, alpaca, koala, dodo - целый зоопарк. Чтоб лишний раз не мучать этих милых животных и не потратить свои драгоценные недели дни на выкачивание и запуск моделей ради экспериментов, можно взять вот этот крутецкий сайт. Где за вас подняли все chatGPT-like модели. Поиграться с каждой из них в риалтайме и кайфануть.

🚀 А чтоб быстрее сойтись и прийти к оптимальной модели под ваши задачи, можно еще на вот эту статью обратить внимание. Тут chatGPT принят за эталон, а другие модели оценили относительно его. Скрин в посте из нее. Сам сперва пробовал развернуть на своих серверах LLAMA 13b, но по итогу реально хорошо себя показала Vicuna 13b. Обе модели без какой-либо квантилизации уместил на двух GPU по 16 гигов.

✅ Ваши прОдукты/тимлиды офигеют, как быстро и точно вы определи нужную модель для прода. Единственное, что обратите внимание на наличие лицензии)

#DevOps_это_боль
#но_уже_не_для_вас