Уже появилось немало open-source LLM'ок, заточенных под программирование и которые можно использовать на своём ноуте или сервере за немного денег.

Зачем оно надо? Оно будет работать исключительно на вашей машинке, не сливая данные, вот и всё. Но этот нюанс открывает огромные возможности по запуску всяких там ИИ-чатов и копайлотов для команд разработки в компаниях, которые блокируют использование сторонних LLM типа ChatGPT и т.д. AI-Ops не за горами, а ещё пол года назад казалось, что это сказки😎

Ниже оставлю несколько самых популярных LLM, которые обучались для написания кода (отсортированы в порядке появления на рыночке):

🔸 Codes Alpaca (7B, 13B) - первая специализированная LLM'ка, набравшая большую популярность. Построена на базе слитой LLaMa.

🔸 StarCoder (15.5B параметров) - моделька от проекта BigCode, доступна для коммерческого использования (Apache License 2.0), запускается на железе с 20Gb RAM в минимальной конфигурации.

🔸 Code T5+ (220m - 16B) - LLM'ка для программирования от SalesForce, следующее поколение модели Code T5 (которая запускалась почти на каждом корыте), входит в семейство моделей CodeGen.

🔸 Stable Code (3b) - свежая моделька от Stability AI, которые разрабатывают StableDiffusion, DeepFloydIf и вообще молодцы.

🔸 Code Llama (7b, 13b, 70b) - модель от Meta, построенная на базе LLaMa 2 и зафайнтьюненная под задачи программирования. На момент написания этого поста ещё не вышла в открытый доступ. Если таки выйдет, то будет самой большой из опенсорстных, сможет работать на уровне GPT 3.5 или лучше (но до GPT 4 там ещё далеко).

Большинство из этих моделек - баловство по сравнению с Github Copilot и Chat GPT. Т.е. если вы привыкли к качеству копайлота, то не ждите такого-же от опенсорсных моделей, они все значительно меньше и тупее того, на чем работал копайлот года назад (не говоря о сегодняшнем Github Copilot). Но вот с выходом Code LLaMa всё может поменяться, так как разворачивать локальный копайлот, который работает на уровне Github Copilot начала 2023 года (не GPT 3.5 который) уже смысл будет, и это сможет приносить как пользу так и профит компаниям-разработчикам ПО.

ВАЖНО: Перед использованием внимательно читайте правила использования этих моделей (лицензию), некоторые из них (Stable Code, например) можно использовать только для research-целей, у некоторых, скорее всего, будут ограничения на коммерческое использование (привет LLaMa 2).

👉 Если вы ни в зуб ногой как эти LLMки разворачиваются, то вот тут я прям пошагово разоврачиваю LLaMa 2 на своём ноуте за три часа: https://www.youtube.com/live/GhSgWeSYo-c
👉 А вот тут паренек делает это и вовсе за 15 минут: https://youtu.be/TsVZJbnnaSs
#ai