В одном из видео я предполагал, что в ближайшем будущем девопсы и/или ML-инженеры получат в плечи обязанности по развертыванию приватных LLM'ок на команду, чтобы их ИИшные чаты внутри IDE не сливали данные, и работали через зафайнтьюненые на командных проектах моделях.

Это будущее вот уже практически наступило, сейчас раскажу почему:

Во-первых: появляется всё больше серьезных опенсорсных LLMок, которые уже догнали по производительности GPT-3.5. Не успела вчера релизнуться CodeLlama (читайте пост выше), так уже сегодня в сеть утекла закрытая Mistral Medium 70B (протестить можно тут). И всё это добро запускается на машинках с 64Gb памяти! Т.е. в каком-то будущем девопсам не нужно будет разворачивать это на серверах компании, а просто будут подниматься какие-нибудь докеры прямо на локальных машинах разработчиков (на топовых маках это уже рабочий вариант)!

Во-вторых: появляются решения для встраивания локальных и сторонних LLM в IDEшки. Т.е. завязка на всякие Github Copilot и Jetbrains AI отходят на второй план. Например, сегодня в чате @aiapodcast принесли замечательный инструмент - Continue. Она позволяет встроить ИИ-чат в VSCode и IDEшки от Jetbrains, используя при этом локальные LLM либо сторонние API (у Jan AI даже инструкция по интеграции уже вышла). По факту это опенсорсный плагин, который позволяет работать с контекстом вашего проекта, создавать свои команды для чата, и даже дообучаться (читай файнтьюниться) на вашем проекте! И всё приватно. Из минусов разве что отсутсвие автокомплита, но думаю это дело времени. В видео к посту записал вам немного как оно работает с кодом (через CodeLlama).

Подытоживая: не прошло и пол года, а у нас уже есть шикарные приватные LLM для использования прямо в IDE. И настройка этого добра занимает 10 минут. Не знаю как вам, а я в восторге ❤️

И бонусом: рейтинг LLMок для программирования по версии Continue 😊
#ai