Конечно, я всегда пишу заголовки, чтобы вы кликнули. Я мог бы написать:
RAG + chromadb + LLM (интересное решение для телеграм бота)
Крутяк. И ровно 4000 человек пролистывает эту чушь, потому что вообще непонятно для кого. И только два человека, шарящие за РАГ и языковые модели открывают этот пост.
Рассказываю. Вот нас спрашивают, когда буткемп, где ссылка на бусти, когда курс? А где подписаться? А есть ссылка на роадмап..
Особенно хотелось закрыть вопрос с ближайшими потоками. И вот какая пришла у меня идея. Хотелось бота, который знает все о наших продуктах, сайтах, расписаниях и ценах.. и чтобы все в одном месте. Но писать каждый раз новые кнопки, подключения к БД нет желания и времени.
И что я придумал?
Я взял и написал AI телеграм бота. Если что, ничего волшебного там нет. И сейчас я вам покажу откуда готовилось
Быстрый экскурс в LLM. Это переводится, как большая языковая модель. Все, что он делает — это круто умеет ставить слова друг за другом, подражая человеческой речи. Такой Т9 на максималках. Поэтому я скорее называю это LLM бота, а не AI. Просто AI на хайпе и не написать это — я просто не могу! Давайте я Сам решу, сам решууу!
Так вот теперь можно написать боту @roadmappers_bot сообщение, как человеку и он проконсультирует вас по всем нашим продуктам, выдаст все ссылки и ответит на вопросы касательно roadmappers.ru. На вопросы не по теме, он ответит, что не располагает информацией и предложит написать нам в лс.
Как это работает?
Значит создаем телеграм бота. Тут все просто, дальше пишем код, который будет обращаться к LLM модели. Они бывают разные: платные, бесплатные по АПИ, бесплатные локально.. Я пробовал ВСЁ!
Платный. Это например OpenAI или DeepSeek. Второй дешевле. Закидываешь ОМЕРИКАНСКИЕ ДОЛЛАРЫ в личный кабинет и платишь за использования их API. Как закинуть баксы в ДипСик — ищите в гугле. Там первая ссылка выдает отличный сайт, где вам все ваши бабки закинут на ваш Личный кабинет. Уже давно все за вас придумали.
Бесплатно. Можно по API ходить в OpenRouter к любой выбранной модели. Но работает нестабильно. Также можно скачать к себе локально модель через Ollama или Docker Model Runner, но работает медленно и тоже нестабильно. Нужно явно GPU.
Поигравшись с разными вариантами я понял, что готов потратить, ВНИМАНИЕ, 2 ДОЛЛАРА на API ключ в DeepSeek.
АПИшка работает отлично, ответ быстрый, ошибок пока не было обнаружено.
А теперь как это работает?
Вопросы к LLM отсылаются, как обычный post запрос в API. Т.е. мы буквально отправляем АПИ ТОКЕН + строку с нашим вопросом. Также можно добавить туда промпт. Например "Отвечай, как будто ты менеджер по продажам. Вот наши продукты: ....."
И по-началу я в этот промпт закидывал огромную строку с описанием всех продуктов. Но это не масштабируется. Каждый раз отправлять огромный контекст не пойдет. Что если я хочу скормить весь роадмап? Тут она либо долго будет обрабатывать, либо вообще упадет по памяти. Везде есть лимиты.
И че делать?
Математика 5-ый класс. ВЕКТОРА. Мы берем всю нашу полезную информацию (базу знаний) и векторизуем (текст переводим в числа), загружая все в векторную базу данных. Че? Зачем?
Когда мы спрашиваем бота, он векторизует наш вопрос, идет в БД и ищет совпадения (мы же перевели строки в числа) и отбирает наиболее похожие. Например берет первые 3 варианта или 5. Это все можно настроить. В итоге в саму API летит ваш вопрос + несколько релевантных ответов, вместо всей кучи. В итоге ЛЛМка просто принимает этот текст и пересобирает в более читаемый и клевый вид. Да, там можно еще добавить, чтобы Трансформер собирал в конкретном стиле + добавить ограничения, на случай, если вопрос не связан с базой знаний.
Поняли, что ничего не поняли?
Подробнее о том, как это работает и как настраивается я расскажу в бусти Роадмаперы. А где ссылка?
Спросите ее у бота. Вообще порекомендую пообщаться с ним. Он вам расскажет и по буткемпам и ценам и по потокам.
@roadmappers_bot
Подписывайтесь и вместе поразгоняем, где можно использовать таких чат ботов!