Первая часть была опубликована вчера.
Спасибо Ане @it_wildlife за тестирование антиспама в комментариях — благодаря вчерашним тестам мне удалось обойти проблему в Telegram API, из-за которой комменты от ботов тяжело отличить от комментов, оставленных от имени Telegram-канала.
Теперь бот не будет так бурно реагировать на комменты от имени каналов. Ну а я продолжаю отвечать на оставшиеся вопросы:
Использовал ли ты прокси gpt2giga, чтобы уметь перенаправлять запросы из OpenAI без дополнительных костылей и накладок на несовместимые апи?
Пока нет, но у меня есть идея, куда его прикрутить: я развернул LangFuse, и в нём помимо трейсинга есть LLM Playground. И, кажется, gpt2giga должен помочь превратить его в GigaChat Playground)) Посмотрим, получится ли)
Векторизацию и векторные базы данных используете если много текста отправляете в ИИ? Расскажите подробнее про это
Много текста я не отправляю — контекст у бота ограничен одним постом из телеграма и некоторыми комментариями под ним. Пока этого хватает, но если буду расширять функционал, в LangChain есть поддержка векторных хранилищ.
Есть ли смысл использовать LangChain, если используется только одна апишка?
Если вы уже знакомы с LangChain, то думаю, что да, в таком случае смысл есть)) Хотя бы даже ради трейсинга и первичной отладки приложения через LangSmith. Причём для этого достаточно использовать LangChain по минимуму — только для вызова LLM. Всё остальное можно писать на чистом JS/Python.
Получается, если LLM возвращает нормальный JSON, то можно спарсить значение и прогнать логику, к примеру, забанить пользователя за спам? Насколько это рабочая тема на практике?
Всё верно. На практике это решение не просто рабочее, а можно даже сказать целевое)) Ну или как минимум одно из целевых, если речь идёт об обработке инпута на естественном языке. Единственное, мне кажется, не стоит использовать его для тех задач, которые можно решить и без LLM.
Если не секрет, какой бюджет уходит на поддержание этого ежемесячно?
Бот хостится на бесплатной VM от Cloud.ru. А токенов за месяц у меня расходуется примерно на 300-350 рублей. Но у меня ещё лежит неиспользованный бесплатный миллион токенов GigaChat Lite, и если использовать ещё и их для каких-нибудь простых задач, то выйдет дешевле.
Правильно ли я понимаю, что LangChain - это аналог LangFlow, но без графического интерфейса, и зато с большей гибкостью? Какие плюсы и минусы?
Да, LangFlow — no-code/low-code фреймворк, поэтому если сравнивать его с code-first фреймворком вроде LangChain, то плюсы и минусы будут зависеть от того, любите вы писать код или нет)) Если нужно набросать какой-то небольшой прототип или Proof of Concept, то low-code подход, наверное, должен быть более удобным, но лично мне было бы проще
Пора переучиваться на инженеров нейросетей?)
Пока получается переучиваться только в инженеров фреймворков для работы с нейросетями)) Но это тоже неплохой старт, я считаю)
Знаком ли с AI SDK от верцелей? Довольно хорошо подходит для твоей задачи. Тоже абстракция над всеми провайдерами, но вот langchain уровнем выше имеет другие фишки типа для RaG, эмбдингов, сторить всё и т.д.
Пока не пробовал, но, судя по документации, инструмент действительно похож на LangChain. И скачиваний в npm у Vercel AI SDK больше. Нужен отдельный доклад с разбором их абстракций))