Используем гигантский контекст Gemini 1.5 Pro в бесплатной Google AI Studio для решения задач по поиску внутри ваших файлов и в телеграме.

Очень расточительным способом, по 700к токенов на запрос.

А задача была такая - найти и структурировать информацию из комментариев к нескольким крупным каналам в телеграме.

Искать руками по каждому из ключевых слов это боль неимоверная, особенно учитывая то, что каналов может быть и пять, и десять.

Таких неструктурированных болталок в ТГ полно - по эмиграции, покупкам, туризму и так далее. И ценная информация размазана по тоннам текста тооооненьким слоем.

Так что мы просто выгружаем всё содержимое наших чатов в православный json, прям как на скриншоте.

• Заливаем файл на Google Drive.
• Идём в Google AI Studio
• Пытаемся скормить файл в Gemini 1.5 Pro.

Иии...Не получается. И не получается аж по нескольким причинам:

1. В выгрузке присутствует что-то, что не даёт посчитать кол-во токенов и обработать файл в AI Studio - нужно фильтровать от этого "чего-то".
2. В выгрузке так много флуда данных, что даже при корректном подсчёте там получилось бы более 2 миллионов токенов - нужно выбрать из исходного файла только нужные данные
2.5. AI Studio может вообще отказаться есть json - конвертируем просто в текст

Выбирать нужные данные мы будем тупейшим способом - по ключевикам в тексте, мы же тут не highload enterprise пишем. Мы и так сократим кол-во данных на порядок.

Кроме того, можно выкинуть ненужные метаданные. А большего нам и не надо, всё должно поместиться в 2 миллиона (иначе что вы там хотите проанализировать? Комменты двача за 5 лет? По каким словам будете фильтровать?)

Для решения этих задач:
• Пишем кусочек говнокода на питоне
• Прогоняем через него наши исходные result.json
• Запихиваем результат на вход Gemini
• Задаём вопросы.

А ещё даже без фильтрации вы можете скормить Gemini всю свою переписку с родными и близкими и попросить наконец рассудить, кто же всё-таки из вас неправ. Не является инвестиционной рекомендацией, не делайте так.

Works like a charm.

Результат отличный (не забудьте температуру поставить на 0), выдаёт прекрасные ответы, да ещё и в том виде, который вам нужен.

Да, у меня ещё написан километровый системный промпт, что увеличивает (сильно) качество ответов, но и без этого качество достойное.

Как видно на скрине, пара файлов после фильтрации и усечения (оставил только date и text) занимает почти 700000 токенов.

И при таком объёме информации ответ занимает примерно 100 секунд. Acceptable. Это чудо какое-то!

А вот и скрипт, пользуйтесь