Все это подрастание сопровождалось двумя большими процессами:
🤩 Выстраивание единого пайплайна или воронки «скрапинг - разметка - эмбеддинги», то есть единого кода процесса
Делала я это вместе с Claude. И вроде бы все скорее нормально, но так или иначе воронка даёт течь буквально в каждой сессии)) Это несовершенство, с которым я решила смириться: скоро уже практика, стоящая добавления в базу, кончится, занимаюсь я этим примерно раз в месяц, поэтому нет смысла бороться за абсолютную бесперебойность.
🤩🤩🤩🤩 Миграция RAG-файлов
Напомню, что за этими тремя буквами на практике стоят два файла: таблица в формате
csv с размеченными кейсами и корпус эмбеддингов в формате npy (подробнее об этом здесь). Они лежали на Github в приватном репозитории, где есть ограничения по размеру файлов (до 25 МБ). Еще в прошлый раз npy-файл перестал помещать в эти 25 МБ, и в качестве временной меры нужно было менять уровень точности (float) у эмбеддингов (в комменты скину пояснение от Perplexity, что это значит). Мера никуда негодная, и надо было переезжать. Переезд случился в самое очевидное место — на Persistent disk моего сервера, где хранятся логи и база данных.
Почему я сразу там не разместилась? Это хороший вопрос, место же очевидное. Именно это я пыталась сделать перед релизом, но что-то не задалось, и консультировавшая меня AI Studio сказала, что это невозможно. Предлагаю назначить виноватой именно её, а не меня, которая наверняка замусорила контекст чата, в котором происходила консультация 😀
Короче, переезд состоялся и был мучительным. На Github можно увидеть какие-то странные истерические полуночные коммиты, попозже их потру (кстати, кто-то поставил еще звездочку, спасибо ❤️!).
Я теперь могу дать несколько советов (вряд ли они кому-то понадобятся и запомнятся сейчас, просто помните, что я собрала фейл-бинго и могу что-то знать):
🤩 если вам понадобится разместить что-то в Google Drive в качестве промежуточного хранилища, не забудьте отжать в настройках галочку, которая переводит файлы в гугловские среды типа sheets;
🤩 если вам понадобится преобразовать ссылки доступа к файлу на Драйве в ссылку для прямого скачивания — делайте это нейросетью, не доверяйте глазам своим и рукам своим;
🤩 ВСЕГДА надо тестировать локально. Пока вам кажется, что в вашем csv ничего не поменялось, в нем ПОЧЕМУ-ТО поменялись разделители с запятой на точку с запятой;
🤩 если основной рабочий файл с кодом не может запуститься и входит в безнадежную петлю попыток запуска, то в shellе вашего сервера вы ничего не сможете написать, чтобы хотя бы выяснить в чем проблема (и придется делать странные коммиты в коде).
В качестве вишенки на торте аутпут первого предобработочного промпта стал выдаваться на английском языке (сам промпт на русском и аутпут до вчера тоже всегда был на русском).
Просто какая-то комедия, но со всем удалось справиться 😀😐
Надеюсь, ваш поздний вечер пятницы был приятнее моего и хороших вам выходных!