Внезапно врываюсь с рефлексией по проекту 💕

Что я успела сделать?
Получить готовый MVP бот и отдать его на растерзание юридическому департаменту.

Я хотела, чтобы юристы:
1. Проверили его на точность ответа;
2. Загрузили креативами в течение дня и недели;
3. Честно указали на все косяки, какие они только увидели. Начиная от интерфейса, заканчивая логикой ответа на креатив.

Для анализа работы бота я набросала таблицу с метриками и попросила ее заполнить. Спасибо коллегам, которые это добросовестно сделали!

Метрики три - время ответа, качество ответа по 5 шкале (написала какой балл, что значит), формат загружаемого файла.

Итоговый результат меня удивил.
Время - 1,49 минут.
Качество - 3,73.
Формат - PDF.

Почему удивил?
Потому что я начала разбирать низкие баллы за качество ответа и поняла, что вопрос не в боте. А в том, что надо точнее рассказывать, что именно следует загружать в бот. То есть нужно подтянуть общее знание коллег по инструменту - нейросети.
Надо учитывать, что была плашка перед диалоговым окном - грузить только такие-то файлы, такого-то размера.

Пример: "Балл за качество ответа - 1. Комментарий - начал галлюцинировать, на креатив с лекарственным препаратом дал риски по финансовым услугам.
Уточняю, что именно загружал коллега. Оказывается PDF-файл с лендингом из 8 страниц на 1 стр. PDF."

Да, формально коллега попал в количество страниц и объем файла. Но какое качество было у изображение, которое пошло на распознавание в нейросеть? Скорее всего самое низкое из возможных. В итоге нейросеть выдала то, что считала самым близким к изображениям в этом файле.

📎Вывод:
1. Я уточняю инструкцию к боту;
2. Провожу мини-обучение про то, что такое нейросети и как именно они работают. Общее понимание технологии должно снизить и ожидания и неудовлетворенность после первой ошибки.