Месяц в chait: бот наконец перестал сочинять

Chait, если коротко, это мой AI-чат для сайтов. Отвечает клиентам по базе знаний компании. Весь июль и начало августа я возился с одним вопросом. Можно ли верить тому, что бот отвечает.

Что сделал:
• Нет ответа в базе, бот молчит и зовёт человека. Раньше он затыкал дырку правдоподобной выдумкой, а это хуже честного «не знаю»
• Собрал полсотни боевых кейсов и гоняю на них каждую правку промпта, с моделью-судьёй. Иначе это гадание
• База знаний собирается сама. Вписали адрес сайта, краулер обошёл страницы, вытащил вопросы и ответы
• Бот учится из ответов оператора, но не втихую. Всё падает на ревью владельцу
• В виджете появилось «печатает». Ответ проявляется словами, а не вываливается простынёй

Из починенного самое стыдное: гостевой чекаут успевал завести аккаунт до того, как оплата подтвердилась. Ещё публичные ручки движка не были привязаны к домену сайта, а лимит диалогов в тарифе жил только на лендинге. И прикрутил суточный потолок расходов на модель, чтобы один активный клиент не сжёг мне месячный бюджет за вечер.

Кстати, взвесил пять конкурентов. Наш виджет 14 КБ. У Intercom 285 КБ ещё до того, как он покажет кнопку.

chait.ru