90% качество AI продуктов

ML основан на статистике и вероятностях - значит, в фундаменте заложена вероятность ошибки.

Ваш ассистент подумает что шенжень это женьшень и отправит человека на Алтай, ваша камера будет видеть в котенке qr-код, ваша Алиса будет реагировать на подлизу.

Вам нужна метрика качества. Хотя бы такая простая: какой процент реальных задач пользователей вы обрабатываете правильно. Без прибора качества развивать AI продукт не получится, можно только демку собрать.

В среднем люди считают что продукт работает «надежно» или «хорошо» если он имеет качество 90%+. Это может казаться как «много» но на самом деле это буквально «ошибся каждый десятый раз».

Обычно AI-метрик качества несколько и строить их довольно сложно.

Работа над AI продуктом это прежде всего правильное построение метрик качества и потом работа над получением заветных 90+. Вот здесь вам и нужны лучшие инженеры и лучшие умеющие работать с этим продакты.