Идеальный ответ тоже может быть багом

Недавно я писал про ChatGPT Teens - их новый режим для подростков. Вообще, это похоже на новую модную обёртку для их "родительского контроля", но в учебной части продукта была любопытная штука под названием "Study Hours". Подросток или родители могут выбрать часы, когда ChatGPT по умолчанию включает учебный режим и вместо готовых ответов начинает гайдить наводящими вопросами. То есть, неспособность давать ответ сделали фичей.

Вообще, про учебный ИИ надо отдельно поговорить, потому что он быстро становится отдельной продуктовой категорией: разборы домашек, подготовка к экзаменам, прокачка навыков для работы и т.д. и т.п. Но у него есть необычная продуктовая проблема - правильный ответ вообще ни разу не значит, что работа сделана. Человек получил готовое решение, а решать сам так и не научился. Прям как с навигатором - я как-то читал новость про мужика, у которого глюкнул геолок, и он завершил поездку прямо в стоге сена в поле 🤣

Так вот, вчера у Яндекса прошла большая конфа про образование YaC/e, и там как раз разбирали, как эту проблему (не навигатора у мужика в стоге сена, а учебного ИИ) решать. К примеру:
- В части целеполагания моделям задают учебные цели плюс педагогическую методику, а дальше учат помогать без готовых ответов.
- В части реализации натаскивают замечать ошибки ученика, возвращаться к проблемным местам, давать повторение и подбирать сложность. Чтобы было не слишком просто, не слишком сложно, а в самый раз (геймдизайнерам тут большой привет).
- Плюс персонализация: одному нужно подробно, другому коротко, третьему на примерах, четвёртому как-нибудь аллегорически-иносказательно, ну вы поняли.

То есть, если совсем уж зреть в продуктовый корень, то тут надо сознательно "ухудшить" продукт, ограничить его главную киллер-фичу и чуть убить основную ценность. И пока весь ИИ-рынок меряется, чья модель ответит полнее и глубже - здесь наоборот нужно научить вовремя недоговаривать (оказывается, этот скилл полезен не только людям, да).

Ещё один неочевидный момент - key metrics такой штуки вываливаются за контуры самого продукта. Ведь после объяснения ученик должен решить задачу сам, без подсказок и с первой попытки. То есть, ИИ сработал хорошо, если в нём перестали нуждаться. Всем AI-native эдтехам очень желательно держать это в голове и закладывать ещё на этапе концепции.

Фичизм