Я пишу книгу про ИИ и периодически проверяю может ли LLM написать её за меня. В начале шансов не было вообще, но за 7 месяцев, что я пишу, модели несколько раз резко улучшались. Книга служит моим личным бенчмарком.
Недавно я решил провести два эксперимента:
1. Закинуть маленький A/B тест в чатики: посмотреть могут ли люди определить какой фрагмент из двух написал я, а какой нет. И какой им больше нравится.
2. А/Б тест на друзьях: сделать две версии одной главы, одну от себя, другую от LLM и попросить моих друзей вслепую определить какая им больше нравится.
Расскажу вам что получилось и какие можно сделать выводы.
Начнем с первого. Вот вопрос который я закидывал в чатики, можете себя проверить.
Даны два фрагмента. Один из моих черновиков книги, другой я сгенерировал с помощью Gemini Pro 2.5. Угадайте где какой.
В следующем посте будет ответ.
A
## Когда обучения слишком много
Представьте, что вы готовитесь к экзамену. Вы можете выучить билеты наизусть, до последней запятой. На экзамене вы блестяще ответите на эти билеты. Но если вам зададут вопрос чуть в сторону, вы поплывете. Вы не поняли суть предмета, а просто запомнили конкретные ответы.
Модель машинного обучения может сделать то же самое. Она может слишком хорошо "вызубрить" обучающие данные, включая случайный шум и неважные детали. Такое явление называется *переобучением* (overfitting).
Переобученная модель отлично работает на данных, которые она видела во время обучения, но плохо справляется с новыми, незнакомыми данными. Это одна из главных бед машинного обучения.
B
## Когда обучения слишком много
Представьте себе двух студентов перед экзаменом по анатомии.
Первый студент, зубрила, заучил билеты как стихи перед уроком литературы. То есть буквально запомнил их от начала и до конца, но ничего не понял. Он сдаст экзамен на пять, но будет совершенно бессилен когда ему потребуется применить свои знания для помощи пациентам. Он умеет воспроизводить определенные ответы на вопросы и только.
Второй студент изучил дисциплину, а не заучивал конкретные билеты. В его голове сформировалось представление о том, как всё работает в человеческом теле. Он имеет может ошибиться на экзамене, ведь у него нет заготовленных ответов и ему приходится думать над вопросами. Однако в реальном мире я предпочел бы лечиться у него, а не у зубрилы.
Студент это, считайте, модель, а оценка за экзамен это метрика. Модели машинного обучения похожи на студентов ещё и тем, что оба точно пойдут самым простым путем, чтобы сдать свой экзамен. Если вы сделаете такой процесс оценки качества, что модели будет проще заучить ответы, она заучит ответы. Кажется что-то подобное произошло со страховой моделью. Наша модель с исками похожа на студента-зубрилу. Она успешно сдала свой экзамен, но оказалась бесполезной в реальном мире. В таких случаях говорят, что модель _переобучилась_ и что она _не обобщается_.
Трагедия искусственного интеллекта в том, что мы обучаем модели на тренировочных данных, но не хотим, чтобы они выучили их слишком хорошо.