Оказывается, ChatGPT обучается не на академических учебниках, а на человеческих постах.

Для тех, кто далёк от темы — чтобы нейросеть работала, ей нужно обучиться. Обучают нейросети посредством загрузки в них большого количества разных данных.

И я всегда думал (да и не только я — весь мир так думал), что нейронки обучаются на каких-нибудь книгах, экспертных базах знаний и т.д. А оказалось всё немного иначе.

Около 40% обучающих данных пришли из форумных тредов, типа Reddit. Второй по весу источник — Wikipedia, где много фактов (но многие из них не точные). Дальше идут YouTube, Google, Yelp и прочие сервисы.

Получается, что ChatGPT в своих ответах, по большей части, воспроизводит усреднённое мнение толпы 🤔