Третье свойство. Все нейросети, включая большие языковые модели, или LLM (large language model) устроены по принципу черного ящика. Даже если бы мы знали о том, какие источники информации используются для обучения машины, то ни мы, ни кто-то другой не смог бы объяснить, почему в ответ на ваш запрос выдан именно такой, а не иной ответ. То есть даже если нам станут доподлинно известны все материалы, на которых натренирована модель, то проследить на каком именно тексте построен ответ технически невозможно.

Четвертое свойство. Лингвистическая и стилистическая корректность получаемого ответа не гарантируют корректность по сути. В качестве аналогии можно привести разговор с очень начитанным, но глупым человеком, который на хорошем языке, весьма убедительным тоном и с уверенным выражением лица отвечает на ваши вопросы, верно выстраивая порядок слов в предложениях, не понимая ни слова из того, что вам говорит.

Теперь давайте посмотрим на общее следствие, вытекающее из всех этих свойств.

Если предположить, что ChatGPT можно использовать как некий массив знаний, то у нас фактически отсутствуют какие-либо инструменты или индикаторы для того, чтобы проверить корректность получаемого ответа.

По этой причине я очень скептически отношусь к тому, чтобы использовать ChatGPT как достоверный источник информации в областях, в которых вы сами не разбираетесь на уровне эксперта. Получаемые с помощью ChatGPT ответы можно воспринимать лишь как предложения и рекомендации, которые нужно обязательно проверять. В статье в журнале The Atlantic, ссылку на которую я привожу в комментариях есть очень верное суждение - если для проверки текста, который вам сгенерировала LLM вам нужно обладать экспертизой, когда целью вашего запроса было исключить необходимость в таких экспертных знаниях, то вы попали в неловкую ситуацию.

Если вы уже использовали ChatGPT или читали о нём, вы наверняка слышали в применении к нему такой термин, как галлюцинация. Он используется для обозначения ответа, не соответствующего данным, на которых была обучена модель. В научной среде об ИИ этот термин появился задолго до того, как LLM стали массово доступны.
Тут мы опять сталкиваемся с попытками использовать термин из человеческой психологии, во-первых излишне очеловечивая машину, а во-вторых, перенося ответственность за получаемые ошибки с создателей технологии на модель.

Термин массово закрепился в массовом сознании, однако тому, что происходит с LLM лучше подходит термин из человеческой психологии, который называется конфабуляция. Это такое свойство человеческого мозга, когда пробелы в памяти убедительно для его носителя заполняются несуществующими воспоминаниями без намерения кого-то обмануть. Вы наверняка слышали о скандалах, когда по прошествии многих лет люди свидетельствовали о сексуальном насилии, которое якобы произошло с ними в детстве, хотя это не соответствовало действительности. ChatGPT работает не так, как человеческий мозг, но термин конфабуляция в применении к порождаемым им ошибкам является более удачной метафорой, чем более известная массовому пользователю галлюцинация. Если вы хотите лучше понять по какой причине это происходит - я приложил в комментариях ссылку на статью об этом.

И теперь обещанное объяснение о том, почему вам может быть сложно начать работать с ChatGPT, и почему при прочих равных языковые модели всегда будут лучше работать на английском, чем на русском и как на это влияет культура коммуникации.

Англоязычная модель коммуникации - низкоконтекстная. Напомню, это значит что контексты в ней явно обозначаются в речи и письме, а сама коммуникация более детальная, явно стремящаяся снизить неточности и двусмысленность путём более чёткого использования слов.

Русскоязычная, высококонтекстная культура, придаёт существенно больше значения общему с собеседником контексту, смыслам и тональности слов, а не явному их значению. В такой коммуникации смыслы часто не проговариваются явно, их нужно читать “между строк”.