Важно сказать, что моё понимание и знания в ChatGPT, LLM, и искусственном интеллекте ограничены, и не сравнятся со знаниями учёного в этой области или с экспертизой среднего ИИ-разработчика. Мои умозаключения построены на моей теоретической подготовке по математике в школе и техническом вузе, понимании и опыте работы с аналитикой и предсказательными моделями в течение последних 10 лет, базовыми знаниями о том, как работает NLP (natural language processing, процессинг естественных языков, а не нейро-лингвистическое программирование).

В качестве дополнительных материалов я опираюсь на несколько десятков статей и видеолекций, с помощью которых я разбирался как всё работает. Признаюсь, очень нелегко критически фильтровать весь поток информации, который порождён из-за хайпа. Есть ощущение что 99% материалов о ChatGPT и LLM написаны самим ChatGPT - текст выглядит убедительно, но достаточно бесполезно для понимания принципов работы. Я опираюсь на материалы только тех авторов или изданий, которые по моему мнению дорожат своей репутацией. Если у вас есть ссылки на интересные экспертные материалы по теме, приносите в комментарии, буду им рад.

При этом я опираюсь на свой опыт, здравый смысл и любопытство, которые говорят что у любой технологии есть области эффективного применения и фундаментальные ограничения, которые обусловлены принципами, на которых построена сама технология. К сожалению, об ограничениях технологии относительно хвалебных возгласов написано слишком мало, поэтому я попробую внести свою лепту в заполнение этого пробела.

На текущий момент создатели ChatGPT по вполне понятной причине не ограничивают варианты использования предложенной ими технологии. Причина этому вполне простая - если вы создали новый инструмент, который вызвал хайп, нужно не мешать пользователям искать возможности для его применения и получения бизнес-выгоды, а внимательно следить за тем, куда приведёт эксперимент.

Сначала немного о важности критического мышления. Я считаю, что несмотря на внешнюю похожесть взаимодействия с ChatGPT на разговор или чат с человеком, нужно очень осторожно использовать такие слова как разговаривает, думает, понимает, размышляет и прочие термины, очеловечивающие машину. Причина в том, что когда мы перестаём использовать специализированные термины общения с алгоритмом, и продолжаем использовать те же самые слова, которыми описываем общение с людьми, мы снижаем уровень критичности к результату и наделяем технологию свойствами, которыми она не может быть наделена - например, ответственностью, экспертностью и другим качествами, которые могут быть свойственны только человеку.

Первое свойство, которое я хочу обозначить - фундаментальная неспособность машины понимать что-либо в человеческом смысле этого слова. У технологии, машины, алгоритма, отсутствует сознание и мышление. Технология или алгоритм не способны думать и размышлять. Следствие этого свойства в приложении к ChatGPT - очень многое зависит от того, как хорошо вы формулируете задачу для алгоритма, а в случае с ChatGPT делаете Prompt Engineering (так сложно называют то, как вы пишете в качестве указаний в чате).

Второе свойство. ChatGPT и другие доступные сервисы обучены на неизвестном нам, хотя и по человеческим меркам огромном массиве текста, а значит не можем предположить каким источникам соответствует получаемый ответ.
Мы не знает что именно это за данные, и даже если бы знали, это бы слабо помогло нам понять достоверность результата, по причине свойства номер три.

Тут важно сказать, что одна из причин, по которой команда OpenAI, создавшая ChatGPT не раскрывает информацию о точном или даже приблизительном списке источников текстов, на которых была натренирована модель, заключается в том, чтобы снизить вероятность её копирования. Интернет сообщает что стоимость обучения ChatGPT 4 - около 100 миллионов долларов, а стоимость обслуживания - $700 000 в день. Даже если добавить расходы на сбор данных и администрирование - получается вполне подъемная стоимость для корпорации, желающей перетащить кусок хайпа на себя.