✅ Сегодня расскажу две истории про ИИ, случившиеся в реальной жизни. Одна история моя и случилась со мной, вторая будет обезличенной. Уж извините. Но этого не менее жизненной.
1️⃣История первая. Понадобилось мне для одной из своих активностей сделать некую презентацию, в которую я решил встроить некоторое количество цитат из фантастических произведений. Цитаты про науку и научных работников. Немедленно вспомнилось несколько цитат из "Понедельника" Стругацких, которые я сразу же выписал. А потом подумал, что задача поиска, вообще говоря, выглядит хорошей задачей для ИИ. Задал тему, авторов, определил формат вывода и все. Профит! Собственно так я сделал и сохранил таблицу цитат, чтобы вернуться к ней через пару дней, как только закончу текущую срочную работу.
▶️ Через пару дней вновь вернулся к задаче с цитатами и для начала решил просто пройтись по ним глазами. Начал читать и очень удивился. Больше половины цитат я не узнаю. Совсем. Хотя многие произведения, из которых они вроде как получены, зачитаны мной до дыр. Закрались некоторые сомнения. Начал проверять, тем более, что задача проверки гораздо проще. Для нее не нужен ИИ, а достаточно гугла. Ну или контекстного поиска. Выбрал несколько цитат, проверил в гугле. Мимо. Скачиваю книги, проверяю поиском. Мимо. Сомнения крепнут и превращаются в уверенность в том, что меня
▶️ Ну а дальше я несколько часов потратил на игру такого рода. В двух известных моделях я генерил цитаты, требуя назвать источник и место в этом источнике, а потом готовые таблицы скармливал обоим моделям с требованием проверить реальность. Результат получился сногсшибательный - у одной модели реальных цитат было 20%, у другой чуть больше 50%. Причем после исправления и признания в галлюцинациях, они геренили мне новые цитаты, содержащие не большее количество реальных.
▶️ Закончилось все полным фиаско. Все мои попытки поменять промт, сузить контекст и прочие танцы с бубном не помогли. Ответы всегда содержали большое количество галлюцинаций. Ну а на большом объем генерируемых цитат их проверка занимает больше времени, чем самостоятельный поиск этих самых цитат. Занавес.
2️⃣История вторая. Обезличенная. Крупное научное учреждение. Идет подготовка к конференции. Обязательный этап - проверка материалов на предмет возможности опубликования. Начальнику отдела приходит резолюция отдела экспертизы на одну из работ отдела - публиковать нельзя, сведения подпадают под ограничения, вызванные такими-то пунктами такого-то постановления правительства. С цитатами из работы и из постановления. Возникает, конечно, нездоровая суета. Начальник созывает часть коллектива, обсуждает резолюцию. Некоторое время уходит на выработку решения - из работы такие-то сведения изъять, в будущих работах при публикации лучше то-то и то-то не афишировать. Авторы соглашаются, отдел расходится с некоторым неприятным осадком в душах работников.
▶️ Вечером того же дня начальнику пишут двое коллег, с некоторым недоумением констатируя, что прочитав текст постановления, процитированные экспертизой пункты они не нашли. И один из них выдвигает предположение о некотором участии неживого квазиинтеллекта в процессе подготовки заключения. Начальник сам открывает текст постановления, читает, ищет по ключевым словам. Все мимо. Цитат из заключения нет, процитированные пункты вообще про другое. Делится своим недоумением с отделом экспертизы. По почте. В ответ получает готовое разрешение на публикацию. Занавес.
🏁 Мораль понятна и очевидна. И не состоит в том, что ИИ - ни на что не годный кусок
#ИИ