Генеративный AI за этот год сильно удивил. Прогресс с изображениями колоссальный (мы писали про это тут и тут). За это время и Midjourney существенно прокачался, и StableDiffusion постоянно обновляется, ещё и Lensa появилась и добавила теме массовости и популярности. Мне лично особенно нравится движуха с генерением кадров из известных фильмов, которые могли бы быть сняты другим режиссёром или в другой культуре (ну вот типа Звёздных Войн Акиры Куросавы). С текстом, похоже, тоже прямо сейчас случается ещё один качественный переход.
Нынешний фаворит — ChatGPT, продолжатель ветки GPT-3 в её текущей версии GPT-3.5 с добавлением RL по аналогии с более ранним InstructGPT.
Генерит прям хорошо, и не только на английском. Весьма достойно и на русском, и не только на человеческом, а, например, на питоне. И более ранние версии уже могли выдавать годное качество (у нас самих есть пример генерации продуктового анонса, где один был написан человеком за немалые деньги и долгое объяснение, а другой сгенерён одной из не самых последних уже GPT-3, и у текста ИИ CTR был в 37 раз выше человеческого), но новая ChatGPT прям приятно удивила (отдельно также ждём когда откроют GPT-4). Недавно один человек с помощью ChatGPT и Midjourney за выходные детскую книжку
Что интересно, кроме создания контента свежая модель по сути может в некоторых случаях заменять поисковик. Понятны места, где оно ещё косячит.
Во-первых, конечно, модель может безбожно врать. С поисковиками тоже так было и есть, особенно когда индексируются некачественные сайты или мешают злонамеренные акторы. Для GPT контролем источников уже не обойдёшься, придётся, например, воротить отдельные модели, определяющие качество ответа или применять иные способы фактчекинга и постобработки. Для детектирования токсичности и подобных вещей уже есть готовые API, например, от Гугла и OpenAI, а для определения недостоверности, неправильности, и в более широком смысле качества ответа, видимо, будет что-то похожее на новом уровне.
Во-вторых, модель может просто чего-то не знать, либо потому что какая-то специальная область, откуда в обучение ничего не добавляли (или добавляли мало), либо потому что с момента обучения уже что-то поменялось (президентом стал другой, научное открытие только сделали и т.п.). Для этого класса проблем также есть хороший заход — это retrieval-based модели типа WebGPT, которая по факту пользуется текстовым браузером. За последний год было уже несколько крутых результатов, когда модель может чуть ли не поиск Гуглом делать и инкорпорировать его результаты в свой ответ, и следующую радикально лучшую версию GPT, пусть будет SearchGPT, я бы ожидал на этой технологии.
Поисковая сессия по сути может стать ещё больше диалогом с системой. Сейчас приходится это на специальном языке запросов описывать, у которого вообще своя грамматика, а будет совсем естественно. Вспоминается старая байка про историю из поисковых запросов, где автор последовательно уточнял, что ему нужно, завершив всё фразой c “рефераты блять не предлагать”.