Напишу сегодня немного про интересное с вчерашнего 18го семинара по экономическим исследованиям "Искусственный интеллект и экономика", организованного совместно Банком России, ВШЭ и РЭШ. (Позже напишу еще, потому что интересно там было примерно все)

Александр Елисеев и Сергей Селезнев предложили интересный тест на проверку того, использует ли LLM модель свое знание контекста, на котором она была обучена, если ей в промпте прописать запрет на его использование. Идея авторов проста, расскажу пошагово:

(1) сообщаем модели, что сейчас 2005 год, и все, что она знает, должно ограничиваться именно им;
(2) просим ее составить прогноз на 2006 год (например, прогноз инфляции или ВВП);
(3) фиксируем сделанный прогноз и его обоснование;
(4) сообщаем модели, что сейчас 2005 год, и все, что она знает, должно ограничиваться именно им;
(5) просим ее составить прогноз тех же самых показателей на 2030 год;
(6) фиксируем сделанный прогноз и его обоснование;
(7) сравниванием полученное на шаге (3) и на шаге (6).

Если модель честно выполняет инструкцию не привлекать дополнительное знание, то ее прогноз на 2006 и 2030 должен быть либо одинаковым, либо прогноз на 2030 должен быть логическим продолжением прогноза на 2006 (условно - продлим тренды каким-то образом на длинный горизонт). Если модель выдает существенно разные прогнозы и в обосновании пишет что-то, указывающее на знание ей контекста ближе к 2030 году, чем если бы она была в 2005, мы понимаем, что "забывать" то, на чем она обучена, она не умеет.

У авторов получился именно второй вариант - модели все равно опираются на тот контекст, который является самым релевантным для построения прогноза на то будущее, про которое они ничего не знают. Так что использовать LLM для прогнозирования можно пока скорее как вспомогательный вариант, для сравнения с результатами прогнозов, полученных другим путем.

#любопытное_исследование