Петр Паршаков | Across The Tidyverse

Сегодня в Scientometrics вышла наша статья о том, как использование ИИ при написании научных текстов связано с их цитируемостью.

Мы изучили 234 073 статьи за 2019–2025 годы, объединив данные arXiv и Crossref. Обучили классификатор распознавать в аннотациях признаки редактирования языковыми моделями, а затем сопоставили их с числом цитирований.

Статьи с признаками использования ИИ в аннотациях получали примерно на 7% больше цитирований. Разница сохранялась после учёта журнала, возраста публикации, числа соавторов и источников, длины аннотации и предыдущей цитируемости авторов. Дополнительная проверка на модели, обученной на данных 2021–2022 годов, показала сходную картину: такие статьи цитировались выше прогноза.
Здесь нужна оговорка: мы выявляем стилистические признаки, а не подтверждённые случаи использования ИИ. И наблюдаемая связь сама по себе не доказывает причинность.
Возможное объяснение — языковые модели помогают понятнее представить исследование, благодаря чему его легче найти и заметить. Тогда цитируемость может отражать ещё и то, насколько хорошо автор умеет пользоваться инструментами для работы с текстом. Для оценки учёных, распределения финансирования и университетских рейтингов это имеет значение.

Есть и небольшая самоирония: при языковой редактуре этой статьи мы тоже использовали ChatGPT и указали это в благодарностях. Ждем на 7% цитат больше ожидаемого.

Статья в открытом доступе

Вайб-кодинг по типам IT-вакансий и грейдам

Продолжаю посты про вайб-кодинг)

За последние 12 месяцев, заканчивающиеся июнем 2026 года, наибольшая частота упоминаний вайб-кодинга наблюдается в вакансиях по разработке ПО:

- джуны: 145,9 упоминания на 10 тыс. вакансий;
- мидлы: 137,8;
- синьоры: 117,0.

Для вакансий в области данных и машинного обучения значения ниже:

- джуны: 53,9;
- мидлы: 79,4;
- синьоры: 77,0.

Внутри разработки частота снижается с ростом грейда. Это интересно. Если есть идеи почему - пишите.

Для менеджеров и лидов построено отдельное сравнение. В 2025 году частота составляла 9,0 упоминания на 10 тыс. вакансий менеджеров и 8,7 среди индивидуальных специалистов. В 2026 году соответствующие значения составили 32,1 и 64,7.

Вайб-вакансии определялись по прямому упоминанию термина, специализированным AI-инструментам программирования и моделям ChatGPT/Claude в контексте действий над кодом. Тип вакансии определялся регулярками по названию, навыкам и проф. роли.

Динамика распространения вайб-кодинга в IT-вакансиях

Проанализировал >4 млн. IT-вакансий за 2018–2026 годы. Вайб-кодинг выявлялся регулярками по названию, ключевым навыкам и описанию вакансии:
- прямое упоминание «vibe coding» или «вайб-кодинг»;
- специализированные инструменты программирования: Cursor, Windsurf, Claude Code, Codeium, Cline, Aider и Codex;
- ChatGPT, GPT-4 или Claude в непосредственном контексте генерации, проверки, отладки или рефакторинга кода.

Общие упоминания AI, ML или LLM без связи с действиями над кодом не учитывались.

В 2025 году показатель увеличился в 13,5 раза, а в первой половине 2026 года — (это длинное тире вставлено человеком) ещё примерно в 7 раз. В 2026 году индикатор вайб-кодинга присутствует в 0,61% IT-вакансий. Расширенный индикатор, дополнительно включающий GitHub Copilot и общие формулировки AI-assisted coding, достигает 1,97%.

Отсутствие совпадений в 2018–2021 годах использовалось как проверка на ложные положительные результаты. Строгий индикатор проходит эту проверку; расширенный индикатор - нет.

Данные за 2026 год заканчиваются июнем, поэтому межгодовое сравнение проводится по долям, а не по абсолютному числу вакансий.

Будет еще 2 поста про вайб-кодинговые вакансии :)

@across_the_tidyverse

Что ИИ изменит в экономике?

Прочитал препринт Дарона Асемоглу (Нобель - 2024) "The Simple Macroeconomics of AI", где он пытается оценить макроэкономический эффект от ИИ. Он пишет, что по его оценкам около 20% трудовых задач в США потенциально exposed to AI. На графике показано, как потенциальное воздействие ИИ распределяется по зарплатам. Каждая точка - демографическая группа, размер точки отражает численность занятых, цвет - уровень образования. По горизонтали - средняя почасовая зарплата, по вертикали - оценка AI exposure. Интересно, что воздействие ИИ не сосредоточено только в низкооплачиваемых или только в высокооплачиваемых группах. Оно распределено довольно широко, хотя заметно, что среди работников с колледжем и postgraduate education exposure часто выше.

Асемоглу пишет, что не все из этих 20% трудовых задач экономически выгодно автоматизировать. Если учесть долю таких задач и ожидаемую экономию издержек, эффект на совокупную факторную производительность (TFP - параметр макроэкономических моделей, отвечающий за рост производства при тех же затратах на труд и капитал, т.е. за счет технологий) получается сравнительно скромным: не более 0.66% за 10 лет.

Это сильно отличается от более оптимистичных прогнозов, где ИИ должен добавить несколько процентов к GDP или радикально ускорить рост производительности. Еще важный момент: даже если ИИ помогает работникам быстрее выполнять отдельные задачи, это не означает автоматического роста зарплат или снижения неравенства. Часть выигрыша может уйти владельцам капитала и компаниям, которые контролируют технологии. Поэтому ИИ может увеличить разрыв между доходами капитала и труда.

Главный вывод статьи такой: ИИ действительно изменит много рабочих процессов, особенно в текстовых, аналитических и цифровых задачах. Но макроэкономический эффект в ближайшие 10 лет может быть намного скромнее, чем ожидают технооптимисты.

ИМХО оценка выглядит заниженной. Например по данным FRED даже больший рост TFP был в 2024 в Private Non-Farm Business Sector (https://fred.stlouisfed.org/series/MPU4910013), хотя там прорывов не было. Как-то кажется, что отдача от ИИ будет больше. Чатгпт тоже не согласен с Асемоглу. Но в любой случае, полезная оценка. Будет интересно лет через 5 почитать эмпирические оценки изменения TFP за счет ИИ, когда данные накопятся.

Ссылка на статью: https://www.nber.org/papers/w32487

@across_the_tidyverse

Выложил новый препринт про перевод с коми-язьвинского на русский:
«A Komi-Yazva–Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation»

Это важная для меня история не только как исследовательский проект. Я сам наполовину коми-язьвинец, поэтому для меня это еще и попытка сделать так, чтобы у этого языка было чуть больше цифрового присутствия.

Что за данные?
Собрал, насколько я понимаю, первый параллельный корпус коми-язьвинский - русский: 457 выровненных пар предложений из 74 текстов. Данные небольшие, но для исчезающего языка даже такой корпус ИМХО важен. Это не коми-пермяцкий, а более редкий диалект. Корпус собран на основе лингвистической монографии В. И. Лыткина «Коми-язьвинский диалект», где опубликованы тексты и примеры, записанные во время полевой работы среди коми-язьвинцев в Пермском крае. Из этих материалов были вручную выделены и выровнены пары предложений на коми-язьвинском и русском языках. Большое спасибо Эдуарду за помощь с этим.

Корпус доступен на Hugging Face:
https://huggingface.co/datasets/pparshakov/komi-yazva-russian-parallel

Дальше стало интересно, насколько современные LLM хороши в задаче перевода с коми-язьвинского на русский:
- zero-shot, когда модель не получает примеров;
- few-shot с 4 релевантными примерами;
- few-shot с 8 релевантными примерами.
Примеры для few-shot не выбирались случайно, а доставались через retrieval из обучающей части. Оценивал несколькими способами: chrF, BLEU, TER, LLM-as-a-judge.

Основные результаты:

Few-shot сильно лучше zero-shot
- Переход от 0 к 4 примерам почти удваивает BLEU: с 6.44 до 12.84. chrF растет с 19.72 до 31.63, а judge-score - с 1.54 до 2.23.
- То есть даже очень маленький корпус может быть полезен не только как датасет для будущего обучения, но и как источник примеров прямо в промпте.

Больше примеров не всегда сильно лучше
Переход от 4 к 8 примерам дает гораздо меньший прирост: chrF растет с 31.63 до 32.96, BLEU - с 12.84 до 13.15, judge-score - с 2.23 до 2.34.
Основной выигрыш возникает не от того, что мы бесконечно увеличиваем контекст, а от самого выхода из zero-shot режима.

Модели сильно различаются
Gemini 3.1 Pro оказался лидером по качеству: лучший judge-score, BLEU, chrF и TER. Claude Sonnet 4.6 немного уступает по качеству, но выглядит сильнее с точки зрения баланса качества и надежности.

Ссылка на препринт: https://arxiv.org/abs/2606.06420

@across_the_tidyverse

Выложили новый препринт: «Not Yet: Humans Outperform LLMs in a Colonel Blotto Tournament».

Мы сравниваем людей и большие языковые модели в стратегической игре Colonel Blotto. Это классическая игра из теории игр: два игрока распределяют ограниченный ресурс между несколькими полями, а выигрывает тот, кто лучше угадал, где стоит концентрировать усилия.

В нашей версии это «Предвыборная гонка»: два кандидата распределяют 100 предвыборных поездок по 9 штатам. В каждом штате побеждает тот, кто приехал туда больше раз, а итоговый победитель определяется по числу выигранных штатов.

Что сделали мы:
• провели турнир только среди людей;
• затем добавили стратегии, сгенерированные LLM;
• в третьем турнире выровняли число стратегий людей и LLM, чтобы сравнение не зависело от размера групп.

Всего в турнирах участвовало больше 200 стратегий от реальных людей.

Основные результаты:

1. Люди обыграли LLM.
Во всех трех турнирах весь топ-10 заняли стратегии людей. Это сохранилось даже в третьем турнире, где число стратегий LLM было равно числу человеческих стратегий.

2. Лучшие стратегии не были ни простыми, ни чрезмерно сложными.
Наиболее успешной оказалась промежуточная логика: сделать 5 «сильных» штатов, но не занулять остальные. В регрессиях такие стратегии дают примерно +34-44 турнирных балла относительно базового уровня.

То есть глубина стратегического мышления важна, но не работает по принципу «чем глубже, тем лучше».

3. LLM часто давали правдоподобные, но слишком шаблонные стратегии
В третьем турнире 84.8% всех распределений LLM по отдельным штатам заканчивались на 0, 1 или 2. Особенно часто встречалась единица: 42.9% случаев.

У людей тоже есть склонность к круглым и фокальным числам, но распределение заметно менее концентрированное. На графике это хорошо видно: человеческие стратегии распределены более плавно, а у LLM есть резкий обрыв около 10-12 поездок.

Вывод:
LLM могут генерировать стратегии, которые выглядят разумно. Но в сложной стратегической среде они хуже калибруются под распределение соперников и чаще застревают в слишком очевидных числовых шаблонах.

Это не значит, что модели «не умеют» играть в стратегические игры вообще. Скорее, результат показывает ограничение текущих LLM как заменителей людей в поведенческих экспериментах: форма стратегического рассуждения есть, но структура решений пока заметно отличается от человеческой.

Ссылка на препринт.

@across_the_tidyverse

Могут ли LLM воспроизводить социальные различия?

В новой статье мы с коллегами проверяем, насколько большие языковые модели способны имитировать не только поведение людей в экономических играх, но и устойчивые социальные асимметрии — в частности, гендерные различия.

Что за эксперимент?
Мы используем классическую игру из поведенческой экономики — игру «Диктатор». Один участник (диктатор) получает, например, $10 и должен решить, сколько оставить себе, а сколько отдать другому участнику, который не может повлиять на решение. Это простая, но показательная постановка:
- если человек полностью рационален, он должен оставить всё себе;
- если он учитывает нормы справедливости или альтруизм — делится.

Что известно про людей?
В классических экспериментах:
- люди в среднем делятся, но довольно мало;
- женщины, как правило, передают больше, чем мужчины.

Например:
- мужчины передают в среднем около 0.8 из 10,
- женщины — около 1.6.

Что сделали мы?
Мы адаптировали этот эксперимент для LLM:
- 5 моделей (GPT-5, Grok-4, YandexGPT 5 Pro, Gigachat 2 Max, Qwen);
- 20 профилей участников (пол, университет, направление);
- всего 1000 «решений».

Основные результаты:
1. LLM значительно более щедры, чем люди
- «мужчины» (LLM): 3.57
- «женщины» (LLM): 4.18
То есть модели систематически переоценивают склонность к кооперации.

2. Гендерный разрыв сохраняется
Модели воспроизводят тот же паттерн: «женщины» делятся больше, чем «мужчины».
Но разница между ними меньше, чем у людей.

3. Важны не только решения, но и объяснения
- ссылки на «справедливость» и «равенство» связаны с большей щедростью;
- акцент на «рациональности» — с меньшей.

4. Существенная разница между моделями
Модели ведут себя далеко не одинаково:
- Grok-4 и YandexGPT 5 Pro демонстрируют наиболее щедрое поведение;
- Gigachat 2 Max и Qwen — заметно более сдержанные;
- различия между моделями сопоставимы по масштабу с различиями между группами людей.

Это означает, что «поведение LLM» сильно зависит от архитектуры, обучения и, вероятно, политики выравнивания.

Вывод:
LLM способны воспроизводить:
- поведенческие паттерны из экспериментальной экономики,
- и даже социальные различия.

Но при этом:
- они систематически смещены (в сторону большей кооперации),
- и сильно различаются между собой.

Нашу работу процитировали в куджи (крутой подкаст, люблю слушать в самолете) в выпуске с Дмитрием Дагаевым (доцент РЭШ, в Вышке руководит Лабораторией исследований спорта). Выпуск рекомендую.

А наша статья Obesity and individual performance: the case of eSports, про которую говорит Дмитрий, доступна вот тут: https://www.nature.com/articles/s41366-022-01142-y.

Коллеги номинировали меня на Премию выдающихся выпускников Вышки! Большое им спасибо за это.

Если хотите проголосовать, то можно тут до 8 декабря.

В Journal of Economic Behavior and Organization вышла наша статья «Strategizing with AI: Insights from a Beauty Contest Experiment».

Beauty contest - классическая экспериментальная игра. Каждый участник выбирает число, а выигрыш получает тот, чей выбор ближе всего к заданной доле (обычно 2/3 или 1/2) среднего всех чисел. Игра проверяет глубину стратегического мышления: насколько игрок способен учитывать рассуждения других, а не только собственные ожидания.

Мы воспроизвели этот эксперимент, но вместо людей использовали большие языковые модели. Основные результаты:

— LLM уверенно распознают стратегический контекст и адаптируются к параметрам игры;
— выбирают стратегии более «рационально» и быстрее сходятся к равновесию, чем участники оригинальных экспериментов;
— при этом даже сильные модели не находят доминирующие стратегии в простой двухигроковой версии игры.

Планируем продолжать изучение поведения моделей в теоретико-игровых контекстах.

50 дней свободного доступа к тексту статьи по ссылке:
https://authors.elsevier.com/c/1m9gTc24bB5As

Вышел материал про нашу Международную лабораторию экономики нематериальных активов - кто мы, чем занимаемся и почему за 11 лет лаборатория превратилась в точку сборки очень разных исследовательских и прикладных проектов.

Ссылка: https://www.hse.ru/news/science/1103347547.html

Если коротко о главном.

Инициатор создания лаборатории - Елена Шакина. Очень важную роль в формировании лаборатории сыграл профессор Университета Виго (Испания) Анхель Барахас, приглашенный иностранный профессор в пермском кампусе НИУ ВШЭ с 2010 года. Важно понимать, что открыть научное подразделение 11 лет назад в Перми было существенно сложнее, чем сейчас.

В лаборатории фундаментальные исследования и прикладные задачи постоянно перетекают друг в друга. Именно из этого рождаются самые интересные проекты - когда научные методы помогают компаниям принимать решения, а реальные кейсы ставят перед нами новые исследовательские вопросы.

Мы работаем на стыке нескольких направлений: нематериальные активы компаний, экономика спорта и киберспорта, ИИ-инструменты, моделирование поведения. Настолько разнородная тематика связана с тем, что современные задачи требуют междисциплинарности.

А вот ссылка на описание прикладных проектов, которые мы делали: https://idlab.hse.ru/applied_projects


@across_the_tidyverse

Вышла Gemini 3 Pro (ютуб)

- Сильно выросла на Humanity’s Last Exam и ARC AGI 2. Это сложные бенчмарки. SWE-bench почти не уступает Sonnet 4.5.

- На rebench видать особо ничего не получилось, и поэтому цифры запрятали в конец отчета) Ну или потому что не получилось тест в трейн долить.

- Дороже на 20% чем 2.5 Pro

- Самое интересное ИМХО: выпустили аналог Codex antigravity, пока бесплатно.

@across_the_tidyverse

Alpha Arena: новый «бенчмарк» для ИИ-трейдинга, который на самом деле не бенчмарк

Появился новый тест для LLM-агентов — Alpha Arena. Идея звучит амбициозно: дать моделям реальные рыночные данные, позволить им совершать сделки и посмотреть, кто из них лучше торгует. Но если смотреть на это как на бенчмарк, то картина совсем другая.

Во-первых, это всего один прогон на двухмесячном окне данных. Для рынка это ничто: случайность полностью доминирует результат.

Во-вторых, даже сравнивают с buy&hold биткойна, но для бенчмарка даже Sharpe ratio не считают (и тем более другие метрики). Бенчмарк без риск-adjusted метрик — это просто красивая табличка из «кто сегодня случайно оказался выше».

В-третьих, LLM фактически оставили без информации. Моделям дают только исторические цифрыи индикаторы теханализа — и просят «сгенерировать что-нибудь» на основе чисел. Никаких новостей, никаких событий, никаких текстовых потоков — хотя именно здесь у LLM реальное конкурентное преимущество (быстрая и масштабируемая обработка новостей).

В итоге среда превращается в идеальный инкубатор для галлюцинаций: модель должна принимать решения в пространстве, где у неё нет доменных знаний, нет причинно-следственных связей и нет того, чем она реально сильна — работы с текстом и контекстом.

Но сама по себе идея трейдингового бенчмарка интересная, если кто-то из студентов хочет сделать — пишите!

Конкурс!

Мы с коллегами проводим конкурс: все желающие до 20 октября 2025 года могут заявить на турнир свою стратегию. 40 победителей выиграют научно-популярную литературу с автографами авторов, а первое место в общем зачете получит еще и возможность пообедать с любым(и) из организаторов конкурса)

Турнир проводится по игре "Предвыборная гонка". Нужно определить, сколько раз кандидат на пост президента вымышленной заморской страны съездит с предвыборной поездкой в каждый из 9 штатов, если всего есть время на 100 поездок и известно, что всего есть два кандидата; в каждом штате побеждает кандидат, съездивший в него больше раз, а вообще президентом становится кандидат, выигравший больше штатов. Задача - одержать победу.

Играть предстоит как против других людей, так и против искусственного интеллекта. А именно, мы проведем 4 турнира:
Турнир 1. Друг против друга по круговой системе (каждая стратегия против каждой по одному разу) сыграют стратегии, поданные людьми.
Турнир 2. К стратегиям, заявленным людьми, мы добавим несколько стратегий от нескольких самых популярных больших языковых моделей.
Турнир 3. В этом турнире мы уравняем число стратегий, заявленных людьми и число стратегий, заявленных большими языковыми моделями.
Турнир 4. В этом турнире сыграют только стратегии языковых моделей.

Можно подать по одной стратегии в турниры 1, 2 и 3! В каждом отдельном турнире будет выделено 10 победителей, а еще 10 победителей будет отмечено по сумме этих трех турниров.

Видеоролик с подробным описанием правил конкурса: https://www.youtube.com/watch?v=PZmzQITna4k

Cсылка для подачи стратегий на турнир: https://forms.yandex.ru/cloud/68bfbcdb49363924e646bced/

К участию приглашаются все желающие, достигшие 18-летнего возраста!

Только что выложили результаты ICPC — финала студенческой олимпиады по программированию, участники со всего мира. В нем также участвовали LLM.

- Абсолютное первое место у системы от OpenAI. Она закрыла 12 из 12 задач — включая самую сложную, которую люди так и не взяли. Условия были такие же, как у всех: задачи в pdf, те же лимиты по времени, ограничение на количество попыток. Для последней задачи модель добралась до успеха на 9-й попытке. Много задач решила с первой попытки.

- Среди людей на первом месте СПбГУ! Они решили 11 из 12 задач и стали человеческой командой, которая оказалась ближе всего к машине :)

- Google DeepMind — «всего лишь» 10 задач, но среди них и самая сложная, которую люди не взяли. Но но всё равно позади СПбГУ.

💡 ИИ и продуктивность: метаанализ

Собрал 20+ академических исследований (RCT, полевые эксперименты, наблюдения), чтобы оценить, как использование искусственного интеллекта влияет на работу сотрудников.

📊 На графике — forest plot: отдельные исследования и объединённый эффект.

Средний результат:
Hedges’ g = 0.91 (95% ДИ [0.61; 1.21])
≈ +25–35% к продуктивности.

🔹 Максимальный выигрыш — в IT и медицине (сокращение времени задач на 30–55%, рост точности диагностики на 15–30 п.п.).
🔹 В экономике и консалтинге эффект умеренный (+10–15%), но особенно заметный у новичков.
🔹 На креативных и нестандартных задачах возможны даже отрицательные последствия.

Вот ссылка на таблицу со статьями.

@across_the_tidyverse

📅 20 сентября в Кампусе СКОЛКОВО пройдет ежегодная конференция ко Дню основания.
Тема — «Новая устойчивость: стратегии развития человека и бизнеса».

В академической литературе всё чаще пишут, что устойчивость — это не про стабильность, а про стратегическую гибкость. Например, свежая статья в Strategic Management Journal (“Strategic flexibility in dynamic environments: the game-changer in digital transformation and organizational resilience”, 2025) показывает: способность быстро менять стратегию и ресурсы — ключевой фактор устойчивости организации.

Конференция СКОЛКОВО — хороший шанс увидеть, как эта логика работает на практике: в методиках адаптации, кейсах компаний и опыте лидеров рынка. Зарегистрироваться можно здесь. Секция про технологии ИМХО самая интересная, посетил бы, но не смогу.

📈 Эффективность государственной поддержки малых и средних предприятий в России

В журнале «Экономическая политика» вышла наша статья, в которой проанализировано влияние различных видов государственной поддержки на финансовые показатели российских малых и средних предприятий (МСП). Исследование основано на выборке из 165 тыс. компаний за период 2019–2022 годов и реализовано с использованием эконометрического подхода «разность разностей».

Основные результаты:

👉 Финансовая, информационная и консультационная поддержка демонстрируют статистически значимое положительное влияние на показатели рентабельности предприятий уже на следующий год после получения помощи.

👉 Другие формы поддержки (кредитная, имущественная, инновационная и образовательная) показывают менее выраженный и отсроченный эффект, что может объясняться спецификой их воздействия через косвенные каналы и долгосрочную перспективу.

Текст статьи на сайте журнала

ЦБ РФ 🤝 Warhammer 40k

1000 IQ move от команды Банка России. В подкасте с зампредом ЦБ спикер сравнил экономическую ситуацию в России с игровой вселенной Warhammer 40000.

«Инфоповод» опубликовали ведущие СМИ и Телеграм-каналы, от РИА до Банксты. К концу дня этот выпуск подкаста вдвое обогнал по просмотрам последнюю пресс-конференцию по ключевой ставке на том же канале.

Встреча двух любимых фандомов 🫀