Новости сообщества LessWrong

Анонс: SSC / ACX митап в Москве.

⏰ Когда: 2025-07-06 (воскресенье, 6 июля), 17:00 - 21:00.
📍Где: Пространство ЦДО Моноид (monoid.ru).
❓Что: свободное обсуждение вокруг Slate Star Codex / Astral Codex Ten / Less Wrong.

По вопросам организации: чат.
По вопросам прохода на территорию: @MonoidAdmin (за примерно час до начала и во время мероприятия, для прохода на проходной понадобится паспорт).
По разным вопросам: @red_hara, @sciuru.

Коротко о правилах:
- Не пьем, не курим в помещении;
- Не приходим если болеем ОРВИ или любыми другими заболеваниями, передающимися воздушно-капельным путем;
- Ходим в тапочках или босиком (берите клевые носки);
- Бережно относимся к себе, другим и территории;

⭐️Human-aligned AI Summer School
Лекции, воркшопы и обсуждения

📍Где: Прага
🗓Когда: 22-25 июля
💰Стоимость: 300€ | 150€ для студентов и независимых исследователей | есть возможность финансирования отдельных участников
⏰Дедлайн подачи: нет, но места ограничены

Программа сфокусирована скорее на общих фреймворках и подходах, чем на обзоре последних результатов. Содержание довольно техническое - предполагается понимание методов современного ML и их теоретических основ. Воркшопы, дискуссии, нетворкинг, брейншторминг, экспертные панели. Будет много крутых спикеров, в том числе Evan Hubinger, Jan Kulveit и Standa Fort (подробнее смотрите на сайте)

Что внутри:
⭕️Технический алаймент (evals, mech interp, model organisms)
⭕️Стратегия (governance, economic models, gradual disempowerment)
⭕️Фундаментальные фреймворки (multiagent cooperation, bounded rationality, goal-directed behaviour)


Заявки рассматриваются по мере поступления, так что чем раньше вы подадитесь, тем лучше. Орги вчера сказали, что осталось 30% мест


🔗Подать заявку: тут
🔗 Пост на LW | сайт
По всем вопросам писать сюда: haaiss@acsresearch.org

🌟LessWrong Community Weekend in Berlin

📍Где: Yoth Hostel Wannsee, Берлин, Германия
🗓Когда: 29 Августа - 1 Сентября
💰Стоимость: Стандартная цена €250, но на самом деле после того, как вашу заявку одобрят, вы сможете выбрать сколько заплатить
⏰Дедлайн: когда кончатся места

Тот самый вайб старого-доброго LW. 12 итерация Недели Комьюнити LessWrong пройдет в Берлине! Это большая тусовка рационалистов, будет 250+ людей из разных частей Европы и четыре дня интересных обсуждений, веселья и нетворкинга

🔗Подать заявку: тут
🔗Пост про LWCW на LessWrong: тут

По всем вопросам писать сюда: lwcw.europe@gmail.com

💡EA/AIS Community Retreat 2025

📍Где: Суботица, Сербия
🗓Когда: 22-24 августа
💰Стоимость: €80 - 150 (за проживание + питание)
⏰Дедлайн подачи: 15 июля или пока не закончатся комнаты

Куда пускают без визы? Ретрит AI Safety и EA — формат нетворкинга и переопыления идеями, а еще повод провести выходные в Сербии.

⭕️Что внутри: сессии, семинары, нетворкинг, а ещё плавание, отличная еда (включая веганские блюда) и расслабляющая атмосфера на берегу озера Палич.

⭕️Для кого: В основном ориентировано на жителей Центральной и Восточной Европы, но приветствуются путешественники из любой точки мира.

🔗Подать заявку можно тут

А по всем вопросам писать сюда: tanja.trninic@efektivnialtruizam.com

У Элиезера Юдковского в соавторстве с Нейтом Соаресом в сентябре выходит книга

Цитата Стивена Фрая:

The most important book I've read for years: I want to bring it to every political and corporate leader in the world and stand over them until they've read it. Yudkowsky and Soares, who have studied AI and its possible trajectories for decades, sound a loud trumpet call to humanity to awaken us as we sleepwalk into disaster.

https://ifanyonebuildsit.com/

Авторы нашумевшей статьи "AI 2027", о которой я писал некоторое время назад, не планируют на этом останавливать свою деятельность в области прогнозирования будущего развития ИИ. Тех, кого и дальше интересуют модели и прогнозы авторов, могут следить за их блогом: https://blog.ai-futures.org/

В частности, в их блоге недавно вышла статья, где Скотт Александер разбирает некоторую критику исходной статьи: https://blog.ai-futures.org/p/ai-2027-media-reactions-criticism

Новый перевод на сайте - художественная миниатюра Ричарда Нго "Муравьи и кузнечик".

В своей миниатюре автор обыгрывает известный сюжет (более известный русскоязычному читателю как "Стрекоза и муравей"), демонстрируя с его помощью разные теоретико-игровые ситуации и не только.

Группа энтузиастов начинает очередной цикл онлайн-встреч для обсуждения книги Элиезера Юдковского "Рациональность: от ИИ до зомби". Встречи будут проходить по субботам (начало в 19:00 по московскому времени - UTC+3).

Первая встреча состоится 26 апреля.

Подробности: https://t.me/aitozombies

В раздел "The Best of LessWrong" на lesswrong.com , где собираются лучшие эссе за каждый год, добавлены эссе, признанные лучшими в 2023 году.

Подробные результаты голосования можно посмотреть здесь: https://www.lesswrong.com/posts/sHvByGZRCsFuxtTKr/voting-results-for-the-2023-review

Правило и пример

Правила могут генерировать примеры. Например: DALLE-3 - правило, по которому генерируются разные картинки-примеры.

Из примеров можно выводить правила. Например: имея достаточный датасет картинок и их названий, можно натренировать модель DALLE-3.

В computer science есть понятие - Колмогоровская сложность данных. Определяется она (примерно) как длина минимальной программы, способная вывести эти данные.

Некоторые данные простые, и их можно сжать, некоторые сложные, их сжать тяжелее. В каком-то смысле задача ML - это подобрать программу заданного размера, которая является "сжатием" датасета.

В реальном мире, хоть и знать подлежащее правило зачастую очень полезно, иногда полезнее пользоваться giant look-up table (GLUT). Иногда нужно зазубрить материал, вместо того, чтобы пытаться его "понять".

Иногда бывают примеры, которые сложнее породившего его правила. Например, в отрезке [0;1] (который описать довольно легко, правило: все числа не больше 1 и не меньше 0) есть число, содержащее все труды Шекспира (которые сжать до описания сравнимого с описанием отрезка [0;1] точно не получится).

Из правил вытекают свойства. Не обязательно знать про каждый экземпляр правила, чтобы иметь какую-то информацию про них всех сразу. Даже более того, все экземпляры в совокупности могут иметь меньшую информацию (или Колмогоровскую сложность), чем каждый из них по отдельности.

Группа людей с LW и не только, в которую в том числе входят Даниэль Кокотайло (исследователь ИИ, бывший сотрудник OpenAI) и Скотт Александер, опубликовали большой текст под названием AI 2027. В этом тексте авторы дают свой прогноз о том, как, возможно, в ближайшее время будет развиваться искусственный интеллект и к чему это может привести.

Понятно, что точно предсказать будущее невозможно. Наверняка в реальности всё пойдёт по-другому и авторы это понимают (и пишут прямым текстом). Но поскольку люди склонны думать нарративами, авторы на основании текущих тенденций (в тексте есть ссылки) строят повествование, которое, возможно, кому-то лучше позволит понять, о каких вероятных проблемах идёт речь и откуда эти проблемы могут появиться.

В самом начале, в блоке, что это за текст, кто его авторы и почему он написан, также упомянуто, что самый цитируемый в настоящее время учёный в области Computer Science - Йошуа Бенджио - также считает этот текст очень полезным и рекомендует его прочитать.

Каждую весну по всему миру проходят встречи поклонников творчества Скотта Александера.

Посмотреть, будет ли этой весной такая встреча недалеко от вас, и если да, то когда и где именно, можно по ссылке: https://www.astralcodexten.com/p/meetups-everywhere-spring-2025-times

Примерно 10 лет назад Элиезер Юдковский и ещё несколько людей запустили сайт Арбитал, который предполагался как энциклопедия о согласовании ИИ (AI Alignment) с сильным уклоном в сторону математической стороны задачи.

Идея не сработала, сайт не стал хоть сколько-то популярным. Однако команда организаторов Lesswrong'а решила, что там есть много статей, написанных очень качественно, и перенесла их на сам Lesswrong:

https://www.lesswrong.com/posts/mpMWWKzkzWqf57Yap/eliezer-s-lost-alignment-articles-the-arbital-sequence

Научный метод — гарантия истины? А что, если он может доказать даже чушь? Разбираем, как сдвигаются границы доказательности, почему статистика может сыграть злую шутку и как это всё связано с кризисом воспроизводимости. А заодно поговорим об "аргументе доказывающем слишком многое", софистах и их роли в научном прогрессе.

Набор групп в рамках AI Safety Collab 2025

Для желающих пройти вводный курс по AI safety, появилась возможность присоединиться к набору AI Safety Collab 2025.

Программа: AI Alignment от AI Safety Atlas. Как пишут создатели, курс создан в сотрудничестве с экспертами из OpenAI, Кембриджа и CeSIA.

Даты: 31 марта – 23 июня 2025 (8 недель основного курса + 4 недели дополнительной проектной фазы)

Формат: онлайн или очно (если будет такой фасилитатор)
Языки: будет минимум одна группа на русском, вообще в проекте есть и англоязычные группы, можно присоединиться к одной из них (напишите это в анкете в примечаниях)

Стоимость: Бесплатно

Преимущества: сертификат LinkedIn по завершении

А если вы уже не новичок в вопросах AI safety и хотите стать фасилитатором:
1) вам вот в эту форму,
2) можете написать мне в ЛС если у вас есть вопросы.

Возможно будет фасилитатор только на одну русскоязычную группу, так что не затягивайте с подачей заявки.

Подробности программы описаны в самой форме заявки.
Дедлайн: 23 марта 2025
Подать заявку!

Также напоминаем, что если вы — победитель олимпиад и хотите себе экземпляр ГПиМРМ бесплатно, форма получения книг для олимпиадников всё ещё работает!

14 марта 2015 года Элиезер Юдковский опубликовал последнюю главу "Гарри Поттера и методов рационального мышления". В этот день многие поклонники книги по всему миру собирались вместе, чтобы прочитать её и обсудить. Прошло 10 лет.

С 14 по 16 марта 2025 года в разных городах и странах вновь будут проходить встречи поклонников ГПиМРМ.

В таблице по ссылке вы можете проверить, планируется ли подобная встреча неподалёку от вас.

В частности, такая встреча планируется в Москве. Если вы хотите поучаствовать в ней, нужно зарегистрироваться по ссылке.

Для желающих самостоятельно организовать встречу на lesswrong.com написали руководство (на английском), которое может оказаться полезным.

В телеграм-канале "Байесятина" опубликована новая статья "На ком лежит бремя доказательств?"

В статье обсуждается тезис "Бремя доказательств лежит на том, кто что-то утверждает". Всегда ли его уместно применять? Когда с ним могут быть проблемы? Что можно делать в таких случаях?

Попутно затрагивается более широкий вопрос: как мы вообще можем определить, каких аргументов будет достаточно для обсуждения некоего вопроса.

В статье также есть ссылка на видеоверсию.

📣 Open-call: Курс по основам AI Safety

ИИ меняет мир с безумной скоростью, но вместе с этим несет в себе серьезные риски. Задача AI Safety – позаботиться, чтобы эти изменения были положительными

Цель курса – дать базу для начала карьеры в AI Safety. Программа знакомит с основными концепциями, ландшафтом исследований и работами Anthropic, Redwood Research, MIRI

📖 Программа из двух треков:
➕Учебный (4 недели): Знакомство с материалами в фасилитируемых группах
➕Проектный (7 недель): Работа с ментором нацеленная на публикацию

👥 Для кого?
➕Будущие рисечеры: ml'щики, физики, математики, программисты
➕Будущие фаундреры: предприниматели интересующиеся AI Safety

🎓 Сертификат по окончанию курса
👏 Карьерная консультация и менторское сопровождение для лучших студентов

🔫 Экспертиза менторов включает: evals, agent foundations, adversarial attacks, representation engineering, safety field building, mechanistic interpetability

💼 Этим курсом мы готовим людей себе в команды и в команды наших друзей по сейфти. Поэтому курс бесплатный. По этой же причине мы серьезно подходим к отбору кандидатов

🔢 Детали:
➕Очно в Москве или онлайн
➕Регистрация открыта до 21 февраля
➕Даты: 2 марта – 20 апреля
➕Нагрузка: 10-15 часов в неделю

💬 По вопросам пишите @anton_zheltoukhov

➡️➡️ Зарегистрироваться

Можем ли мы отказаться от авторитетов? Как определить, какому эксперту можно доверять, а какому нет?

Телеграм-канал "Байесятина" опубликовал статью "Кто твой авторитет?", где обсуждаются эти вопросы.

Видео-версия: https://www.youtube.com/watch?v=Cg3Ad8StogY