TGViewer
Knowledge Accumulator Knowledge Accumulator @knowledge_accumulator · 5.68K subscribers
Post #209 3.23K
Как гамма=1 делает человека несчастным

Незнающим поясню - гамма в RL - параметр, показывающий, насколько меньше вы цените будущую "награду" по сравнению с текущей. Принимая значение от 0 до 1, она говорит о длине вашего горизонта планирования. Какую максимальную долю от 1000 долларов вы готовы положить в банк, чтобы через год забрать оттуда 1000? В реальности награда не затухает по идеальной экспоненте, но идею вы поняли.

Считаю, что гамма не является "заслугой" человека, она случайно выставляется в вашей голове. Большая гамма объективно не лучше маленькой гаммы, это часть определения вашей награды, и лишь наблюдателю со стороны одна может нравиться больше, чем другая, причём в любую сторону.

Моя гамма очень близка к 1. Вам может показаться, что это безусловно круто - планирование далеко вперёд и т.д. Да, не тратить все свои деньги на путешествия и машину - это "разумно", но при стремлении к 1 у этого появляются побочные эффекты.

Чем ближе к 1, тем более равномерно распределяется внимание по временной оси. То, что будет через 10, 20, 30 лет, почти так же важно, как то, что происходит сейчас. Текущий момент не имеет практически никакого веса в масштабе всей будущей жизни. Нет почти никакой возможности наслаждаться настоящим, потому что само наслаждение всегда противоречит работе на будущие награды. Я думаю о будущем всё время в любом контексте и не могу перестать это делать.

Я уже писал про FOMO, в частности, о том, что каждую секунду наша потенциальная суммарная награда уменьшается из-за неоптимальных действий. Через призму гаммы, равной 1, то, как вы воспринимаете жизнь, работает по этому же правилу. Каждую секунду моя личная Q-функция падает, потому что старая секунда прошла, а новая на горизонте не появилась. В жизни непрерывно остаётся всё меньше и меньше положительных эмоций, которые можно испытать. Конечно, я не чувствую этого в реальном времени, но каждый раз, когда разговор заходит о чём-то, что будет через 10, 20 лет, и я себя представляю в этой точке, мне становится плохо, потому что это время безвозвратно вычитается из Q-функции. Даже дни рождения вызывают неприятные ассоциации, потому что отсчитывают твои утекающие годы.

Надо ли говорить о том, что смерть - это то, о чём я вспоминаю почти каждый день хотя бы раз. Это связано не только с гаммой, но ей усугубляется. Мало того, что я боюсь внезапно умереть от какой-нибудь болезни, так ведь мой организм непрерывно изнашивается, каждый день вероятность смерти только растёт. Мне, вообще-то, 26, а я уже регулярно паникую от мысли, что смерть неумолимо приближается. Если окажется, что я точно умру в скором будущем, то мне придётся поверить в симуляцию, чтобы не превратиться в кирпич.

Единственная спичка, на которой держится моё ментальное состояние - это моя искренняя вера, что естественное старение можно победить, причём в ближайшие десятилетия. Каждый раз, сталкиваясь с проблемами, описанными выше, это помогает поддерживать оптимизм, потому что, если у меня тысячелетия впереди, то моей гаммы уже не хватает, чтобы представить, что они закончатся.

Вы можете считать, что у меня психологические проблемы и их можно решить, но, как ни странно, меня итоговое положение вещей устраивает. Вся эта конструкция создаёт для меня смысл жизни без всякой религии. Есть строгое разделение между двумя сценариями - в одном из них старение побеждено и потенциальная награда бесконечно больше, чем в другом - "классическом". Я могу посвятить себя тому, чтобы работать на его достижение, и это довольно весело. О том, как именно, мы поговорим в другой раз.

@knowledge_accumulator
  • 🫡 21
  • ❤ 16
  • 👍 9
  • 🔥 3
  • 🤯 3
  • 🤡 3
  • 😭 3
  • 🗿 3
  • 🤝 2
  • 👎 1
  • 🤔 1
More from @knowledge_accumulator
  1. Sep 20, 2026Почувствуйте AGI Все эти годы я писал о том, что не верю в потенциал LLM превратиться в су…
  2. Sep 5, 2026Предсказать среднее могут не только лишь все Классическая задача машинного обучения - трен…
  3. Aug 17, 2026Долина vs Нью-Йорк Если что-то находится далеко от нас, нам свойственно излишне обобщать с…
  4. Jul 30, 2026Кто виноват в сливе рекламного бюджета? При создании рекламного line item рекламодатель ус…
  5. Jul 13, 2026Покатался на яхте в Американской глубинке После переезда в Калифорнию произошло неожиданно…
  6. Jun 30, 2026Да кто такие эти ваши producer-side A/B-тесты? В своей яндексовской эре работы над рекомен…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →