Пара мыслей об AI alignment

На днях рассказывал на квартирнике про AI alignment, и для многих людей такие мысли были как будто в новинку. Для других замкадышей, которые к нам доехать не смогли, записал кусочек из того, что рассказывал.

При словах “катастрофа ИИ” мы представляем мощный и злонамеренный ИИ, который внезапно захватывает контроль над человечеством. На самом деле, катастрофа может быть менее голливудско-взрывной. Например, с улучшением качества машинного обучения, корпорации могут все больше сосредотачиваться на легко измеримых метриках, таких как прибыль, что приведет к манипулированию потребителями и коррупции. В результате, со временем человеческое мышление станет все менее конкурентоспособным по сравнению с систематическими механизмами манипуляции и обмана, созданными с помощью ИИ. Думеры знают такой сценарий как “going out with a whimper”.

На самом деле, в нашей жизни и без этих ваших ИИ практически невозможно идеально согласовать цели и метрики. Из интересных примеров – promo-driven development в больших компаниях, запоротый Hacktoberfest, и спешное изменение в законодательстве Нью-Йорка по выкупу огнестрельного оружия. Чуть больше примеров можно посмотреть в статье на Википедии.

В этом смысле я вижу очень интересное пересечение на стыке рисерча про alignment и поведенческой экономики. Хороший дизайн структуры стимулов, учёт неопределённости, эгоистического поведения рациональных агентов, и стабильных исходов может позволить нам проектировать системы ориентированные в первую очередь на людей, например, налоговую. А в совсем прекрасном мире будущего, может, и мэрия Сан-Франциско решит alignment-related проблемы города.