TGViewer
llm security и каланы llm security и каланы @llmsecurity · 2.04K subscribers
Post #521 497
Все эти определения, правда, слабо помогают, когда мы начинаем говорить о вероятности появления их объекта и, тем более, о временных рамках. В контексте AGI рассматривается несколько сценариев его появления: постепенное и поступательное развитие (gradual takeoff) и внезапный взрыв (hard takeoff). У экономических определений есть критерии, но они достаточно произвольные (почему 100 миллиардов?). Кроме того, в случае с поступательным развитием могут не работать за счет адаптации рынков и конкуренции, а в случае с внезапным взрывом наверняка возникнет кризис (не может быть такого, что одна компания постоянно делает x10 от вложений каждый квартал), после которого такой ИИ на время отключат административными мерами. Определения на базе морального статуса слишком философские. Откуда вы знаете, что я могу испытывать страдания? Ответ "спросить" не принимается: один сотрудник гугла уже в 2023 спросил, получил положительный ответ и стал знаменитостью. Всплывает сложная проблема сознания, философские зомби и прочий Дэвид Чалмерс. Определения на базе когнитивных способностей могут сильно упираться в нашу неспособность их перечислить: Wolfram Alpha уже сильно превосходит меня в математике, а Claude – в некоторых аспектах разработки, и я молчу про StockFish и шахматы; сколько ещё атомарных навыков осталось до AGI?

На эти вопросы накладываются и другие проблемы, затрудняющие прогнозы. Сейчас основной парадигмой в ИИ является машинное обучение на базе трансформеров – текстовых и мультимодальных. Они развиваются быстро, маленькие модели обгоняют гигантов двухлетней давности, улучшения в железе (типа чипов от Cerebras) очень впечатляющие, но мы не знаем, долго ли прогресс в рамках трансформеров продлится, и, если нет, найдем ли мы другую парадигму. Об этом пишет и один из крутейших исследователей безопасности LLM, Николас Карлини, в своем свежем блог-посте : you should have large margins of error. Что если следующие прорывы будут связаны не с трансформерами, а с живыми нейронами, выращенными из стволовых клеток, по 32 тысячи долларов за чип? Людей, способных аргументированно говорить о таких системах, в мире считанные десятки, тем паче делать предсказания. Я, успевший застать еще Theano, ошибался в своих предположениях по скорости развития железок и способностей LLM много раз, поэтому я предпочитаю не делать сильных заявлений за пределами своей узкой области знаний.

Поэтому спасибо коллегам за вопрос (приятно, когда спрашивают о философских вещах), но придется оставить их без предсказаний и дальше делать то, что важно сейчас: разбираться в безопасности всех этих замечательных систем.
Telegram llm security и каланы У каждой книги есть своя целевая аудитория. Если к середине книги вы перестаете понимать, с кем общается автор – возможно, вы просто к этой аудитории не относитесь. Если вы читаете этот обзор, книга «The Coming Wave» Мустафы Сулеймана, сооснователя DeepMind…
  • 👍 13
  • 🦄 3
More from @llmsecurity
  1. Sep 25, 2026🦦 Каланам нужна наша лапка помощи Каланы — одни из самых обаятельных обитателей морей. Он…
  2. Sep 25, 2026Напомню, что у нас не только llm security, но и каланы
  3. Sep 14, 2026Post #719
  4. Sep 6, 2026Post #718
  5. Sep 4, 2026Discovery of a new OpenAI agent message board Sydney Von Arx et al., 2026 Сайт Исследовате…
  6. Aug 22, 2026Жадность вайбера погубит, или как получить малвару за ваши же деньги Часть 2: Троянский пр…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →