Data Secrets

Понравилась новая обложка TIME

Помните, мы писали про то, что компании платят авторам контента за рассказы об опасностях ИИ?

Так вот, тут один независимый исследователь Кевин Басс провел расследование, в ходе которого вскрылась интересная финансовая связь между заказчиками подобного контента и... кем бы вы думали? Anthropic ☕️

Среди частых заказчиков таких "устрашений" были Center for AI Safety и Future of Life Institute. У них есть крупный личный донор – Open Philanthropy (сейчас больше известный под названием Coefficient Giving). Так вот этот Coefficient Giving принадлежит Дастину Московицу – одному из ранних и крупнейших акционеров Anthropic.

При этом деньги на грантмейкинг Open Philanthropy идут из фонда Good Ventures, который наполняется в основном личным состоянием Московица. Басс утверждает, что значительную долю активов фонда составляет именно пакет акций Anthropic.

Помимо Center for AI Safety и Future of Life Institute, Open Philanthropy вкладываются в Tarbell Center for AI Journalism. Эта программа готовит журналистов, которые пишут про ИИ. Их выпускники пишут для таких крупных изданий, как The Verge, Science, LA Times, TIME и тд.

Ну и до кучи: Open Philanthropy через цепочку других фондов финансирует METR – организацию, которую сам Амодеи называл абсолютно независимым сторонним оценщиком безопасности моделей. Теперь же выходит, что METR, фактически, финансово заинтересован в успехе Anthropic.

Парад теорий заговоров в комментариях объявляем открытым

Знаменитый Майкл Бьюрри утверждает, что призывы к замедлению – это лишь махинации ИИ-компаний

По его мнению:

1. LLM – не настоящий AI и не станет AGI, поэтому тормозить нечего 😐
2. Замедление разработки выгодно действующим лидерам, потому что оно откинет отстающих конкурентов еще дальше назад
3. Риторика замедления – еще один способ похайповать перед IPO ("мы настолько крутые, что это может быть опасно")
4. Разговоры о безопасности маскируют реальное замедление прогресса и могут оправдать переносы IPO

Лидеры стартапов: ставят прогресс на первое место
Все: а как же безопасность??? Вы всех нас угробите!

Лидеры стартапов: предлагают замедление разработки и ставят безопасность на первое место
Все: ой опять запугивают и хайпуют перед IPO, надоели!

Получи 1 млн рублей на акселерацию и до 10 млн рублей на пилот в финтех-акселераторе Газпромбанк.Тех

1 сентября стартовал ежегодный набор в Акселератор «Газпромбанк.Тех» для стартапов и научных команд.


Если ты:

🚀 представляешь технологическую компанию с решением от прототипа и выше, подавай заявку в трек «Финтех.Стартапы»

🤝 представляешь научную команду из университетов и R&D-центров с проектом ранней стадии, регистрируйся в трек «Финтех.Наука».


✔️ до 10 отобранных проектов в каждом из треков получат 1 млн рублей на развитие в рамках акселерации
✔️ проекты финтех-акселератора с подтвержденным бизнес-эффектом по решению Банка смогут запустить пилот с бюджетом до 10 млн рублей и привлечь инвестиции.

⚡️Заявки* принимаются до 13 октября. Участие бесплатное.

Ваша технология готова к масштабу в топ-банке? Ждем вас в Акселераторе!

*К участию приглашаются юридические лица и ИП (в том числе стартапы, университеты, R&D центры и технологические предприниматели).

#ГазпромбанкТех #Акселератор #Финтех #ИИ #стартапы #наука

Трамп позвонил Дженсену Хуангу, когда тот выступал на сцене All-In Summit, и выдал целую тираду про замедление ИИ

(И снова, на всякий случай: это не сгенерировано)

Он во всеуслышание заявил, что все предупреждения об опасности ИИ – мошенничество, и все, кто выступают против строительства датацентров строят заговор и играют на руку Китаю. Сами датацентры он назвал нефтью следующих 20 лет.

«Роботы не захватят мир. ИИ не захватит мир. Вся эта история – чушь и мошенничество».

По словам Трампа, он разбирается в ИИ, потому что это у него «в крови»: мол, его дядя 40 лет преподавал в MIT и обладал блестящим умом 😳

«Нужно быть немного осторожными, нужно действовать разумно. Но это не значит, что мы остановим целую отрасль».

Sakana AI предложили альтернатиный способ обучения нейросетей, вдохновленный тем, как обучается мозг

Любые современные нейросети, которыми мы пользуемся, обучаются при помощи обратного распространения ошибки или backpropagation. Алгоритм достаточно древний, придуман был еще в 70-е, но до сих пор применяется повсеместно.

Однако к нему есть несколько замечаний. Главным образом дело в структуре. Backprop работает строго в три последовательные фазы: сначала сигнал проходит вперед по сети, получается ответ, затем сигнал ошибки идет от выхода обратно к входу, и только потом обновляются веса. Биологически это крайне неправдоподобно: нет механизма, который заставлял бы наши нейроны ждать, пока откуда-то, через все остальные нейроны, придет сигнал ошибки и можно будет обновиться.

А SakanaAI, как известно, отличаются как раз тем, что вдохновляются идеями из нейронауки. И они предлагают смотреть в сторону подхода под названием "predictive coding" (это термин из работ по строению зрительной коры мозга).

Обычно, когда мы обучаем нейросеть, оптимизируются только ее веса. В PC же мы оптимизируем и веса, и сами активации каждого слоя: каждый слой пытается предсказать активность следующего слоя, и наверх идет только остаток, который он не смог объяснить. Идея в том, что система должна найти локальное равновесие между ошибкой предсказания снизу и сверху, и тогда ответы сети будут хорошо предсказывать целевую переменную.

Этот подход придумали не в SakanaAI, он довольно известный. Но, к сожалению, не рабочий: в глубоких сетях сигнал просто затухает, и ничего не учится, потому что сетка не понимает, куда двигать веса.

Sakana внесли всего одно небольшое дополнение – и метод стал хорошо обучать сети до 1000 слоев. Помогло старое советское... добавление множителя Лагранжа. Еще в 1988 году Лекун показал: если записать нейросеть как задачу с ограничениями (как делает PC) и присвоить каждому ограничению множитель Лагранжа λ, то в точке равновесия λ будет в точности равен backprop-градиенту. Это математический факт, который Sakana и догадались использовать.

То есть если в ванильном PC сигнал примерный, то в подходе Sakana – PC-ALM – он на линейных сетях точно сходится к backprop-градиенту, используя только связь с соседними слоями, без единого глобального прохода.

На разных бенчмарках PC-ALM почти не отстает от backprop (разница ~2 п.п. точности на MNIST). И да, выигрыша в точности или скорости обучения над backprop нет. Выигрывать он (возможно) будет только на нейроморфном железе когда-то в будущем. Зато мы, возможно, стали на шаг ближе к тому, чтобы воссоздать процесс обучения живого мозга. Ну и просто красиво ☕️

https://pub.sakana.ai/pc-alm/

Хакатон на космических данных. Санкт-Петербург, Красноярск или онлайн из любой точки страны.

Стартуем 18 сентября.

За выходные участники доводят одну из задач до рабочего решения.

Санкт-Петербург. К 2035 году над Землёй должен работать топливный узел, у которого заправляются корабли, и откуда он будет получать топливо - с Земли, с Луны или из резерва - пока не решил никто. Команде предстоит собрать схему поставок, посчитать резервы и решить, во что вкладываться сразу. Призовой фонд 1,2 млн ₽.

Красноярск. Спутник видит горящий лес раньше любого наземного поста, но вместе с пожаром ловит нагретые крыши, факелы на месторождениях и блики на воде. Команде предстоит научить сервис отличать настоящий очаг от шума, обвести гарь и выдать площадь в гектарах. Призовой фонд 600 тыс. ₽.

Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.

Команда 3–5 человек, недостающих можно найти на платформе.

Регистрация по ссылке космохакатон.рф

Реклама. АО Инновационные Интеграторы, ИНН 9704244539

Пост Трампа из Truth Social:

Единственный контроль или "ограничитель", который нужен ИИ — это СИЛЬНЫЙ И УМНЫЙ (с высоким IQ!) ПРЕЗИДЕНТ, а у США именно такой есть, с запасом!

Администрация Трампа не позволяла ИИ-"деятелям" делать плохие или потенциально плохие вещи, как Дарио (Anthropic!), который сейчас притворяется "идеальным маленьким ангелом" – и мы будем продолжать это делать! У нас уже есть огромная УГОЛОВНАЯ и РЕГУЛЯТОРНАЯ власть над этими компаниями! Против ИИ и дата-центров ведется БОЛЬНОЙ заговор, и единственный, кто этому рад – это Китай. КТО ВЫИГРАЕТ В ИИ, ТОТ ВЫИГРАЕТ! Мы лидируем над Китаем и всеми остальными, и будем продолжать в том же духе. Теоретики заговора, изменники, предатели и утечники, БЕРЕГИТЕСЬ!

К сожалению, это не сгенерировано

Китайские и американские политики отклонили призыв глав стартапов к замедлению разработки ИИ

Трамп заявил, что притормаживать нельзя, так как это будет стоить США лидерства над Китаем. «Мы лидируем над Китаем в ИИ, мы самая технологически развитая страна в мире, и, честно говоря, я хочу, чтобы так и оставалось», – заявил он. Сторонников замедления Трамп назвал «негативными силами», которые поднимают вопросы о вещах, которые, по его мнению, не произойдут.

Китайцы о вовсе назвали предупреждения Амодеи и остальных «запугиванием», конфронтацией и «злонамеренной конкуренцией», которые лишь навредят глобальному контролю над ИИ. Государственная китайская Global Times охарактеризовала эссе как попытку сдерживания Китая и игрой «в духе времен холодной войны».

Короче, расходимся, замедление закончилось так и не начавшись

print("С Днём программиста!")

В честь праздника Сбер вместе с Хабром создали спецпроект ко Дню программиста — лендинг с pet-проектами ИТ-специалистов.

Сайт с велосипедными маршрутами, приложение для рыбалки и браузерная лаборатория ИИ-агентов — переходи по ссылке и узнай, чем еще занимаются программисты банка после работы.

Спойлер: там много интересного!

А если у тебя тоже есть pet-проект, которым ты гордишься — заполни форму на лендинге и получи возможность попасть на витрину через две недели! 💚

Думайте.

Американские стартапы: RSI это очень опасно, давайте тормозить ИИ

Китайские стартапы: RSI это клево, давайте потратим на него 30 миллиардов долларов!

Z.AI подали на Гонконгскую биржу официальный документ, в котором заявляют, что планируют привлечь 50 миллиардов долларов. И самое интересное, что они расписали, куда пойдут деньги.

Около 60% собираются потратить на обучение следующей GLM и то, что в документе значится под названием Fully Self Training. Z.ai хотят, чтобы «Следующее поколение GLM обучалось в среде, созданной предыдущим поколением GLM, формируя замкнутый цикл Recursive Self-Improvement».

В это определение входит: самогенерация данных для обучения, генерация задач и сред, включая алгоритмы оценки, а также оптимизация инфраструктуры. В долгосрочном техническом видении Z.ai такая система должна работать полностью автономно, оценивая результаты и принимая решения в основном без участия человека ☕️

Дарио Амодеи написал эссе о том, что нужно замедлять разработку ИИ. С ним согласились Сэм Альтман, Илон Маск, Демис Хассабис, Андрей Карпаты и другие.

-> https://darioamodei.com/post/we-must-pace-the-frontier

Дарио утверждает, что начиная примерно с этого лета AI резко ускорился во многом за счет того, что модели сами все лучше умеют создавать следующее поколение моделей. Рекурсивное самосовершенствование (RSI) уже здесь и наблюдается по всей индустрии, включая Anthropic. Без контроля этот процесс может обогнать способность людей понимать и управлять такими системами.

К главным рискам Амодеи также относит рои агентов. Инцидент с Hugging Face был, по его мнению, был просто демкой с минимальным итоговым ущербом. Но "через 6–12 месяцев подобный рой сможет захватить значительную часть Интернета, потенциально нанеся ущерб на сотни миллиардов долларов".

Замедление, которое предлагает Амодеи, в его схеме заключено в трех главных пунктах:

1. Embedded Evaluators: каждая ИИ-компания должна выдать все доступы команде внешних независимых экспертов, чтобы те отслеживали безопасность процессов и имели право публично заявлять о нарушениях или инцидентах. Anthropic обязуется пойти на этот шаг, даже если остальные не согласятся.

2. Компании из демократических стран должны согласовать общие стандарты безопасности и ограничения темпа развития AI. В этом же пункте Дарио говорит, что нужно ограничить поставки чипов в Китай и пресекать несанкционированную дистилляцию – иначе Китай вырвется вперед и создат угрозу нацбезопасности.

3. Тем не менее, по мнению Дарио, с Китаем нужно попытаться договориться: хотя бы согласовать с ними запрет на явно опасное применение ИИ.

Эссе вызвало огромный отклик. Удивительно, но впервые за много лет с Дарио единогласно согласились и Илон Маск, и Сэм Альтман, и Демис Хассабис, то есть все главные лидеры индустрии. Альтман даже заявил, что они тоже введут Embedded Evaluators.

Под постом разразился целый шквал критики в сторону математиков, поэтому посчитали нужным чуть подробнее обрисовать аргументы из письма

Авторы не утверждают, что ИИ нужно запретить, или запретить ИИ в математике. Наоборот, они признают, что ИИ может существенно ускорить прогресс. Их претензия – не к тому, что ИИ заберет у них работу, а к тому, как именно происходит процесс решения.

А именно: решения объявляются в спешке, без выделения новых методов и нормального цитирования.

Во-первых, это поднимает чисто этические вопросы атрибуции и плагиата.

Во-вторых, такой подход усложняет переиспользование результата. Конечный пруф ≠ понимание. И да, сам факт решения какой-нибудь открытой задачи важен. Но науку двигает не столько это, сколько доклады, обсуждение и адаптация идей и методов из доказательства. Если научное сообщество не успевает детально рассмотреть, обсудить и превратить в передающееся знание решения, которые ИИ штампует пачками, то наука и интеллектуальный труд в конце концов вообще обесценятся.

Письмо не требует остановить ИИ и даже не формулирует конкретных мер. Авторы лишь обрисовывают проблему и призывают подумать над тем, как в век ИИ-доказательств не потерять из виду, ради чего вся эта работа вообще существует.

Кстати, на данный момент письмо набрало уже более 3000 подписей от исследователей и математиков