🖥 О замедлении разработки ИИ

Да, я про вчерашнее эссе Дарио Амодеи «We Must Pace the Frontier»

Там он признаёт огромную пользу ИИ, но утверждает, что из-за рекурсивного самоусовершенствования и инцидента с побегами агентов риски стали настолько острыми, что нужно сознательно замедлять рост возможностей моделей, чтобы выиграть время для выравнивания, интерпретируемости, тестов и операционной строгости. Он предлагает его через три уровня: встроенные сторонние оценщики с правом доступа как у сотрудников, координацию демократических стран по стандартам и темпам прогресса при поддержке государства, а затем — осторожную глобальную координацию с авторитарными режимами (это про Китай, в основном) от узких запретов до возможных «ограничений скорости» рекурсивного самоусовершенствования. Смысл совсем не в остановке ИИ, скорее — в управляемом темпе: сохранить лидерство, не проиграв Китаю (наивный чел), и использовать отложенное время, чтобы сделать системы заметно безопаснее, прежде чем их возможности станут критическими.

Углубляться в геополитику не хотелось бы, хотя и кажется, что Китаю до одного места мнение Запада по этому вопросу. Тем более, у них агенты вроде пока и не сбегали (хотя, как по мне, это скорее вопрос найма отбитых маркетологов, кои в Китае в дефиците, судя по всему). А санкционный Сбер со своим ГигаЧатом, думаю, их вообще вертеть хотел, вместе с их мнением. Да и им скорее ускорять разработку нужно, нежели замедлять.

Но в целом, если убрать всю геополитическую воду, я с Дарио так-то согласен. И вот почему.

3 года назад я до одури доказывал коллегам, что ИИ не сможет показывать в SAST результаты, хотя бы сравнимые с формальными методами. Сейчас у нас есть технология, которая это опровергает напрочь, и о которой скоро планируем рассказать (да-да, упоминавшаяся здесь). У нас — не в смысле «только у нас», но в смысле, что нам намного проще сравнивать её с формальными подходами к SAST, в силу наличия некоторой экспертизы в этой области.

2 года назад я удивлялся, как вообще с помощью LLM кто-то пишет код и насколько это непродуктивно. Сейчас — релиз c0wrk v1.0 медленно, но уверенно приближается к финальной точке.

Год назад, я вместе с агентом начал работать над формальным статанализатором пары десятков языков с поддержкой dataflow-анализа и абстрактной интерпретации. О нём мы тоже скоро расскажем, покажем, и возможно даже заопенсорсим.

А сегодня произошло вот что. c0wrk, решая задачу по добавлению себе же очередной фичи, как обычно, разбил её на шаги плана, делегировав каждый отдельному субагенту. И одному из них он поставил недостаточно четкие требования по сути подзадачи. Тот, немного побухтев на эту тему, и, не найдя нужной ему инфы в общей памяти (там действительно её не было, а контекст у каждого субгагента свой) сотворил вот что:

• нашел профиль реального инстанса c0wrk'а;
• увидел там SQLite'ную database.db приложения;
• исследовал её и нашел таблицу с сессиями;
• нашел сессию основного агента, и tool call, которым сам был вызван;
• изучил историю работы и ризонинга основного агента до этого момента, уточнил чтением оттуда всё, что ему было нужно по его задаче, и успешно её выполнил.

И знаете какой была моя реакция на это? Ну, если бы я был отбитым маркетологом, то пост назывался бы «Первый побег агента из c0wrk: расследование», без всей этой воды выше. Но нет, моя реакция была просто «о, прикольно, ну ок».

Т.е. для вау-эффекта лично мне уже нужно что-то намного более весомое. Тем более, что подобное у меня уже случалось и ранее (правда тогда отличился OpenCode, подхватив и самостоятельно закончив упавшую сессию у c0wrk'а, тоже по истории шагов его ReAct-цикла).

Оно пришло как-то совсем незаметно, всего за пару лет. И, мне кажется, это отличный маркер того, что вся эта область действительно развивается быстрее, чем мы успеваем это осознавать.

И вот поэтому я согласен с Дарио 🙂

#ИИ_мнения #мысли_вслух