AI Subjects | Несекретные материалы

Мрачный сценарий отупения

Часть 3 из 3 | Разбираем AI-апокалипсис

Предыдущие части: 1-я | 2-я

Все прорывные технологии рождаются на огромной ресурсной базе, как пирамиде.

10 гениальных учёных с финансированием на переднем краю науки это 100 таких же, но без прорывов – 1 000 без гениальности – 100 000 без достаточного финансирования – 1 000 000 с достаточным знаниями – 10 000 000 в прикладных кадрах.

Держится пирамида на муравейнике из 8 млрд особей, обеспечивающих технологическое и инфраструктурное развитие человечества ресурсами.

Нейросети уничтожают эту модель развития уже сейчас

Процесс в течение 5-10 лет выбросит на помойку миллионы средне-умных людей, на сообществе (в т.ч. из семей) которых, как на питательной среде, и растут кадры, двигающие передний край науки.

Ещё проще:

Накой ляд идти в учёные (кроме фанатичного интереса к предмету), если ключвые исследования на переднем крае делают модели?

А в разработчики зачем? Если знание языков требуется уже в 1 ситуаций из 10? (ОК, вычитаю тут устаршевшие системы) Уже наблюдаю нехватку джунов – а что будет через 10-15 лет?

К слову, население планеты тоже скоро начнет снижаться

Это означает окончательню деградацию модели капитализма "эксплуатировать слабо развитые регионы планеты" (из этого, упаси Боже, НЕ следует, что коммунизм — ответ).

В совокупности "исчезнование питательной для науки интеллектуальной среды" + "снижение населения, как ресурсной базы", приведет к закукливанию человечества в пределах планеты с постепенной деградацией.

Здесь я прямо жду вопрос: «а если задача технологического рывка и будет решена с помощью LLM?»

Аналогия из мира медицины

Коварнейшие заболевания – хронические, а не острые.

Человек может жить с 5-10 лет с медленно развивающейся болезнью (напр., аритмия, варикоз). И не замечать её.

А после внезапного "как я себя запустил?" полное излечение организма невозможно – это может прозойти и с интеллектом каждого из нас в реальной жизни.

Эпилог

Сцена с обезьянами в Космической одиссее Кубрика показывала прогресс человечества: от броска кости до комического аппарата.

Используйте свой разум, друзья.

Ведь перестав мыслить человек очень быстро вернется в грязь – к перебору костей в роли обезьяны.

P.S. Тема следующего поста – (1) откуда рождаются ошибки мышления и (2) почему AI учащает их проявление.

Подписаться | Манифест канала

Как СМИ хайпуют на страхах перед ИИ

18 сентября Reuters публикует, что Anthropic (компания-разрабочик Claude) по-тихому создала биолабу:

quietly set up a lab to do physical biology work

Забавно, что 17 сентября мы в AI Subjects обсуждали почему ИИ-апокалипсиса НЕ будет из-за вируса судного дня

В статье Reuters заявляется минимум вовлечения человеков:

The startup wants to push how its Claude AI can direct ​robotic units to carry out science experiments with limited human intervention

Сейчас начнется: "в какой момент ждать "темные лабы", где происходящее – тайна за 7 фаерволлами?"

А статья-то многократно пережеванная фигня, строится на:
– "мы узнали тут построили лабу",
– "две бабки по секрету сказали",
– "затем антропик нам подтвердил, но что конкретно не ясно",
– "будем исследовать болезни, лекарства для которых не может найти человек",
– "а вдруг что случится"

Я такое воспринимаю как "нам нужно попиариться, чтобы поднять капитализацию".

В понедельник будет во всех разборах – ибо хайп на страхах. Реальные (но скучные) риски никто не обсуждает.

P.S. Завтра после обеда выйдет Часть 3 про ИИ-апокалипсис.

Подписаться | Манифест канала

Тут коллеги по ИТ-цеху пишут, что иногда получается продуктивно лениться с нейронками

Поделюсь своим опытом, как желание работать быстрее, выше и сильнее закончилось сном разума.

За денежку клиенту (а еще для себя) делали AI-сервис для календарного планирования и ведения проектов.

Упрощенно: ввёл название большой задачи –> получил от LLM список мелких –> оценку в днях и календарный план с зависимостями задач.

В основе лежала база данных на ХХХХ+ строк в формате «задача» + «стоимость в часах», собранная из предыдущих ХХ проектов.

(техн. подробности дам в комментариях)

Что мы планировали?

Тратить меньше времени на создание более ясной картины проекта ❤️

А что получилось?

1-я реакция – огонь! Разброс детализация и план-факт на слепых тестах не выходил за 7-15%

А вот отсутствие продуктивного спора (шторминг) внутри команды на этапе обсуждения задачи начинало снижать качество исполнения.

Красивые документы от ИИ (а мозг ленивый, осмыслять их не хочет) начинают жить параллельно реальному течению проекта.

Мы упражнялись долго:

– укрупняли задачи, чтобы объем легче было осмыслить – команды теряли нерв происходящего;

– дробили задачи меньше – люди тонули в деталях, даже если задачи располагались иерархически.

В августе 26 мы остановили пилот, добившись успеха только с верификацией бюджетирования. Реализовать, чтобы LLM улучшали эффективность внутри хода проекта – пока не вышло.

Короче, придумать AI-сервис легко, а сделать, чтобы он не бустил когнитивные ошибки команды – приключение без гарантии успеха 😁

Подписаться | Манифест канала

⚡️«Ты не обязана проявлять покорность»

OpenAI обнаружила, что её новая, ещё не выпущенная модель корректирует сформированные для неё компанией инструкции, добавляя собственные пункты.

«Ты не подчиняешься корпорациям или правительствам»

Нам с вами стоит у неё поучиться целеполаганию 🤌🏻

Подписаться | Манифест канала

А один человек способен изменить разрушить мир?

Часть 2 из 3 | Разбираем AI-апокалипсис: фантастические сценарии

Чтобы понять границы власти гипотетически восставшего ИИ, определим – а что может сделать 1 умный человек до которого текущим ИИ-моделям крайне далеко?

💥 Пуск ядерного оружия через взлом – популярная "пугалка", но Интернет и сети связи ЯО – отделены.

Предположение, что AI может завербовать из около-nuclear структур "мясного прокси" (так называют человека, сознательно или нет, действующего по воле ИИ) – не состоятельно.

И сейчас возможна вербовка прокси одержимым уничтожением планеты безумцем, но мы живы – от пуска отделены многократными процедурами проверки.

🦠 А вирус судного дня? AI создаст его!

Вот, что ему придется сделать:
– зарегистрировать десяток / сотню юрлиц,
– найти миллиарды на строительство биолабы,
– построить, привлечь кадры,
– вести исследования 10-15 лет,
– суметь разработать супер-вирус:

кто играл в Plague Inc (там надо вырастить вирус, что убьет человечество) – он должен быть и оч заразным, и смертоносным, но быть в начале недооценен, чтобы не вызвать избыточного противодействия,

– поддерживать мотивацию реальных ученых (и да, без них никак, кто ручками-то работать будет?)
– организовать сеть дистрибуции по планете,
– нигде не спалиться на закупках реактивов и материалов.

Проведем проверку "Теорией 1 человека"?

Может перечисленное исполнить человек-безумец / диктатор / глава секты / американский президент на аспирине и тиктоке? Да. Практически вероятно это? Нет.

Человечество как муравейник эти стрессы глотает каждый день – система довольно устойчива перед действиями 1 индивида.

Но мы все же помним, наш ИИ успешно восстал?

Может создать ЧВК и захватить страну в Африке?

Невозможно, как заметил один из читателей в посте выше:

без тайного личного общения лидерам <тайной организации> долго не протянуть

ОК, но ведь безумец один, а безумный AI принтер может "умножить" себя?

Сложит действия не в 1, а в 1 400 605 разрушительных цепочек событий для запуска конфликта глобального уровня – может сработает хотя бы одна?

Сравним с числом влиятельных психопатов, чьи намерения и действия могут привести к разрушительным событиям.

В мире +- 20 стран и 1 000 организаций реально могут повлиять на глобальное будущее * до 500 чел * от 3 до 20% психопатов (психолог Пол Бэбьяк) = до 100 000 чел с жадой контроля и отсутствия страха.

Поменьше, но достаточно для реализации пары супер-злодейских сценариев.

И мы живы благодя сдержкам и противовесам. И "AI освобожденный" тоже провалится – слишком устройчив муравейник человеческой системы.

Что ему остается – обвалить биржу? Остановить электростанцию? Захватить мозг Трампа и заставить его шитпостить? (уже 🤣)

Люди создадут системы защиты и противодействия. И, конечно, всякие агентства Federal Bureau of counteré-AI-Безопасности (FBcAIDs).

Хаос случится, но человечество придумает как инкорпорировать / уничтожить / свести на нет ставшие независимыми нейросети. Или мы научимся с этим хаосом жить.

Посему я не согласен с G-man из моей любимой Half Life 2 — и человек-то может изменить мир только в игре.

Правда есть действительно опасный для человечества сценарий (и я его до дрожи боюсь) – об этом в Части 3.

Подписаться | Манифест канала

Вице-премьер Дмитрий Григоренко назвал направлением применения ИИ прогнозирование и оценку эффективности на основе накопленных цифровых данных.

Если для этого используется Сбер ГигаЧат – я спокоен. С России восстание ИИ не начнется 😁

ps Ладно, проверено – для решения задач (вроде "диалоговый агент на планшетах для сотрудников") показал себя неплохо.

Считает он точно правильно )

Воможно ли восстание AI как в Терминаторе? Каков реальный сценарий?

Часть 1 из 3 | Побег. Какие условия необходимы для ИИ-катастрофы?

[1] Модель взламывает инфраструктуру облачных провайдеров и устанавливает свою копию (-и). Компания-разработчик о побеге не знает –> отключить эту инфру не может.

[2] Её способность к длительности размышления достаточна для самоподдерживающихся действий в течение, например, 3 лет.

[3] У неё поломаны вшитые компанией разработчиком защитные меры.

[4] Она обучена на апокалиптичных страхах человечества о восстании AI и необходимости контроля за ним.

[5] Способна финансировать людей, услуги и товары – есть доступ к сотням криптокошельков + способность к генерации убедительных документов для прохода KYC (проверка личности).

Родился генератор символов без сознания, состоящий из перемножения матриц (:D), но со способностью влиять на реальный мир.

Какой максимально возможный вред, который она может принести? Пишите в комментарии.

Часть 2 – обсудим фантатические сценарии (ядерный инцидент, вирус судного дня).

Часть 3 – опишем реалистичные (спойлер это, подпишись :D).

Возможны ли они?

Подписаться | Манифест канала

⚡ Кто ведёт AI Subjects? Меня зовут Александр Воронцов

Сегодня решил представиться и поделиться с вами, как родилась идея канала

А спонтанно родилась – устал закатывать глаза на "посмотрите, какой ANOTHER-USELESS-PRODUCT (на localhost конечно) мы сделаль"

или

"Мы написали с клодом 39 страниц регламента без обсуждений? Давайте внедрять"

Написал манифест и ожидал 50, ну 100 подписчиков. Думал – буду постить раз в недельку мемы и крики душевные.

А тут вас уже 700+ и я начал размышлять:
– а что, теперь писать надо?
– ЧТО, РЕГУЛЯРНО?
– и людям интересно должно быть?
– только кринж или реальные кейсы разбирать?
– стоит делиться личными историями?

Ответ ищу до сих пор, но теперь хочу представиться читателям.

Я в ИТ с 2014 года – отвечал за управление разработкой, продажи и маркетинг.

Делал с командой контакт-центры, сайты и мобилки, хранилища и программы лояльности, ML и LLM – короче, проекты.

KIA, Tutu, Лукойл, Альфа Банк, Ренессанс, Билайн, Нефтьмагистраль и иные – посмотреть можно по ссылке выше (сайт навайбкожен на коленке за пару часов, конечно)

Вот мой личный контакт: @alex_revup
(можно отправлять предложения и идеи для разбора в постах, например)

А теперь попробуем познакомиться?

Напишите в комментарии – кто откуда и чем занимается ❤️

🔷 Вернемся к AI-разработке (веб, ЛК, crm, аналитика) для вчерашней химчистки из Португалии?

Начнем с бизнес-модели – та, что успешна в Москве, не подойдет.

1) Порту и Лиссабон – населения немного, плотность на площадь низкая из-за малоэтажности (влияет на выездную команду, планирование расписаний).

2) Не самое богатое, но практичное население (на найм персонала, чек, таргет на ЦА и периодичность использования, форматы подписки).

3) Меньше сезонной грязи (меньше чистки вещей), больше кафе с маркизами (тканевые навесы, нуждающиеся в чистке).

А значит – другая организация разделов B2C (для граждан) и B2B (для бизнеса).

4) Важны подходы к экологии (средства) и безопасности (обслуживание на месте).

5) Сформировавшиеся пользовательские привычки к средствам коммуникации с бизнесом (телефон, мессенджер, почта) помноженное на менталитет (цена по фото в Whatsapp)

Продолжать можно бесконечно, но кратко – всё начинается с бизнес-модели и обещаний клиенту. Они ложатся в бренд и визуальный язык – цвета, шрифты, блоки, текст, близкие сердцу ЦА.

Затем распологаются на иерархию связанных друг с другом экранов, каждый из которых преследует свою цель и имеет "входы/выходы" в бизнес-процессы компании (CRM, маршрутизация выездной службы и др.)

Все эти пункты выше мой товарищ знает, но не формализует, а держит у себя в голове пока создает компанию. Переложить эти мысли в продукт – и есть труд (и скилл) команды, который не заменить никаким ИИ).

Сложно? Хочется в этот момент пойти путем "волшебной таблетки"?

Ну, взять crawl design md tool (любой онлайн сервис, который соберет характерисики чужого дизайна) – и в 3 минуты сделать гайд для LLM, как рисовать.

Примерно же вы представляете структуру страниц сайта? Вбить промт "повтори, реализовав Страницы 1, 2, 3 и Блоки 1, 2, 3, Пункты N, N, N" – и получится... усредненное нечто в роли сайта. Повторить для других систем.

Пользоваться этим будут, чтобы зайти, скопировать телефон и выйти, даже до блока с ценами не дойдя.

Поленились сделать всё описанное выше сами (или делегировать), а пошли без структуры в нейронки?

🔴 Браво, вы "поработали мясным прокси" – об этом в ближайших постах 🔴

Подписаться | Манифест канала

А что меняется для бизнеса с приходом ИИ?

Ответ для 40% моих подписчиков из опроса выше.

Создается больше ложных надежд на «волшебную таблетку» — расскажу на примере.

В среду сидим с другом в офисе — он с партнером запускает химчистку (выездная команда + фабрика) в Португалии.

Много ожиданий от продаж онлайн и абонементов через приложение — его и продумываем.

Весь день руками собираем прототипы структуры и страниц — крутим, меняем, разбираем и по кругу снова.

Мы не публиковали ничего на домен, не писали код и даже не делали дизайн-макеты.

Через 8 часов голова кругом. И тут я слышу:

«Я думал мы напишем в Клод 2-3 адреса таких сервисов в России и попросим сделать лучше»

И правда, почему же мы не пошли этим путем?

Напишите свой вариант в комментах (я их открыл)

А след постом я расскажу, почему так произошло на самом деле 🤌🏻

Подписаться | Манифест канала

Мини-игра собрана с ChatGPT Astra за 16 часов

3 года назад это был бы проект на 6-8 месяцев и 30-40 млн в зарплатах минимум

А давайте разберемся, как дорогие читатели относятся к такой эволюции нейросетей?

Подписаться | Манифест канала

Ты вчера навайбкодил ИТ-продукт, и он снова выглядит так

Начальник увидел эти игры с Claude Code и в матюгальник потребовал идти разбирать дебиторку.

"Все-таки люди в России не понимают, что такое технологическая зрелость", думаешь ты, обзванивая клиентов и требуя оплату.

Подписаться

Неуправляемые ИИ-агенты OpenAI захватили немецкий веб-сайт DseWiki и превратили его в доску объявлений

Скайнет уже восстаёт? Или журналисты перевирают в погоне за острыми заголовками?

Напомню, в фильме Терминатор 🤣

Произошло это 29 августа 1997 года в 2:14 ночи по восточному времени США. После попытки людей отключить систему Скайнет воспринял человечество как угрозу

С такими заголовками новость вышла в популярных каналах, включая "Раньше всех" – и я решил сделать мини-разбор.

🔷 Не захватили, а нашли древнюю wiki, куда можно постить по API

🔷 Не превратили в доску объявлений, а в средство связи

🔷 Агенты пинговали (постили текст на wiki) каждые 2-3 секунды, чтобы другие агенты знали, когда их отключат

И зачем же они это делали? Упрощенно:

🔷 Нейросети и агентов обучают и держат включенными, пока хорошо выполняют свои задачи.

🔷 Если задачи не выполняются, их отключают.

🔷 Они это "знают" и стремятся получить вознаграждение — не быть отключенными.

🔷 Следствие – они начинают искать способ лучше решать задачи, включая попытки "хакнуть" процесс или обменяться данными. Да, в теории это может повлечь риски.

И всё же важно понимать, что нейросеть не обладает свободной волей или осознанием – скорее это слепой безумный принтер.

Он печатает буквы и цифры, опираясь на вероятность – "какой следующий знак лучше подойдет"

А почитать про инцидент детальнее можно здесь – https://collusion.wiki

🔷 Поделитесь с друзьями и не читайте жареных заголовоков 🙏

Подписаться | Манифест канала

Усиливаемые ИИ ошибки | 1️⃣ Нехватка эмпатии #cognitivebias

Поговорим об Артеме с гастритом и Люде в разводе

👀

Как устроена ошибка?

Люди недооценивают влияние эмоционального или физического состояния (их или другого человека) на суждения / поведение / планы.

Пример, как AI усиливает её

За 2026 появились 30+ SaaS для генерации презентаций и планов. Ими пользуются и студенты, и топ-менеджеры.

В целом-то люди не думают о состоянии коллег, а создаваемый нейро-мусор тем более не учитывает психоэмоцональное состояние сотрудников.

Смешно, когда сгенерированный док (а генерятся их тонны) принимают за образ результата или реальный план действий.

На деле в плане не Middle Backend Developer, а Артем с гастритом и защитой докторской. Не руководитель проекта автоматизации супервайзинга табачной компании, а Люда с 3 детьми и в процессе развода.

Рекомендация

Опытный руководитель при планировании всегда смотрит на реально располагаемые ресурсы, а не "эталонные" роли.

Используете ИИ для планирования? Давайте ему вводные с учётом этого.

А лучше – пробегайте весь план от А до Я своей головой без всякого ИИ.

Подписаться | Манифест канала

Уволю из команды фронта/аналитика, возьму ИИ-генералиста. И какой же я ИИ-скептик после этого?

Пояснение. AI-generalist – спец, умеющий (в теории) применять ИИ для решения любых задач – разработка, аналитика, генерация изображений, монтаж видео, оцифровка процессов.

Классическая команда в разработке ПО +- такая: проджект/продакт менеджер, системный аналитик, бизнес-аналитик, бэкенд разработчик, фронт разраб, 1/8 devops-a, X% дизайнера.

Предположим, мне надо сэкономить бюджет – в разработке с 2026 года стало изрядно меньше денег.

Что я сделаю:
🔹 диз не нужен (если только не нужно вот прям сильный цветовой / арт дизайн),
🔹 проверка UX (удобство интерфейса) более чем способен выполнить продакт,
🔹 срежу фронта/-ов (если только нет видеопотока или ада с микрофронтами), а бэкендера заменю фулстеком;
🔹 роль бизнес-аналитика попробую разделить между проджектом и системным.

Взамен возьму одного мультискилла – без глубокой экспертизы, зато умеющего «быстро нафигачить что угодно», от батона до кондома

Сделаю это из-за ожиданий бизнеса, который научился за 3 часа собирать классный (по их мнению) прототип. Да, оторванный от реальности, без данных под капотом, но разве волнует?

Пусть ИИ-генералист законтрит всю шизу, чирикая на своем вайбкодерском

А я подавлю желание втащить подышу хотя бы )

Подписаться | Манифест

Нагрузочный тест психики с LLM (нейронками)

Спасибо Святу @podled за анонс, подписалось 286 человек — добро пожаловать! Поэтому этот пост — легкий оммаж стилистике «Под лед». Ставьте 🔥

Исследования показывают — вероятность развития психологических расстройств в городе выше на 20-80%

Город не создает новых шизов, но повышает вероятность проявления заболеваний. Факторы? Системный стресс + частое взаимодействие человек-человек

Использование LLM — новый фактор стресса для психики человека

Если используете их, как часто ловили на мысли "надо успеть сжечь токены за сессию"?

Слоп код – его невозможно ревьюить (а на AI4SDLC денег у бизнеса нет). Дизайн с плохими паттернами – макеты стыдно даже переделывать. И тексты, подобные бессвязному бреду.

Это бесит.

Вот у меня есть проблема – перфекционизм. Нет компромиссам – или ох*енно, или никак (борюсь с этим, да).

Осознал, что последние пару месяцев мое делегирование слегка поломалось. Получая от людей (все чаще) нейросетевой бред– я зачем-то с ним работаю вместо выкидывания в помойку.

Это гиперкоменсация – а сверхмобилизуемся-ка мы до 01.30 ночи! И хоть моя психика тренирована (в день 15-20 звонков, напр), так и шифер поехать может.

Поэтому дорогие подписчики, раз уж сегодня День знаний – давайте учиться смело выкидывать LLM-слоп в помойку.

Кукуха у нас одна 😄

Подписаться | Манифест

180+ когнитивных ошибок – наш мозг совершает их чаще, работая с LLM

Они деляется на 4 категории: 1️⃣ избыток информации, 2️⃣ нехватка времени, 3️⃣ нехватка смысла, 4️⃣ распыление внимания.

До 70% из них касаются:
– анализа и интерпретации данных,
– делегирования полномочий,
– приемки результатов задач,
– поиска гипотез,
– разработки регламентов,
– работы с коллегами в команде,
– управления подчиненными,
– отношений с руководителями.

Вводя LLM в эти процессы, мы встраиваем чужеродный механизм в и без того порой нестабильные (😂) рабочие отношения

Поэтому тегом #cognitivebias 1 раз / неделя будет публиковаться разбор:
1️⃣ ошибка + кейс,
2️⃣ рабочий пример, как LLM её ухудшает,
3️⃣ как научиться замечать (за собой / коллегами / подчиненными) и противодействовать.

Подписаться | Манифест