Про сегодняшний AI момент: паникеры раскручивают пропаганду и это выливается в рост регуляций, а по факту хайп сдувается, может уже вступаем в AI-winter..

Пропаганда
- Тиктокера (см его фото) выгоняют из OpenAI и он (на спор, что ли?) пишет дикие агитки =) Прямо Геббельс: Цель использования метода большой лжи в пропаганде заключается в том, чтобы подорвать способность людей к критическому мышлению и склонить их к принятию ложных убеждений, что в итоге укрепляет наш контроль и влияние
- А Ник Бостром за 10 лет наоборот - разворот 180 градусов от страха AGI к utopia и abundance
- Схватки между EA (effective altruism) и e/acc (effective accelerationism) нас еще удивят )) Тк EA brainwashing разгоняется..

Технологии
- LLM, как Yann LeCun говорит, уже все что можно из текстовых знаний человечества вынули, метрики не растут и разница между разными компаниями ничтожна
- Карпаты на днях запилил GPT2 (124 млн параметров) на опенсорсных 15Тб данных и LLM стала (!) уровня GPT3 - потратил $20 на compute. Данные там - в среднем строки на 2 тыс символов
- В 2019 gpt2 стоила $50к - т.е. дешевле в 2500 раз. Что тренировка сеток станет commodity - Цукерберг говорил..
- Атомные технологии стоили $25 млрд в 1945-ом, сейчас все равно миллиарды $ - то есть всего в 5x дешевле за, кгхм, 80 лет
- Следим/читаем Yann LeCun, куда там могут копать в какие-то будущие прорывы.. В целом, reinforcement learning что-то должен дать судя по AlphaGo итп
- Мечты Альтмана, что миру нужны триллионы $ в compute и АЭС (верит в emergence феномены, как завещал Sutskever?) - сложно. В мире 25 тераватт/год электричества потребляют, рост 2x за 20 лет - в мире atoms not bits - сложно..

Бизнес
- Gartner еще летом на своей кривой AI хайпа помещали genAI на пик, этим летом понизят с пика )
- Google и FB могут спать спокойно - у нейронок нет такого конкурентного барьера как network effects, это действительно больше low level engineering innovation типа компов и смартфонов, как отмечал Цукерберг. А рэнкинги Гугла постоянно обновляются на real-time потоке куда и по каким запросам люди кликают - тут сетевой эффект супер силен
- Китай вложит $60 млрд в производство чипов в Китае. Возможно, отчасти связано с тем, что на случай захвата Тайваня в оборудование ASML (свертинтенсивный ультрафиолет для рисования микросхем) заложена возможность удаленного вывода из строя
- Дальше, скорее, вопросы освоения людьми на своих рабочих местах..
- Apple вроде выкатят LLM прямо на айфоне, без загрузки в облака. Когда шортить акции Nvidia - без понятия )

Лидеры
- Альтман уже постоянно не этичен (от Sutskever и отбирания опционов у увольняющихся сотрудников OpenAI и до воровства голоса Скарлет Йохансон пару недель назад) - долг копится и я думаю он скоро огребет от реальности..
- Интересно, что будет пилить Sutskever? )

Регуляторы
- Лоббисты, похоже, соберут максимально денег с бигтехов (тот обсуждаемый сейчас в Калифорнии заход на ограничение больших моделей как ядерное оружие) за НЕ запрет в итоге ))
- Цукерберг топчик с Llama - open source в масштабах планеты делают технологию распределенной, крч это мягко говоря это не атомные технологии
- С учетом, что выше про Карпаты - ну ОК: запретят - будут тренить нелегально )

Психология
- Вместо AGI нас ждет какая-то новая виральная и раскручиваемая страшилка конца света - западу всегда нужно дыхание апокалипсиса )) Что станет следующим?
- В Китае 87% населения оптимистичны про AI, на Западе 35% - это культурные корни.. А на Востоке колесу Сансары пару тысяч лет - в корейских сериалах вместо западных концов света - всюду идея перерождения: Королева Чхорин, Легенда синего моря, История девятихвостого лиса итд итп
- Любые страхи всегда нужно нести в личную психотерапию, а иначе, не понимая почему, так и будем триггериться супер-тревожными людьми типа Jaan Tallinn (знаком с ним, он чет совсем ушел в панику) итп. Да нет, это всего лишь их личные непроработанные тревоги, но с медиа-усилением - мы получаем регуляторные перегибы ((