Dreams and Robots

Я навайбкодил скрипт, который добавляет на страницу просмотра Youtube викторину по содержанию видео с использованием того самого встроенного в Chrome Gemini Nano!

Работает он через расширение TamperMonkey. Скрипт читает расшифровку видео, а Gemini ужимает её и создает проверочные вопросы. Ответы на вопросы открытого типа, где нужно записать их в поле ввода, также проверяются Gemini.

Создание вопросов проходит в фоне, так что вы можете продолжать смотреть видео. В зависимости от хронометража на генерацию может уйти до нескольких минут.

В целом работает на удивление неплохо, хотя Нано иногда тупит, особенно если были проблемы распознавания речи.

Если хотите попробовать, то вот ссылка на GitHub. Там есть подробная инструкция по установке, а также русская и английская версии.
https://github.com/stassius/YoutubeVideoQuiz

И да, хотя изначально промпт написан под лекции и образовательные ролики, скрипт может работать с любым видео, где есть автоматически созданные субтитры.

#education #gemini #script

GPT Astra, SideFX Houdini, 40 минут времени и 25 процентов недельного лимита на тарифе Plus. Задал один промпт, добавил рефы - получил готовый проект на выходе.

Я здесь не делал ничего, только нажал на кнопку Render to Disk, ну и добавил музыку из Suno с эффектами.

Для тех, кто не понял, о чём речь: это не генерация видео. Это создание полноценной сцены в 3D-пакете, с продуманным дизайном, абстрактными объектами, настроенным светом, материалами, анимацией и параметрами рендера.

Я сдвигаю стрелку на шкале "ЗАТО" в положение "зато он хреново работает с камерой".

Binary solo.

#chatgpt #astra #анимация

Итак. Astra Very High, SideFX Houdini и немного свободного времени.

Честно скажу, изначально делал тест, чтобы убедиться, что Гудини-артистам бояться нечего. Хотелось посмеяться над потугами нейросети в нашей любимой программе.

Кодекс отработал через Python Shell, безо всяких визуальных эффектов - вызывал консоль и вставлял в нее команды. Сначала он создал сцену, проверил её, сделал рендер, нашёл ошибку, исправил, потом ещё раз проверил, экспортировал FBX и шейдер для Юнити (хотя я не просил).

Через 40 минут я вернулся к компьютеру и... Ну, скажем так, посмеяться не удалось.

Да, в сцене много спорного. Он практически везде использовал Python вместо обычных нод - и простое обновление параметров приводит к зависанию на 5 секунд, что много для такой простой модели. Да, для игры меш тяжеловат и требует оптимизации...

Но ведь получилось! Модель выглядит хорошо, риг адекватный, Кодекс даже написал свою реализацию Fabrik на Python для инверсной кинематики и сделал анимацию!

Вторым проходом я попросил оптимизировать ассет, и он спокойно переписал всё на Вексе, ускорив генерацию до почти комфортного уровня.

Что ещё сказать, даже не знаю. Пойду на балкон, посмотрю на небо.

#chatgpt #openai #astra

А вы знали, что Chrome на десктопах автоматически устанавливает локальную LLM Gemini Nano? Она занимает 4 гигабайта - но скачивается только если на диске свободно хотя бы 22 гига.

В зависимости от системы она может запускаться на процессоре или на видеокарте. С ней можно пообщаться через расширения типа Page Assist.

Интересно, что доступ к модели есть у любой страницы. На бумаге идея хорошая - вы можете сделать веб-приложение, которое предлагает пользователю бесплатные ИИ-фишки, не тратя деньги на сторонние API.

На практике реализация странная. Нет никаких "разрешений для сайта", как в случае с доступом к микрофону или камере. Вам нужно один раз дать общее разрешение, и модель становится доступна глобально. Это значит, что любой сайт, который открыт среди десятка ваших вкладок, может простым JS-кодом делать инференс на вашем компьютере без вашего ведома.

Я провел тесты, где html-страница в бесконечном цикле задавала модели вопросы. Одна вкладка съела 85 процентов карты 4090.

Помимо этого модель добавляет себя к fingerprint вашего браузера - как еще один косвенный признак, по которому можно выделить именно ваш ПК. JS уже знает какие у вас установлены шрифты, языки, расширения, оборудование и так далее - а теперь еще и параметры LLM.

Отключить это дело можно вот тут:

chrome://settings/system

Пункт настроек называется "ИИ на устройстве" или "On-device AI". Помимо очевидного буста безопасности это освободит около 5 гигабайт на системном диске.

#безопасность

Сделал тут музыкальное видео вам на потеху.

https://youtu.be/frazbclSzyc

Вайб-кодеры есть?

Мне тут пришла мысль, что если ты умеешь грамотно проектировать архитектуру приложения, то можешь неплохо экономить деньги.

Начиная с банальных принципов SOLID, потом всякие там MV*-архитектуры и паттерны проектирования - всё то, что взрослые программисты обычно используют для поддерживаемости и расширяемости кода, - оказывается даёт выгоду с неожиданной, чисто финансовой, стороны.

Когда у тебя в проекте вместо монолитных классов есть множество мелких слабосвязанных модулей с разделенной ответственностью, то и правки вносить становится легко и дешево. Вашей любимой нейросети не нужно держать в памяти гигантский контекст всех связей - ей достаточно крохотного интерфейса - а значит и токенов тратится гораздо меньше.

Хорошая архитектура делает вайб-кодинг дешевле!

Так что учиться, учиться и ещё раз учиться! Принципы SOLID, использование интерфейсов, composition over inheritance, mv-архитектура, паттерны проектирования - всё это нужно знать не ради академической красоты кода, а ради вашего же кошелька.

КДПВ: Барбара Лисков придумывает букву L.

#programming #llm

Если вы пользуетесь Обсидианом и Кодексом, то ловите лайфхак. Можно открыть папку документов Обсидиана прямо в Кодексе (например через VS Code с расширением) и безо всяких агентов и оплаты за токены работать с документами.

Кодекс отлично понимает MarkDown, он правильно форматирует текст, ставит кросс-ссылки и даже рисует схемы в Mermaid.

Можно редактировать, добавлять ссылки и хэштеги, можно менять структуру проекта - переименовывать и переносить файлы, создавать новые. Ну и, наконец, просто писать тексты, разбитые по главам.

Я, например, подсел на такое: прошу Кодекс создать мне в папке Обсидиана курс по теме, которую хочу изучить. Он формулирует тематический план, а потом глава за главой генерирует необходимые документы. Это гораздо удобнее, чем общаться в чате.

#chatgpt #codex #obsidian

В 2019 году, до всех этих ваших нейросетей, Сергей Кулинкович, арт-директор студии Лебедева, выдал на бизнес-линче вот такую базу.

У нас есть Suno дома.
Suno дома: ...
Хм, действительно, есть.

Тестирую новую китайскую модель HeartMuLa для генерации песен, и она иногда выдаёт достойные результаты.

Плюсы:
- Open-source (а значит скоро будут и Лоры и всё остальное).
- Уже есть нода для Комфи.
- Неплохо генерирует голос и мелодию.
- Мультиязычная, знает русский.
- Никаких фильтров на текст.

Минусы:
- Небольшой датасет с ограниченным числом жанров.
- Модель плохо слушается промптов, часто выдавая что-то своё - чаще всего поп-музыку.
- Однообразные голоса, иногда фальшивят.
- Качество звучания инструментов пластиковое.
- Инструментала нет, только песни с текстом.

У меня на 4090 генерация двухминутной песни занимает 6-8 минут (это какая-то локальная проблема, должно быть быстрее).

Для Linux-господ есть PR 64, который в два раза ускоряет инференс. С бубном и божьей помощью мне удалось запустить его на винде, установив triton-windows.

Если памяти мало, можно включить Lazy Load - говорят тогда влезает в 16 гигабайт.

Модель пока юная, ей всего десять дней - значит допилят до нормального состояния, если Warner Brosers не пошлют своих киллеров в Китай. Ещё авторы планируют выпустить версию 7b, что в теории улучшит качество.

Вот вам ссылка, музицируйте:
https://github.com/HeartMuLa/heartlib

#suno #music #heartmula