Шортсы от NotebookLM и чтение мыслей

NotebookLM продолжает радовать новыми форматами, которые он может генерить. На этот раз короткие видео!

Схема обычная — загружаешь вообще любые источники (ссылку на сайт, текст, видео, аудио и тд). А на выход NotebookLM делает короткое видео вертикального формата.

Фича по генерации видосов была давно. Но в этот раз надо сказать, что гуглойды добились большого скачка в качестве получаемого видео 👍

К тому же оно стилизовано прямо таки под шортс — сразу с текстом, который дублирует озвучку, чтобы вы могли смотреть его без звука.

На русском работает плохо. Можно сказать не работает. Но на английском — пушка гонка.

Для примера я сгенерил шортс по недавнему анонсу от Меты, о котором тоже хочу рассказать — релиз модели Brain2Qwerty v2. На вход — просто ссылка на релиз. Через минут 10-15 шортс готов 📈

Думаю этим апдейтом Гугл грохнул пару десятков стартапов.

А теперь про Brain2Qwerty v2

Мета выкатила модельку, которая выглядит со стороны как «чтение мыслей» ☀️

«Выглядит», потому что на самом деле читаются не совсем сами мысли. В эксперименте, описанном Метой, добровольцы слышали предложение, а затем печатали его на клавиатуре, и вот в это время магнитоэнцефалограф (МЭГ) считывал магнитные сигналы мозга.

Когда человек печатает, мозг заранее готовит движения пальцев. Для разных клавиш возникают немного разные паттерны активности. Модель учится связывать эти паттерны с буквами.

Но сигналы мозга очень шумные. Поэтому Brain2Qwerty не пытается просто распознать каждую букву идеально. Архитектура работает в три уровня:

1. Сначала нейросеть смотрит на поток МЭГ-сигналов и делает черновик: какие буквы, вероятно, набирал человек.

2. Потом отдельный модуль группирует эти сигналы в слова — превращает шумные «нейро-буквы» в более осмысленные фрагменты.

3. Затем LLM восстанавливает целое предложение, используя и грубый текстовый черновик, и дополнительные «нейро-токены» из мозга. То есть языковая модель не просто автокорректит текст, а получает отдельный сигнал из мозга и учится использовать его.

Brain2Qwerty v2 обучали на 22 000 предложений от 9 участников. Каждый провёл около 10 часов в МЭГ-сканере. Средняя точность по словам достигла 61%, а у лучшего участника — 78%.

На практике, получается, модель училась читать мысленный сигнал, который формируется перед печатанием буквы, а не сами мысли. Но это фундамент, на котором можно строить дальше 👨‍🔬

Однако технология упирается в два барьера

Во-первых, сигнал очень уж шумный. И как раз поэтому все давно пытаются, но высокую точность никак не могут выбить. Мета верит, что можно решить это дальнейшим увеличением выборки для обучения и размером модели.

Во-вторых, сам прибор для МЭГ — здоровая фиговина. Такую не то что домой, даже не в каждую клинику поставишь. Прикладываю картинку из российского МЭГ центра МГППУ для понимания масштаба. Есть надежда, что прибор существенно уменьшится. Уже есть маленькие прототипы, но качество сигнала на них зачастую ниже.

Тем не менее, радует, что все таки идет работа в сторону «чтения мыслей» не только через импланты, как у Илона Маска. Я бы предпочел что-нибудь без дырки в черепе 😁

Заместители