Big Ledovsky | AI изнутри

Видео про продуктивность (которое не вызовет у вас тревожность)

Как большой фанат самокатов, хотел сперва зарепостить Собчак про то, как Госдума рассматривает ограничение скорости до 15 км/ч, фактически сделав их бесполезными.

Но, надеюсь, этого не произойдёт, а я лучше расскажу вам про это видео. Мне понравился ролик, где парень творческого склада характера пробует утренний режим Эндрю Хубермана

В течении 30 дней ему пришлось вставать в 6-30, мыться под холодным душем и делать прочие вещи, которые для него были сущим мучением.

Он выдержал, а вот помогло ли ему это и какие оказались его впечатления можете посмотреть сами 🙂

PS. Извините, что делюсь англоязычными видео. Русскоязычные вам посоветуют и без меня)

#productivity

https://youtu.be/roK4g1e28mM?si=kxUFQfV9TgNJTygP

Традиционно в октябре мы смотрим номерной UFC в Абу Даби 🔥

#lifestyle

Смотрите какая картина теперь у меня дома! Это подарок от моих друзей с работы. А история ее появления интересная)

Был внутренний Авитовский хакатон и мои друзья разрабатывали алгоритмы поиска по картинкам. А я ходил и жаловался что не могу подобрать себе домой картину 😅

Меня взяли в качестве юзер кейса. Набрали с меня ассоциаций, что мне вообще нравится и тестили на этом нейросеть. В итоге нашелся топ, включая этого Бо Джека, который мне особенно понравился.

И вот вчера вечером неожиданно обнаружил его у себя на столе) было очень приятно ❤️

#lifestyle #worklife

Новость про Артемия Лебедева

Артемий Лебедев стал директором по дизайну VK ВКонтакте. Это конечно PR ход и делать он там ничего не будет. Максимум пару раз придет прочитает лекции.

В Сбере я несколько раз видел, когда на топ позиции приглашали известных людей парттайм.

Например, на должность руководителя лаборатории нейронаук пригласили Курпатова, у которого есть действующий собственный бизнес. А году в 2018 директором по науке был один известный преподаватель по ML, у которого была своя активная научная группа в МГУ и несколько потоков студентов.

Совмещать такие работы невозможно. На позиции топ менеджера нужно выкладываться так, что больше ни на что времени не останется. А подобные назначения нужны для создания HR бренда.

Теперь люди будут приходить на собесы и спрашивать:

- Это у вас Артемий Лебедев работает?
- У нас!!
- Круто!

Почему вы спросите не пойти тогда дизайнером в Студию Лебедева? Потому что у Лебедева говорят нужно вкалывать. А в VK кажется не обязательно.

Дисклеймер. Конечно, где-то в VK тоже вкалывать придется( но тут как повезет

Новая техническая статья на Хабре

А я тем временем выпустил очередную техническую статью про PySpark в блоге Авито, которая будет интересна аналитикам, которые работают с большими данными. В этот раз учимся читать план запроса, чтобы делать свои вычисления эффективнее

https://habr.com/ru/companies/avito/articles/764996/

#tech

Big Ledovsky | AI изнутри pinned «Фридман x Цукерберг. И про мое восприятие технологического роста Кто не знает, Лекс Фридман - это американский Дудь, ведущий популярного подкаста. Однако он является AI исследователем и среди его гостей преобладают выдающиеся технологические предприниматели…»

Фридман x Цукерберг. И про мое восприятие технологического роста

Кто не знает, Лекс Фридман - это американский Дудь, ведущий популярного подкаста. Однако он является AI исследователем и среди его гостей преобладают выдающиеся технологические предприниматели, ученые и другие интеллектуалы

Последний выпуск с Цукербергом прошел в VR шлемах. У меты получилось сделать фотореалистичные 3д модели. То, что хочет создать Марк - это смешанная реальность. Когда на конференции часть людей сидит вживую, а часть в виде голограмм. Или когда у вас не окон, но они создаются vr очками. В общем, очень интересный выпуск, советую посмотреть.

Я тем временем осознаю, что ошибался в скорости прогресса в машинном обучении и смежных технологиях. В 2018 году, когда я учился в ШАДе, я не ожидал такого быстрого прогресса в текстовых нейросетях и такого быстрого внедрения алгоритмов компьютерного зрения.

Зная принципы работы рекуррентный нейронных сетей, я не верил в то, что им удастся настолько эффективно работать. Ведь они просто выдают статистически подходящие слова, не понимая никакого смысла. Тем не менее появившийся в то время аттеншн координально улучшил перформанс существовавших алгоритмов, а увеличение мощностей позволило обучать огромные end-to-end модели, которым можно подать на вход буквально любую задачу.

С другой стороны, машинное обучение стало действительно сложным. И если когда я начинал им заниматься, было относительно несложно разобраться во всех основных алгоритмах, то теперь это не так. Машинным обучением занимаются сотни тысяч людей, и каждое направление стало отдельной областью. И возможно скоро специалисты машинного обучения из разных направлений перестанут друг друга понимать, как это произошло в математике.

Сейчас я вижу своей задачей, как прикладного инженера, уметь использовать существующие модели как чёрный ящик, дообучать их под свои задачи и строить готовые решения. Но находиться в мете становится все сложнее и сложнее.

Креативщикам респект 🔥 посмеялся от души 😂

Локация: по дороге от Филей к офису Сбера

Ps. Что получить промокод нужно запустить код на питоне)
Pps. Главное чтобы не под рутом запускали, а то будет как в меме про перловский однострочник

#memes

Интервью Дарона Аджемоглу

Когда-то в этом канале я рекомендовал Гришу Мастридера, но честно говоря моя любовь к нему как-то угасла. Во многом потому что он начал заниматься инфобизнесом

Но за последнее время он выпустил пару интересных интервью. Одно с Даниилом Дубовым (топовым шахматистом). А вот теперь с автором книги Почему одни страны богатые, а другие бедные, Дароном Аджемоглу.

Книгу мне советовал Жора Таранов и на меня она произвела яркое впечатление. В общем, кто читал, да и все остальные думаю тоже, с удовольствием послушают интервью с этим очень интересным человеком

https://youtu.be/HNdUxFIIhwo?si=vPEN1TXgkU2iuvAt

Прорывы в нейронауках

Помимо основной работы я немного занимаюсь машинным обучением в нейронауках.

Сегодня хочу рассказать про исследование, которое в августе вышло в Nature, и которое меня поразило.

https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1.full

С помощью имплантированых в кору микроэлектродов (так называемая electocorticography, ECoG) удалось достичь распознавания речи на достаточном для повседневной жизни уровне. Такой имплант может вернуть речь людям, которые в силу заболеваний утратили возможность говорить.

Как работает такой имплант. Исследование проводилось на одном пациенте, 67-летней женщине с амиотрофическмм склерозом, которая в течении нескольких дней «записывала» заданные экспериментаторами предложения. На сигналах с 64 электродов обучали рекуррентную нейронную сеть на предсказание фонем. Модель выдавала вероятность фонем для каждого момента времени (с окном 80мс). Далее эти вероятности уточнялись с помощью языковой модели (т.е. модель, которая содержит вероятности какие фонемы после каких обычно идут)

В результате удалось получить распознавание речи в реальном времени с ошибкой в 21% на большом корпусе слов и 9% на 50 основных словах и скоростью распознавания более 60 слов в минуту.

Это феноменальный результат. Да, по сути нейросеть нужно обучать на каждом отдельном пациенте и это требует с его стороны немалых усилий. Но результат позволяет вернуть человеку речь.

Насколько я читал, имплант BrainGate2, используемый в данном исследовании, может устанавливаться на 10 лет.

#tech

А вот кстати видео моего доклада

#tech

Practical ML - впечатления

Конфа была замечательная. Почитал телеграмы людей - всем тоже зашло. Если слушали мой доклад про рекламные аукционы, надеюсь вам понравилось 🙂

Сам я, признаться, не послушал вообще ни одного доклада. Нетворкинг бесценен, а доклады можно и в записи посмотреть. Поэтому все время провел на кофепоинте (и к своему выступлению в 17-40 порядком устал)

Что можно отметить

Во-первых, высокое качество докладов и докладчиков. Был отбор докладов программным комитетом и предварительные прогоны

Во-вторых, организация. Красивая площадка, профессиональная съемочная команда. Меня даже красил визажист 😅

Масштаб, конечно, меньше, чем датафесты и ai journey в лучшие годы. Но тут неправильно сравнивать. На конфе как будто не было случайных людей, участников явно фильтровали

А может дело в том, что названии конфы были буквы ML, а не AI 😄

#worklife

Подкаст после работы - обновления

Вышел второй выпуск Подкаста После Работы с замечательной Аней Бочкановой. Он получился интересным. Немного про работу, немного про жизнь.

На данный момент мы решили поставить выпуск на паузу, по крайней мере в таком формате, подкаст перейдет в руки Дани. Я очень рад тому, что мы по сути выпустили полноценный сезон годного контента. Даня, Макс, вы офигенные напарники, затащили огромный объем работы! 💪

Уверен, что через какое-то время вернусь к подкастингу и выпущу что-нибудь новое

Это удивительно или лучшая социальная сеть 2023

Самой для меня ценной социально сетью (после, конечно, телеграма 😄 ) стал Linkedin. Это произошло неожиданно, потому что раньше Linkedin содержал разный информационный мусор.

Раньше его основная функция была содержать сеть деловых контактов, а также хвастаться повышениями знакомым. Но теперь Linkedin еще можно читать

Вот мои последние находки

- Видео, как в моем родном университете сделали беспилотный болид
- Трендовые статьи по по машинному обучению для электроэнцефалографии (это область моей научной работы)
- Выяснил, что на Linkedin активно пишет Lex Fridman (один из людей, которых я могу назвать своим кумиром)

Вообще в линкедине люди ведут качественные микроблоги. Например, там есть блог для начинающих аналитиков у моего друга Паши Бухтика (хотя вы возможно читаете его тг https://t.me/nodatanogrowth)

А вот еще история. Зашел в тред, в котором участвовал мой дальний знакомый. Один staff (это должность выше синьора) инженер из гугла написал, что индексы postgres не подходят для работы с большими датасетами. В комментарии набежали еще более опытные инженеры (в том числе CTO или что-то вроде того из PayPal) и начали накидывать, что в индексах вообще-то хранят только ссылку на данные. Слово за слово, в общем началась жара.

Где такому еще будешь свидетелем?

#trends

ps. Мой профиль https://www.linkedin.com/in/ledovsky/

Приложение для заметок, которое вас удивит

Я тут подсел на новый инструмент для ведения заметок - logseq

Заметки я веду очень давно, с 2010 года. Первой моей программой был Evernote. Со временем я использовал самые разные инструменты и последние несколько лет сижу на Notion.

Notion сперва отталкивал своей сложностью, но в какой-то момент он стал превосходить все остальные инструменты. И удобный интерфейс, и возможность делать мои любимые древовидные иерархии страниц, как в confluence, и поделиться с другими можно в один клик

Logseq на самом деле не замена Notion. Он закрывает совсем другую задачу. Notion хорошо подходит, чтобы структурировать информацию. Logseq нужен для заметок в потоке. Как это работает

Каждый день у вас есть bullet-лист для заметок. Вы в нем свободно пишете, попутно ставя теги. Теги превращаются в самостоятельные страницы, на которых можно писать, а также там есть все кусочки текста, в которых они упоминаются.

Таким нехитрым образом получается граф заметок. Подход logseq естественно подходит для записывания мыслей. Раньше в Notion у меня была заметка под названием черновик, которую периодически приходилось разбирать. Logseq делает процесс записи мыслей

Кому интересно, посмотрите вот это видео

#productivity

7 сентября буду выступать на PracticalML Conf. Кажется будет хорошая конфа, приходите! (офлайн или онлайн)

https://pmlconf.yandex.ru/