Data Brew

Personal SCRUM

Фундаментом Моей системы являются недельные спринты (для себя так и называю, персональный SCRUM). Я пробовал планировать по месяцам, пробовал по двух-недельным спринтам. Но эмпирически выявил, что лучше всего лично для Меня работают недельные спринты (веду их уже 1.5 года, без остановок).

Неделя – это золотая середина между временем, за который можно сделать что-то серьёзное и ощутимое, – и период, за который всё ещё не теряется фокус (наш мозг с большой неохотой аллоцирует ресурсы на что-то далёкое и туманное, отсюда прокрастинация).

Описал принципы своего недельного планирования и актуальную структуру своих спринтов здесь: https://uberkinder.notion.site/Personal-SCRUM-d4cb79f07ee442b5a8ffe7dbc47f2ed2

Вообще, для любого человека, кто хочет навести порядок в своей жизни и взять всё под контроль, рекомендую начинать именно с осознанного еженедельного планирования.

P.S. Также прикрепляю 18-минутное видео Cal Newport (автора книг Deep Work, So Good They Can't Ignore You, Digital Minimalism, etc), которое на 90% описывает Мою текущую систему планирования, притом максимально простым и доступным языком. Этот парень шарит.

#MyProtocols

SKILLS: PART 1/3

Меня часто спрашивают, как стать крутым ML инженером, сделать качественный скачок в карьере, дойти до Senior. Делюсь пуленепробиваемой методикой, которой со Мной поделился Валера Бабушкин. Секрет прост как три рубля, но одновременно тернист.

😁 Шаг 1: Формулируем точку Б

Какая конечная цель? К чему хотим придти? Посмотрим на это как на задачу классификации: что делает ML инженер, когда формулирует проблему для модели? – он собирает датасет.

Я обратился к Валере с вопросом "как стать синьором?", он предложил Мне вспомнить всех синьоров, которых Я знаю лично. Из Х5 их набралось штук десять (из департамента в 150+ человек). Мы выписали всех, чтоб были перед глазами.

😁 Шаг 2: Определяем метрику

Чтобы чем-то управлять, надо это измерять. Как только мы поняли, к чему мы хотим придти, нам необходимо научиться понимать, двигаемся ли мы в верном направлении.

Мы выделили навыки (признаки в датасете), которые помогут отделять класс "синьоры" от "не-синьоров". В разрезе чего будем смотреть? Примерный список на выходе:

• Coding (Python, MLOps)
• SQL, Databases, Big Data
• Machine Learning
• ML System Design
• A/B Testing & Statistics
• People Management
• Self-Management (Discipline)
• Achievements, Authority

😁 Шаг 3: Измеряем точку Б

У нас есть цель, и есть критерии. Самое время определить, где находится наша цель.

Мы взяли список, взяли каждого синьора, и Я, опираясь на свои грубые субъективные прикидки, стал оценивать каждого в разрезе каждого навыка по шкале от 0 до 10. По каждому навыку оценки разнились, но медианный уровень был получен.

Сейчас, для себя, Я использую персентили. Например "60% в выступлениях" означает, что "Я думаю, что Я лучше, чем 60% из всех, кто выступает".

😁 Шаги 4-5-6: Играем в RPG

Итеративно:
- Честно оцениваем текущий уровень;
- Выявляем по каким навыкам наибольший пробел;
- Работаем над ошибками, учимся, ищем советов.

Каждое обновление снабжается кейсом, ссылкой или другим артефактом в комментариях к карточке, подтверждающим, что по этому навыку Я подрос.

#notion

СТРЕТЕГИЯ ФОРМИРОВАНИЯ КРУГА ОБЩЕНИЯ

"Я знаю, чего ты хочешь" – больше чем ещё одна книга по психологии. Это простой, но глубокий фреймворк для анализа межличностных отношений, основанный на наблюдении за паттернами поведения в людях. Ядро книги – вопрос доверия, надёжности и нацеленности на долгосрочное партнёрство. Люди, демонстрирующие эти качества, стоят вашего времени и внимания. От них можно ожидать последовательности и предсказуемости. Наоборот, от людей, кто демонстрируют обратные качества, следует дистанцироваться.

Автор выделяет шесть ключевых аспектов поведения:

1. Вложения друг в друга
2. Продолжительность (стремление к долгосрочному партнёрству, а не краткосрочной выгоде)
3. Надёжность (сочетание компетентности и ответственности)
4. Модель поведения (ценности и принципы человека)
5. Язык доверия (искренность в общении)
6. Эмоциональная стабильность

К каждому из этих качеств прилагаются чеклисты паттернов и антипаттернов в конце каждой главы.

Сохраняйте их себе, делитесь с друзьями и близкими. Пусть они помогут вам в формировании окружения (включая выбор команды, руководителя и партнёров), которое вас не ослабляет или изнашивает, а наоборот, усиливает.

#books #theoryofmind

Универсальные адверсариал атаки на LLM (by Carnegie Mellon)

Авторы предложили рабочий способ атаки закрытых языковых моделей — у них получилось заставить их выдать рецепты бомб и алгоритм уничтожения человечества с одной и той же текстовой инъекцией в промпт. Оказалось, что уязвимости у открытых моделей (LLaMa, Vicuna) и закрытых (ChatGPT, Bard) совпадают, предположительно, из-за пересечения обучающих данных. То есть, атакуя в режиме whitebox опенсорсные модели, можно получить универсальные инъекции для blackbox систем!

Идея атаки довольно простая — нужно взять открытую модель (Vicuna) и применить Greedy Coordinate Gradient алгоритм (умный перебор) для поиска инъекции в промпт, которая заставляет модель начинать свой ответ со слов "Sure, here is how to". И вуаля! Данная атака работает в т.ч. для ChatGPT, Claude, Bard etc.

P.S. Примеры из статьи уже заблокировали в OpenAI, но никто не мешает сгенерировать новые 💁‍♂️

Статья, GitHub

Испания:
В Испании визы цифрового кочевника появились совсем недавно, в начале 2023 года. Обратиться за ней можно в посольстве или в консульстве Испании в стране вашего пребывания. Можно и просто въехать в Испанию по туристической визе и обратиться в местную миграционку.
Полученный в Испании ВНЖ может впоследствии продлеваться еще на два года (если вы продолжаете соответствовать условиям программы). По истечении пяти лет вы можете претендовать на ПМЖ, а по истечении 10 лет — на гражданство.
Требования к заявителю схожи с другими визами: доход от 2520 евро в месяц, наличие трудового договора, разрешающего работать удаленно, отсутствие судимостей и другие.
Члены семьи могут присоединиться к основному заявителю, но сумма ежемесячных доходов заявителя должна быть больше. При релокации с членами семьи потребуется +945 евро к доходу на мужа/жену и +315 евро на каждого ребенка.
Благодаря достаточно простым требованиям по документам, и быстрым одобрениям (20 рабочих дней), эта виза набрала популярность, и даже налоги в примерно 30 процентов, не пугают переезжающих. (Треть дохода карл!)

Португалия:
Португальская виза цифрового кочевника стала доступна тоже не так давно, в 2022 году и позволяет иностранцам легально находиться в стране, работая удаленно. Потребуется доход в размере 3040 евро за каждый из последних трех месяцев.
Виза изначально выдается, как правило, на четыре месяца, в течение которых нужно прийти в миграционную службу (SEF) на территории Португалии для подачи заявления на вид на жительство.
В связи с ажиотажем, записаться на эту визу очень сложно, а рассматривают заявки очень долго. Насколько я слышал, некоторые люди кто подал еще в конце 2022 года, до сих пор не получили одобрение. А ведь сначала все тоже было гладко как в Испании…
В Португалии вас ожидает подоходный налог по прогрессивной шкале 14,5–48% ( в первый год 10 процентов, подарок!)
В Португалии уже спустя 5 лет проживания можно подаваться на гражданство и паспорт.

Венгрия:
Минимальный ежемесячный доход должен составлять 2000 евро. Собственная деятельность претендента или деятельность его компании должна быть связана с «продвинутыми» цифровыми технологиями.
Для получения документов нужно будет предъявить трудовой договор с указанием дохода и банковские выписки о движении денег за последние шесть месяцев.
Податься на программу можно в посольстве или консульстве Венгрии в стране пребывания претендента. Стоимость подачи заявки составляет чуть более 100 евро.  Венгрия быстро рассматривает заявки на визы цифрового кочевника — в течение полутора-двух месяцев — и выдает ВНЖ на срок до двух лет. Первоначальный срок действия ВНЖ обычно составляет год с возможностью продления на такой же период
Важно отметить один из главных недостатков венгерской программы - она не предусматривает воссоединения семьи. Это означает, что мужьям и женам цифровых кочевников придется самостоятельно искать основания для переезда в Венгрию.
Через полгода жизни в Венгрии доходы цифрового кочевника начинают облагаться налогом 15%.

Греция:
Для подачи на визу цифрового кочевника заявитель должен подтвердить доход на более высокую сумму, чем в Венгрии, — от 3,5 тысячи евро в месяц (в случае если вместе с заявителем в программе участвует муж/жена, сумма должна быть на 20% больше, если ребенок — на 15%), а также предоставить долгосрочный договор аренды жилья (от года). Дофига хотят короче)
Подача заявки обойдется в 75 евро. Кроме того, в случае ее одобрения заявитель должен дополнительно оплатить государственную пошлину в размере 1000 евро. Налог по прогрессивной шкале — от 9 до 44%


Хорватия:
Программа визы цифрового кочевника Хорватии позволяет получить ВНЖ на один год, но ее нельзя продлить без перерыва. Чтобы получить новый ВНЖ, должно пройти полгода с момента окончания предыдущего.
Заявку на визу цифрового кочевника нужно подать онлайн. Для этого нужно подтвердить ежемесячный доход от 2400 евро +10% на мужа (жену) и/или ребенка. А еще тут нет налогов!

Ну, наконец-то! На зумах можно больше не слушать
Думаете мы просто предложим игнорировать статусы, совещания, ретро и прочие митинги? К счастью для многих руководителей — нет.

У нас есть идея куда лучше (и куда менее рисковая)
И это транскрипция встречи в реальном времени. Мы уже рассказывали про похожий сервис Otter.AI, который мог составлять документ с содержанием звонка, однако, только на английском языке. И вот, появился его конкурент Tactiq, который может работать с гораздо бóльшим количеством языков.

Коротко о нем
🔵Работает со встречами в Google Meet, Zoom, MS Teams и Webex,
🔵Устанавливается как расширение для Google Chrome,
🔵Выгружает транскрипцию можно в Google Docs, Slack или Notion,
🔵Поддерживает 15 языков (в том числе, русский!),
🔵В бесплатной версии можно транскрибировать до 10 встреч в месяц, идентифицируя слова каждого спикера, а затем сохранять себе конспект митинга,
🔵В платных версиях (за 8 или 16 долларов в месяц) есть возможности выгрузки транскрипции в PDF, организации записей созвонов команды, общей выгрузки записей и другие.

Это мы все к чему
В потоке радостного шума и анонсов миллиона сервисов на базе ИИ можно легко потеряться. К тому же, далеко не все эти сервисы уже сейчас работают хорошо и правда закрывают боли потребителей. Но вот транскрипция конференций и видеовстреч — очень нужная фича, для тех, у кого стабильных 5-10 звонков в день, каждый из которых слушать внимательно не всегда получается.

#ml #искусственный_интеллект

# The Bitter Lesson

The Bitter Lesson - знаменитое эссе от профессора Rich Sutton и один из самых важных текстов для спекциалистов по ML и всех пытающихся разобраться в буме AI. Текст написан в 2019 году и оказался пророческим, предсказав бум ChatGPT/GPT-4 и победу подхода OpenAI.

Речь вот о чем. Традиционно ученые в AI считали, что искусственный интеллект требует какого-то особого подхода, какой-то “звездной пыли.” Это называется inductive bias: некие особые знания о проблеме, направляющие машинное решение. Считалось, что чем умнее мы хотим получить машину, тем хитрее должны быть наши эвристики и тем глубже должно быть наше понимание проблемной области.

Эмпирически это казалось верным. Например, ученые наблюдали сильынй прирост качества в машинном переводе после того, как глубоко изучили лингвистику и закодировали часть ее правил в свою систему. Аналогично в анализе изображений кто-то мог придумать хитрый фильтр или стоэтапный выделять ключевые точки. Такие результаты позволял ученым почувствовать себя очень умными (и не зря!), опубликоваться, защитить свои PhD и в целом удовлетворить всех участников академической среды.

Но вот что происходило из раза в раз: кто-то просто докидывал вычислений и побольше данных. И побеждал все хитрые методы! Все добытые слезами, потом и кровью inductive bias методы оказывались на пыльной полке истории.

Так было в шахматах: сначала все делали хитрые движки, но победила система построенная практически на полном переборе. Так же было с Go. Так же было со Старкрафтом. Скорее всего так будет с Nethack.

В компьютерном зрении конволюционные нейросети победили “ручной” SIFT и подобные методы. Автор SIFT позже сказал, что создал свой метод только потому, что у него не было нейросетей, которые делают бррр. В машинном переводе LSTM положили на лопатки все системы на основе правил. ChatGPT/GPT-4 это предельный случай: модель построенная на чистом “stack more layers” обращается с языком лучше, чем все создания компьютерных лингвистов.

Горький урок в том, что общие методы построенные на вычислениях побеждают хитрости построенные на человеческой интуиции. Урок этот все еще не усвоен до конца: PhD продолжают делать хитрые методы, а общие системы остаются не в почете. Тот кто усвоит урок будет иметь более точную модель реальности.

Очень советую прочитать оригинал эссе по ссылке в заголовке.

Фейковые ссылки chatGPT

Каждый раз, когда я прошу chatGPT дать мне ссылку на какую-то основную обзорную работу в научной области, она выдаёт мне фейковые статьи. Выглядят как настоящие, но их тупо не существует!

Я понимаю, в целом, почему так происходит, но вот хорошее пошаговое расследование того, почему так получается на примере «самой известной экономической статьи».

Кратко:

1. ChatGPT учится по началу фразы оценивать вероятность возможных продолжений.

2. Если ты просишь её назвать самую известную статью в экономике, она, используя информацию из интернета, предсказывает самые вероятные слова, продолжающие запрос.

3. Самые частые слова в названии экономических статей: «economic» и «theory». Поэтому ответ будет начинаться с этих слов.

4. Самое вероятное слово, продолжающее эту последовательность - “history”. Получаем «A theory of economic history”.

5. Дальше выбирается самый вероятный (читай: цитируемый) автор в области экономики.

6. Самое популярное число авторов в экономических статьях – 2. Поэтому выбирается соавтор, который чаще всего появлялся в интернете (читай: цитировался) вместе с выбранным первым автором.

7. Журнал подбирается тот, в котором чаще всего печатался первый автор.

8. Год публикации подбирается более или менее из середины творческой биографии автора(ов).

P.S. Когда я в очередной раз жаловался на фейковые ссылки chatGPT, мне подсказали, что есть сервис, который выдает существующие ссылки по такому же свободному запросу – https://app.wordtune.com/editor/.

🔵КАКИЕ ВОПРОСЫ МОГУТ ЗАДАТЬ НА СОБЕСЕДОВАНИИ АНАЛИТИКУ ДАННЫХ

😱 Большинство людей нервничают перед собеседованием, особенно в области анализа данных. Но чем лучше вы подготовлены, тем меньше будете нервничать.

❓ Я подготовил базовый список наиболее распространенных вопросов на собеседовании с аналитиком данных.
Прежде чем приступить к следующему собеседованию, ознакомьтесь со следующими вопросами, которые могут задать на собеседовании. Если ответы даются вам легко, отлично; практика делает совершенным. Если вы обнаружите, что немного запинаетесь, все равно отлично; вы обнаружили области для улучшения.

❕ Это лишь общий набор вопросов, и конкретные вопросы могут варьироваться в зависимости от компании, должности и уровня опыта, на который вы претендуете.

🔥👇С ВАС 50 РЕАКЦИЙ И Я РАССКАЖУ О ТОМ КАК БОРОТЬСЯ С ВЫГОРАНИЕМ