В моих старых добрых лекциях "Уйти с тропы лемминга" в последней части "Жизненный цикл программиста" я кратко рассказываю про книжку "Важные годы / Почему не стоит откладывать жизнь на потом". Это, кстати, эпичный пример, как перевод может убить исходный месседж. Исходное название "The Defining Decade: Why Your Twenties Matter — And How to Make the Most of Them Now". ОПРЕДЕЛЯЮЩЕЕ десятилетие, почему ваши 20 имеют имеют значение. Это принципиально другой смысл!
Так почему десятилетие с 20 до 30 определяющее? Желающие могут посмотреть TED talk автора "Why 30 is not the new 20", но если брать суть, то дело в нейропластичности.
Нейропластичность - это способность нейронов и нейронных сетей в мозге изменять свои связи и поведение в ответ на новую информацию, сенсорную стимуляцию, развитие, повреждение или дисфункцию.
Британника, статья #Нейропластичность.
Тему копают довольно давно. В 1989 был создан аж отдельный журнал Neural Plasticity только о нейропластичности. Большинство исследований посвящены детским годам, когда нейропластичность (см. график) максимальна. Но много работ и о реабилитации после травм, когда мозг также (в некоторых случаях и при некоторых условиях) демонстрирует удивительную пластичность даже в более взрослом возрасте.
В шуточном варианте можно сравнить высокую нейропластичность молодых лет с формированием архитектуры нейросети, а обучение с 20 до 30 с fine-tuning 😉 И те, кто старшие классы потратил на Доту получают embedded ImageNet, а кто на олимпиады — built-in transformer-based архитектуру 🤣😂🤣
Если быть более точным, то у нас между ушей развивается Mixture of Experts-based архитектура, т.е. на входных данных дообучается сразу несколько архитектур параллельно (под разные задачи). Более того, параллельно дообучается оркестратор. Это очень важный механизм, который позволяет имея супер прокачанный CS/GO "ImageNet" и управление мышкой (когда вы без модов снайперски попадаете куда надо — ценнейший навык для работы 😂) и transformer-based генеративки в зачаточном состоянии 😉 таки их прокачать в направлении кода, презентаций и статей (пусть затратив массу сил). Я наблюдал удивительные случаи прокачки студентов с ооочень слабой начальной базой (если воли хватает). 💪
Одним из ключей к прокачке (согласно обзору Principles of Experience-Dependent Neural Plasticity) является интенсивность:
Intensity: If you do something that doesn’t challenge you, you won’t see much of a difference. Intensity can be the number of times you do an exercise or how difficult it is. Try to find an intensity that is one step above your current level.
Примерно 35 лет назад обучение в университете не давало отсрочки от армии. Военкомат забирал со 2-4 курсов и возвращал через 2 года. Казалось бы, жалких 2 года, но была масса примеров, как весьма успешные до армии студенты балансировали на грани вылета (или за гранью) после возвращения. Даже мотивированные! Людям реально становилось сложно затаскивать!
Зимой писал про интервью интервью с руководителем ШАД, где речь шла про специальный трек для закончивших вуз
Мне наиболее интересны те, кто хотел бы прокачаться на самый топ. В недавнем материале Reuters описываются зарплаты в 10-20 миллионов долларов в год у топовых исследователей OpenAI & Google и разовых бонусах по паре миллионов. 😲
При этом я пачками вижу студентов (часто с хорошими данными), уходящих фигачить прод (в DS это джейсончики перекладывать) ВМЕСТО прокачки в 20 с хвостиком. 🤷♂️😁
Вангую, что PyTorch будет чем-то типа PHP в резюме через 15 лет (как и многие другие модные темы 😉), и качать надо не
Желаю всем успеть потратить остатки нейропластичности на более крутую build-in архитектуру и в целом сохранить нейропластичность повыше! 🙂 А чем больше будет рано уходящих в прод, тем больше вы будете зарабатывать! 😁
Работаем! 😉
#neuroplasticity