Жизнь на градиентном спуске

Люди переоценивают важность знания финальной цели. Да, я слышал, что если не знаешь куда плыть, то ни один ветер не будет попутным. Но люди концентрируются на этом слишком сильно. В итоге обозначенная цель кажется такой недосягаемой, что люди боятся даже начать.

На мой взгляд куда важнее знать где твой следующий шаг. И с каждым шагом куда-то по направлению к той большой цели становиться чуть-чуть лучше. Оборачиваться назад, смотреть где ты только что был и отмечать прогресс.

Бывает, что это единственное, что нам доступно - просто знать куда поставить ногу. Шаг за шагом. По направлению к цели.

Кстати, эта идея вдохновила нас на то что потом стало AI. Модели машинного обучения учатся так же. С каждой новой итерацией и новой ошибкой модель старается что-то немного у себя подкрутить, чтобы в следующий раз быть капельку лучше. Мы показываем нейросети миллион примеров, чтобы она училась и после каждого примера делала у себя маленькое исправление. Так она становится умнее.

Визуально это выглядит как огромная альпийская долина с горами и впадинами. А наша модель - это полу-слепой пастух, чья цель - найти самую нижнюю точку долины. И вот он старается делать шажок за шажком, чтобы спускаться с горы и искать дно. Он не особо хорошо видит, но с каждым шагом понимает приближается ли к нужной точке (вниз по горе) или наоборот идет вверх / вбок / не туда. Это называется градиентный спуск.

Перепрошить свой мозг жутко трудно. И я сам постоянно с ним борюсь. Но иногда удается пересилить себя и начать двигаться быстрее и итеративно - улучшаясь на ходу, а не вымучивать первую идеальную версию.

Уверен, умение учиться важнее статичных накопленных знаний. Особенно в нашем мире, где все так быстро меняется и устаревает.

На фотографиях ниже пример обучения моей нейросети. GPS-трек пробежек. С каждой новой итерацией мы устраняем ошибки и делаем результат чуть лучше, чем в прошлый раз.

PS Если нужно прочитать лекцию про AI и Reinforcement learning, то пишите, материалы уже готовы.

Зборовский печатает …