Make offline great again
Снижение затрат на вычисления горячая тема. Можно ли, сжав нейронную сеть в 2 раза без доучивания весов, получить качество не хуже, чем в полной версии? А существует ли золотой лотерейный билет, который позволит еще и улучшить качество?
Об этом 27 февраля на офлайн-митапе нам собираются рассказать Влад Голощапов и Денис Кузнеделев. У Дениса на тему лотерейного билета есть статья на Хабре (и не только!), а у Влада - много наработок, которыми он поделится на митапе.
Гипотеза лотерейного билета
Случайно инициализированная плотная нейронная сеть содержит в себе подсеть, способную достичь того же качества на тестовых данных, что и исходная сеть за то же или меньшее число итераций, что и исходная плотная сеть.
(Frankle & Carbin, 2019)
Всех, кому интересна тема оптимизации нейронных сетей, ждем на 27 февраля вечером. Регистрация и детали тут.
С собой можно брать печеньки и вопросы по прунингу сеток.
Ваш @Reliable ML
#tech #offline #meetup #reliable_ml