Очень хорошая статья со слегка пафосным названием A ConvNet for the 2020s.

TL;DR: чувакам надоел хайп vision трансформеров, и они решили сделать сверточные сети great again. Для этого они проанализировали, в чем же могут быть сильные стороны трансформеров, и попытались воспроизвести аналогичные преимущества в классической сверточной архитектуре (Resnet), что им в основном удалось.

Статья хороша не столько результатом (кого сейчас удивишь очередными 82+% точности на Imagenet), сколько стилем изложения. Авторы описали траекторию исследования и соответствующие кумулятивные улучшения, а не продемонстрировали очередную серебряную пулю из ниоткуда. Отдельный лайк за Robustness Evaluation в приложении.