Вышла неплохая статья при участии дядьки ЛеКуна - The Effects of Regularization and Data Augmentation are Class Dependent. В ней живет дух старой школы statistical learning со ссылками на Тихонова, Вапника и Червоненкинса, но основная идея, как это часто бывает, очень интуитивна.

TL;DR: разные аугментации в задаче image classification по-разному влияют на точность по разным классам в зависимости от важности формы или текстуры для объектов этого класса. Например, у штопора очень характерная форма, а зебра больше идентифицируется текстурой. Соответственно, агрессивные аугментации типа random crop в среднем улучшает качество для "текстурных" классов (и портят для shape oriented), а пиксельный шум aka color jitter - наоборот. Большое количество графиков и примеров прилагается.

Вообще статья как бы намекает, что надо анализировать эффект чуть глубже, чем "насыпать аугментаций побольше, accuracy растет, збс". Удивительно только, что в статье нет ссылки на ImageNet-trained CNNs are biased towards texture (есть хороший пересказ на русском), которая лично мне казалось классикой в вопросе "texture vs shape".