Выяснилось, что алгоритмы поиска "похожих" изображений для мемов не всегда круто работают: обычно мемы имеют схожую основу, но разные тексты на фото.

Я нашел 300 мемов-дублей (1%), у которых метрика схожести была очень высокой, и убрал их.