Мы тут выложили небольшую околопрактическую статью на архив.

Отвечает она на очень криво поставленный вопрос: если у нас есть набор эмбеддингов, как определить, «хороший» ли он? Задача часто встречается в случае unsupervised/self-supervised learning, когда разметки нет, и сделать её не дают (например, юристы). Несмотря на отсутствие меток, часто нам все-таки хочется делать model selection и оптимизировать гиперпараметры.

Понятно, что идеального решения в таком вопросе быть не может, но мы чуть напряглись и накопали 4 метрики, которые неплохо коррелируют с качеством на разных задачах. В частности, одна из метрик хорошо коррелирует с качеством однослойных моделек для эмбеддинга графов, что, конечно, радует мне сердце. ✨

А ещё у Марины, соавтора этой статьи, есть камерный тг-канал с котами! 🐈