Что бы это проверить, на вход к моделям подавали названия различных мест нашей планеты (города, достопремечательности итп). Оказалось что, пониженные через PCA до двумера эмбединги этих событий образуют карту земли - события произошедшие в европе находятся в компактном кластере, чуть "южнее" кластер африки, сборку северная и южная америка, а в другую сторону азия и в далеке океания - прям настоящая карта! (лучше чекните картинку в посте)
Разумеется тут есть небольшое читерство - это все верно с точностью до линейного преобразования - (их проще представлять как кобинация двух поворотов и растяжения) - но все равно)
Я решил посмотреть какую информацию содержат в себе эмбединги кода моделей - выкачал задачек по некоторым с архива codeforces, а так же их решения. Проделав аналогичные действия (но с моделью попроще - codebert), я обнаружил, что:
* Задачи их их решения разделились на 2 больших неоднородных кластера - ну это вроде очевидно
* Для задач внутри одной темы, вектор идущий от эмбединга решения к эмбедингу кода - плюс минус постоянный, а для задач разных тем он отличается на небольшой поворот. Получается что внутри модельки существует "вектор решения", прибавление которого к описанию задачи - дает его решение
Ссылка на исходную статью