Нашел артефакт со старого проекта. Проект был очень давно, поэтому могу про него рассказать.

Заказчик хотел реализовать статью про перенос эмоций между видео. Для этого нужно было построить контролируемую 3д модель лица, которая бы очень точно рендерилась на оригинал.

Для этого построили модель из кучи параметров и собственный рендерер, из которого считали производную.

В модель входило:
- PCA для сетки лица
- блендшейпы для эмоций
- сферические гармоники для освещения
- матрица трансформов
- то ли текстура, то цвета вершин (не помню точно - помню только, что текстуру лица тоже снимали с исходного изображения по уже готовой сетке)

Вся эта гора параметров оптимизировалась с помощью еще большей горы производных от рендера по каждому из этих параметров.

Зубы рисовались отдельно с учетом блендшейпа рта.

Сейчас это относительно легко решилось бы нейронкой, но тогда такой роскоши не было.

PS: морда синяя, потому что BGR