Реддит завалило ссылками на https://github.com/nebuly-ai/nebullvm, и ко мне тоже пришли с вопросом "a free lunch, or snake oil?". Я люблю такие штуки и сразу пошел смотреть.

Библиотеку делает некий стартап nebuly.ai, который я не нашел даже на Crunchbase. Зато обещания на лендинге и в readme совсем не скромные: мы, дескать, все ускорим 5-20x, волшебным способом, а от вас понадобится только несколько строчек кода. Судя по примерам кода, должно работать на уже обученной модели, т.е. под капотом не могут оказаться сложные концепции типа дистилляции и квантизации. Какие тогда инновации они там спрятали?

Правильно, особо никакие. Внутри - красивая обертка над ONNX, OpenVino, TensorRT и TVM. Т.е. оптимизация в общих чертах выглядит так: "скомпилируем под существующий inference движок, выкинув ненужные куски, переберем параметры и честно продемонстрируем ускорение".

Несмотря на некоторый скепсис в тексте выше, я все-таки думаю, что это хорошее начинание. Да, любой толковый ML инженер может сделать подобное своими руками, но даже в сфере инструментов для разработчиков важна не только core технология, но и удобство использования, над которым они явно поработали. А вот как на основе такого продукта они собираются развивать компанию, я совершенно не представляю.