📄Тензорный компилятор: оптимизируем исполнение моделей глубокого обучения под процессор на базе RISC-V

Разработать и обучить нейросеть — только часть дела. Ещё нужно сделать так, чтобы она эффективно работала на конкретном устройстве: CPU, GPU или специализированном AI-акселераторе. Для этого существуют тензорные компиляторы, которые ускоряют исполнение нейросети за счёт оптимизации и перевода моделей глубокого обучения в исполняемый формат под определённое устройство.

О том, как можно разработать такой компилятор и какие open source технологии для этого подойдут, рассказал эксперт YADRO по разработке ПО искусственного интеллекта Владислав Виноградов. Гибридный подход, который описан в статье, позволяет использовать автоматическую генерацию кода для значительной части операций. Это экономит время команды и позволяет сосредоточиться на оптимизации самых сложных операций, таких как свёртка или матричные умножения.

Из текста вы узнаете:

▪Что такое OpenVINO и MLIR и чем они полезны в разработке тензорных компиляторов;
▪Какие уровни абстракций лежат между моделью в OpenVINO и машинным кодом;
▪Сопоставима ли производительность гибридного режима с использованием внешней библиотеки оптимизированных операций.

Читать статью ➡

#программы #инструменты #ML