Принес вам чтиво выходного дня

Статья от исследователей из университета Pisa, Italy и Barcelona Supercomputing Center на тему применения сжатых вещественных числе в AI приложениях.
Считайте новинка - статья появилась на arXiv всего неделю назад 🤓

Статья исследует возможность сжатия чисел с плавающей запятой меньшей точности для глубоких нейронных сетей и предлагает метод распаковки/расжатия перед вычислениями, что может улучшить эффективность использования ресурсов и снизить нагрузку на кэш, при условии определенных архитектурных параметров.

Одной из активно обсуждаемых идей в последние несколько лет является использование формата Posit для хранения чисел в формате fp32 в 16-битном представлении Posit. Это сделано с целью снижения нагрузки на кэш и увеличения пропускной способности при передаче данных в вычислительные блоки. За такой трюк в пересылке данных заплатим точностью передаваемого числа и аппаратурой для конвертации fp32 -> posit16 и обратно, в то время, как для bfloat16 это происходит практически бесшовно, но с большей потерей точностью.

Основной акцент в статье сделан на работу с bf16, работа с Posit видимо оставила еще ряд нюансов, которые будут рассмотрены в следующих работах (либо я что-то проглядел когда читал статью).
Результаты и метод исследований найдешь в статье👌