Оптимизация данных для Edge AI разработки

Garbage in, garbage out (GIGO) означает, что плохие входные данные приводят к плохим результатам. В машинном обучении качество данных и признаков определяет верхний предел производительности модели.

Пример - GPT-модели, где архитектура моделей схожа, но улучшения качества и масштаба обучающих данных значительно улучшают результаты. Для устройств с ограниченными ресурсами предобработка данных помогает сократить размер и требования модели, и состоит из трех основых частей:

- Очищение данных (Active label cleaning, федеративная очистка данных и т.д.)
- Сжатие признаков (отбор признаков, извлечение признаков)
- Насыщение данных (способ увеличения набора данных путём искусственного создания новых образцов - поворот, масштабирование, шумоподавление, усиление контуров, добавление/удаление слов, перестановка, машинный перевод с обратным переводом)