⚙️ Цифровой полигон «Полиокс» позволяет анализировать потенциал системы ИИ, прогнозировать ресурсную стоимость ее дообучения и объективно оценить качество работы в том числе в экстремальных условиях эксплуатации.
✅ ПО также сравнивает ИИ-продукты с аналогичными решениями, которые доступны в открытых репозиториях и собственной библиотеке полигона.
Мы создали удобный и интуитивно понятный инструмент — пользователю не нужно что-то программировать или устанавливать, достаточно загрузить в систему данные и файл с моделью. Кроме того, мы собрали в одном решении наиболее эффективные практики для оценки качества моделей ИИ, принцип действия которых в основном заключаются в “порче” данных и расчете в этих условиях показателей качества системы. ПО также позволяет тестировать модели ИИ в экстремальных условиях. Мы увеличиваем искажение или уменьшаем объем входных данных до того уровня, когда система перестает показывать приемлемые по метрикам качества результаты. По сути, это автоматически дает оценку границ применимости моделей. И наконец, преимущество нашего ПО в том, что оно позволяет сравнивать загруженные на полигон модели с другими подобными. Модели для сравнения “подбираются” либо из открытых библиотек, либо создаются на самом полигоне с помощью автоматического машинного обучения, например, фреймворка Fedot — также разработки ИТМО. Это является критически важным критерием при оценке системы
— отмечает Сергей Иванов, руководитель исследовательской группы, старший научный сотрудник исследовательского центра в сфере ИИ «Сильный ИИ в промышленности» ИТМО.
📊«Полиокс» предоставляет детализированный результат — текстовый отчет со схемами, графиками и другими визуальными данными с оценкой качества системы ИИ.
📈В сравнении с классическими способами тестирования, разработка ученых ИТМО сокращает время на подготовку всестороннего испытания модели от нескольких дней и недель до пары минут.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться
#новостьдня