Практика промышленного ИИ | ML Sense | Nord Clan

Как научили нейросеть отличать брак от сдвигов и стыков

Обещали рассказать, как научили нейросеть находить дефекты ленты сверхпроводника и не путать их со сдвигами, стыками и другими допустимыми артефактами производства.

👉 Начнем со сдвигов.

Во время перемотки лента может смещаться в кадре. Для оператора это не проблема, а вот алгоритм легко может принять такой сдвиг за дефект. Поэтому сначала пришлось научить систему понимать, где находится сама лента. Для этого зафиксировали её ширину — 12 мм. Теперь модель ориентируется на реальные границы ленты, а не на её положение в кадре.

👉 Самыми сложными оказались «плюхи».

У них нет чётких границ. Одна плюха может частично накладываться на другую, а рядом могут лежать отдельные частицы того же материала. Поэтому обычная разметка здесь не работала. Сначала нейросеть искала все точки скопления частиц, а затем объединяла их в группы по заданным правилам. Например, если точки находятся ближе 2 мм друг к другу, система считает их одним дефектом.

👉 Отдельная история — стыки ленты.

Это не брак, а место соединения двух участков ленты. Но на изображениях некоторые стыки выглядели почти так же, как горизонтальные «плюхи». Из-за этого система иногда пропускала реальные дефекты. Пришлось добавить в датасет ещё полсотни примеров таких «плюх» и заново дообучить модель. После этого она перестала путать их со стыками.

Итог: датасет на 26 тысяч изображений, точность детекции 95% при минимуме ложных срабатываний.

Зачем мы изучали плюхи или как выглядит брак сверхпроводниковой ленты

Сверхпроводник начинается с тонкой ленты шириной всего несколько миллиметров. Именно из таких лент потом собирают силовые кабели, электромагниты, накопители энергии и другое высокотехнологичное оборудование. 

👉Как и в любом производстве, здесь встречается брак. И это не один-два понятных дефекта, а целая фауна: одни похожи друг на друга, другие умеют маскироваться, а третьи вообще притворяются браком, хотя им не являются.

🔹 Плюхи

Частицы материала оседают на поверхности там, где их быть не должно. Опасный дефект: в этих местах падает критический ток ленты.

🔹 Надавы

Механические вмятины после прохождения через ролики. Для производства они не так критичны, но внешне они похожи на «плюхи». Даже специалисту иногда приходится присматриваться.

🔹 Бугры

Небольшие локальные утолщения поверхности. Сами по себе безопасны, но часто маскируются под куда более серьёзные повреждения.

🔹 Зажёвы

Неприятные дефекты. Возникают при прохождении ленты через оборудование и могут выглядеть совершенно по-разному: от едва заметной деформации до серьёзного повреждения поверхности. Часто приводят к отзыву целой партии продукции.

Ещё сдвиги и стыки ленты — вообще не дефекты, но на камеру выглядят как брак.


❓На последнем прикрепленном фото есть «плюхи». Задачка: на каждом изображении один дефект или несколько? Где заканчивается каждый дефект? В следующем посте — как в итоге научили нейросеть отвечать на эти вопросы самостоятельно.

При высокой скорости конвейера у контролёра есть доли секунды, чтобы понять есть дефект на продукции или нет. В таком темпе внимание человека ослабевает, часть дефектов проходит мимо из-за предела скорости реакции. Машинное зрение работает без этого ограничения.

🔺 На конвейере птицефабрики проходит около 7 тысяч куриных тушек в сутки. Дефекты (гематомы, порезы, поломанные крылья) отбраковывали вручную: при такой скорости часть повреждений неизбежно проходила мимо. Одной камерой такую задачу тоже не решить: дефект может быть на любой стороне тушки, а разворачивать её под объектив никто не будет.

✅ Поставили систему машинного зрения ML Sense:

1) Две камеры по обеим сторонам конвейера: одна спереди, вторая сзади. Отдельно настроили освещение, чтобы кадр был равномерным, без теней и бликов. Крепления для камер и осветителей — из нержавеющей стали, по требованиям пищевого производства.

2) Разметили 5 тысяч фото с дефектами: гематомы от 300 кв мм, порезы от 10 мм.

3) Обучили нейросеть отличать не только тип повреждения, но и его размер.

4) Синхронизировали камеры с отбраковщиком: система нашла дефект, отбраковщик снял тушку с линии.

Точность детектирования — 99%. Контроль качества на этом участке полностью автоматизирован. Машинное зрение контролирует качество лучше человека — не устаёт и не пропускает дефекты на скорости.

Недавно показывали монтаж системы машинного зрения на производстве. Теперь подробнее — про инженерные конструкции, которые для неё спроектировали и смонтировали.

На площадке установили:

📷 19 камер
💡 24 светильника
🏗 11 мачт разной высоты
⚙️ 2 подвижные конструкции
🤖 Интеграцию с 6 роботами

Все конструкции проектировались и изготавливались специально под площадку. Когда задача не ограничивается одной камерой и одной точкой контроля, вокруг системы машинного зрения приходится выстраивать полноценную инженерную инфраструктуру — под конкретную линию и условия производства.

Собрали для вас несколько кадров с монтажа. На видео — система контроля длинномерных изделий. Камера перемещается по направляющей и последовательно снимает объект длиной до 7 метров.

Предпроектное обследование: необходимость или нет?

Некоторые заказчики считают предпроектное обследование лишним шагом — раз есть исходные данные, почему нельзя сразу дать оценку или приступить к разработке? Но обследование в проекте необходимо дважды, и каждый раз решает разную задачу.

➡️Первый выезд — до коммерческого предложения. Он нужен, когда невозможно дистанционно оценить объём работ или когда заказчик сам ещё не до конца понимает, что ему нужно. На этом этапе мы не проектируем систему в деталях, а проверяем реализуемость и считаем реалистичный бюджет и сроки. По итогам заказчик получает отдельный документ, с которым можно взять паузу на размышление или пойти в проект.

➡️Второй выезд — уже после заключения договора. Здесь задача не оценить, а спроектировать: снять точные параметры под оборудование заказчика и условия конкретной линии.

На практике:

В техзадании заказчика были указаны ширина конвейера и высота потолка над ним. При выезде на обследование замерили оба параметра на месте — фактические цифры разошлись с теми, что были в ТЗ. Заложи мы монтаж камер под исходные данные, узел контроля физически не встал бы в отведённое пространство, и переделывать пришлось бы уже после закупки оборудования.

Прямо сейчас монтируем систему машинного зрения для крупного роботизированного производства. Обычно этот этап остаётся за кадром, а мы решили показать, как выглядит наша работа в процессе.

Площадка со своими условиями, и под неё пришлось делать крупные инженерные конструкции. Расскажем об этом отдельно, в ближайшее время — там есть что показать👍

В чем проблема с контролем поверхности металла и как ее можно решить

При производстве металлопроката у машинного зрения типовой набор сложностей: блики, высокая скорость, смещение полотна. Полоса движется со скоростью до 20–30 м/с, вибрирует и смещается на конвейере на несколько сантиметров. А поймать нужно наплыв в 0,1 мм. Если камера отдаёт пересвеченный или размытый кадр — даже точная модель на нём ошибётся.

Что сделали при проектировании системы для одного из металлопрокатных производств:

1️⃣ Сменили точку съёмки. Камеры и свет установили не над плоским участком, а в точке изгиба листа. Здесь дефект меняет геометрию и становится контрастнее, а зеркальный блик уходит мимо объектива.

2️⃣ Поставили линейный свет высокой интенсивности с равномерной засветкой поверхности, так как обычные лампы дают полутени по краям и появляются шумы.

3️⃣ Добавили автоматический контроль освещённости: параметры света выводятся в интерфейс системы, чтобы отклонения — загрязнение оптики, старение диодов — было видно сразу.

Итог: система точно фиксирует дефекты поверхности от 0,1 мм при движении металлопроката со скоростью 0,5 м/с.

Системы машинного зрения умеют находить дефекты на высокой скорости и с высокой точностью. Но обнаружить — не значит устранить. На быстром конвейере между моментом детектирования и точкой, где оператор может вмешаться, проходит время. Полотно, лист металла или упаковка уже ушли вперёд.

Это типовая задача для производств с непрерывным потоком: текстиль, металлопрокат, строительные материалы, пищевая упаковка. Алгоритм видит дефект, но человек физически не успевает найти нужное место на движущемся материале.

👉Один из способов решить это — автоматическая маркировка. Вот пример из практики:

На производстве минеральной ваты полотно движется со скоростью до 16 м/мин по трём полосам, дефекты — от 5 мм.

Мы разработали маркирующее устройство: ML Sense обнаруживает дефект и мгновенно подаёт сигнал на пневмоотсекатели, которые активируют краскораспылитель в нужной точке. Конвейер не останавливается, оператор видит метку и знает, что исключить из дальнейшей переработки.

Найти дефект и устранить его — разные задачи, и обе требуют инженерного решения.

При отгрузке сыпучих грузов в мешках важно зафиксировать точное количество продукции. Если цифра в накладной не совпадёт с тем, что приехало к получателю, возникает спор: кто ошибся и на каком этапе.

Оператор может считать мешки сам, но при высокой скорости линии и производительности могут быть неточности.

ML Sense автоматизирует подсчет движущейся продукции: камеры фиксируют каждый мешок на конвейере в реальном времени, алгоритм определяет количество, оператор сверяет итог с накладной без остановки процесса.

На видео — система в работе.

Результат внедрения:

✅на 80% сократилось число спорных ситуаций с логистикой
✅на 15% выросла скорость погрузки за счёт исключения пауз на контроль

Что на самом деле ограничивает точность детекции на высокой скорости конвейера

Кажется логичным: чем быстрее конвейер, тем сложнее камере успевать. Зачастую узкое место совсем в другом — разбираем на конкретном проекте.

Установили систему машинного зрения на линии розлива и упаковки пива. Камера проверяет дату и срок годности, нанесённые лазерным принтером на банку. Скорость линии — до 800 тысяч банок за смену, это 17-18 банок в секунду непрерывным потоком. Человек на такой скорости физически не успевает проверить каждую банку, а пропуск даже одной с нечитаемой датой может стоить утилизации целой партии.

❓Как камера успевает

На каждую банку в зоне контроля есть около 50-60 миллисекунд — это время, за которое она физически проезжает мимо камеры. Системе хватает 30-40 миллисекунд: пока одна банка обрабатывается — следующая уже снимается, а сама обработка видеопотока быстрая, потому что алгоритм анализирует только нужную область с датой.

❓Где теряется точность

Точность может снижаться не от самой скорости конвейера, а от вибрации, бликов или слабой печати самой даты. Поэтому в проекте камеру поставили на отдельное основание, гасящее вибрацию конвейера, и закрыли купольным освещением, которое убирает большую часть бликов ещё до того, как кадр попадёт в нейросеть (см.фото).

✅Результат

При нормальных условиях съёмки система сохраняет точность до 99% даже на максимальной скорости линии. Падает она не плавно, а резко — и только если что-то физически нарушено: сбилась камера, засветило, загрязнилась оптика. Поэтому задача на старте проекта: правильно спроектировать узел контроля под скорость и условия конкретного цеха.