Какие проблемы мы должны были решить
«КАМАЗ» и «АвтоМаш» в рамках проекта по цифровизации хотели решить схожие проблемы:
- Сделать учет деталей на производстве более точным и упростить их сортировку. Каждая деталь проходит определенный путь на предприятии и важно знать, где и когда эти детали побывали в процессе работы. Чтобы собрать один автомобиль, нужны детали со всего завода. Они проходят путь от заготовки до полноценного изделия, которое поступает со склада или сразу в цех сборки. Машинное зрение позволит избежать лишних издержек, связанных с учетом деталей.
- Сократить ошибки людей при сортировке деталей и комплектовании конвейера. На машиностроительных предприятиях много похожих друг на друга деталей. Работники не всегда могут правильно их идентифицировать, ведь номенклатура деталей может достигать несколько десятков тысяч. Любая ошибка при сборке сложного изделия — это серьезная проблема, которая влияет на многие производственные процессы.
- Сократить потери времени на документирование и формировать достоверные производственные отчеты. Раньше рабочие предприятия «АвтоМаш» вели бумажную документацию. Они получали от начальства задания в бумажном виде и писали отчетность о проделанной работе вручную в конце каждой смены. Это занимало много рабочего времени, которое можно было потратить на решение более важных производственных задач.
Почему нас попросили разработать систему машинного зрения
Еще недавно технология машинного зрения была способна различать только объекты сравнительно простого вида и в строго определенных условиях. Сейчас же современные модели дают уникальные возможности идентификации. В обоих наших проектах детали, которые движутся на подвесном конвейере в цеху, раскачиваясь, вибрируя, находясь в различных условиях освещения, являются сложным объектом для идентификации.
Это значит, что классические подходы технического зрения не позволят корректно распознавать деталь и определять ее артикул. Именно поэтому мы разработали систему, включающую модели машинного обучения на основе технологии глубокого обучения, или deep learning. Надежная идентификация деталей — главный результат для заказчика, так как поможет автоматизировать процессы учета деталей и улучшит мониторинг их передвижения по всему предприятию. Наше обследование показало, что альтернатив технологии технического зрения при идентификации деталей на этих производствах в нынешнем виде практически нет. Надежно работающее машинное зрение превосходит человеческий глаз и уменьшает количество ошибок, допускаемых персоналом.
Подготовка к внедрению машинного зрения
Перед началом работы мы определились с некоторыми требованиями, которые нужно учитывать:
- Система машинного зрения должна быть простой в эксплуатации и не требовать много времени для освоения этой системы персоналом.
- Система должна быстро определять все артикулы деталей с учетом помех. К таким помехам можно отнести человека в кадре или изменения фона с источником освещения.
- Система должна совершать меньше ошибок, чем человек.
- Нужно создать электронный журнал, куда будут отправляться данные с камер.
Еще надо учитывать, что для системы машинного зрения можно использовать не только стационарные камеры, но и переносные устройства. Так, на предприятии «КАМАЗ» сотрудники в будущем получат возможность использовать планшет или смартфон для точного определения деталей на любом участке предприятия, где проводятся работы.
Обучение и тестирование
Метрику точности идентификации нам предоставляла модель машинного зрения, которая определяла ее, исходя из собственной внутренней логики. Алгоритм расчета метрики точности определяется на основании того, насколько корректной является совокупность признаков, позволяющая идентифицировать деталь. Тем не менее всё зависит от качества изображения: какой бы эффективной ни была модель, она не сможет корректно распознать деталь, если на изображении есть блики или она повернута неправильно и камере ее попросту не «разглядеть». Именно поэтому необходимо иметь несколько камер: они позволяют сравнить изображения с каждой камеры и выбрать наиболее высокую метрику точности.
При разработке системы мы использовали одну из доступных базовых моделей машинного зрения — заранее разработанных моделей машинного обучения, в которых входными данными являются визуальные данные. Это готовые open source программные библиотеки, обеспечивающие идентификацию либо выполнение другой задачи машинного зрения. Такие библиотеки являются открытыми и доступны в интернете для использования. Задачей разработчика системы машинного зрения является сравнительное тестирование и выбор модели, которая, с одной стороны, дает максимальную точность, а с другой — сможет обучиться на наименьшем доступном объеме исходных данных.
Под исходными данными мы имеем в виду те изображения, которые однозначно связаны с конкретной номенклатурой детали. Это могут быть фотографии или фрагменты видеоряда, где показана идентифицируемая деталь в различных реальных условиях. Мы должны в начале обучения модели предоставить эти изображения и определить их как именно те детали, которые нам нужно распознавать. Соответственно, модель, получив эти данные и обработав их, начинает корректно определять те детали, которые появляются перед ней, и таким образом обучается.
При этом объем исходных данных и трудозатраты на их подготовку часто являются узким местом. Кто-то должен их собрать и обработать, а именно выделить границы идентифицируемого объекта. Это важно, поскольку необходимо обучить модель для определения конкретного объекта и сделать ее устойчивой к каким-то другим нюансам на изображении. Этот процесс называется разметкой. Для того чтобы сократить объем ручной работы на подготовку исходных данных, мы используем программные инструменты для автоматизации. В перспективе мы также планируем создавать синтетические изображения на основе трехмерных моделей, которые есть у заказчика. Хотя они не могут обеспечивать полной достоверности и предоставлять весь объем данных для обучения, такие изображения помогут сократить долю ручного труда и время на фотографирование. Это критически важно при большом объеме идентифицируемых деталей.
После этапа подготовки мы выбираем место будущего расположения стационарной камеры. Для этой задачи можно взять любую подходящую по качеству изображения цифровую камеру, потому что вся необходимая аналитика ведется на внутреннем сервере предприятия. В обоих случаях мы устанавливали камеры у конвейера в цеху покраски изделий. Это связано с тем, что это последний этап на пути изготовления детали, после чего она отправляется в цех сборки или на склад. Стационарная камера ведет постоянную съемку деталей и автоматически вносит показания в электронный журнал или ERP-систему.
До полноценной эксплуатации системы машинного зрения необходимо провести ее обучение и протестировать в рабочих условиях. Для этого нам потребовались:
- каталог деталей предприятия;
- 3D-модели изделий;
- фотографии и видеоматериалы с изделиями;
- разметки образцов деталей для их правильной идентификации.
Для завода «АвтоМаш» мы создали специальную версию системы, которая позволяет сотрудникам самостоятельно заполнять каталоги деталей. Это нужно было потому, что многие детали очень похожи друг на друга и в процессе обучения модели требуется большое количество ручной разметки для правильной идентификации деталей.
В рамках обучения моделей стационарной и мобильной систем мы выполнили ряд задач:
- подготовили фотографии деталей для обучения моделей стационарной и мобильной систем;
- выполнили разметку образцов деталей для стационарной системы;
- произвели обучение модели на размеченных образцах деталей;
- выполнили тестирование модели на образцах деталей, которые не участвовали в процессе обучения модели.
Трудности, с которыми мы столкнулись
Первая сложность, которую нам требовалось решить, была связана с исходными данными в нашей задаче. Материал, поступающий на склады, регистрируется в системе учета, но теряется на производстве из-за отсутствия контроля за его передвижением. Регистрируются только готовые изделия, которые поступают в цех сборки. Бумажная отчетность также делала этот процесс еще более трудоемким.
Кроме того, на производственных конвейерах могут одновременно находиться много деталей разных видов. Их сортировка и подсчет затруднены, так как часто они похожи между собой, причем настолько, что их расположение или размеры отверстий могут отличаться на миллиметр и менее. При создании системы мы изначально продумывали логику работы так, чтобы в таких ситуациях ответственность при распознавании брал на себя человек, отвечающий за съем и распределение деталей.
Второй большой проблемой является то, что условия работы системы машинного зрения были далеки от идеальных. Обучение проводилось на реальном производстве, где не всегда хорошее освещение и температурный режим, имеется запыленность, наличие других объектов и людей в кадре. Разместить камеры в цеху так, чтобы они могли всегда «видеть» деталь без помех, сложно: конвейер и технологическое оборудование проектировались много десятилетий назад, когда о подобных системах не было и речи.
Источники искусственного освещения тоже оказалось сложно правильно разместить. Кроме того, естественный свет из окон цеха меняет картину освещенности, снижая качество изображений с камер. Тем не менее нам помогла устойчивость работы современной модели технического зрения: она хорошо «переносила» помехи, а точность идентификации оставалось адекватной.
Перспективы дальнейшей цифровизации
В рамках масштабирования системы работникам предприятия нужно вносить в систему на основе машинного зрения образы всех деталей предприятия. Из-за большого количества вносить каждую деталь вручную было слишком долго и трудозатратно. Чтобы решить эту проблему, мы автоматизировали процесс внесения изделий в систему машинного зрения, используя 3D-модели в PLM-системе.
Для более эффективной работы с машинным зрением можно создать цифровую базу данных изделий, цифровой журнал, а также оборудовать автоматизированные рабочие места. Для завода «АвтоМаш» мы создали цифровые журналы, в которых хранится информация о степени готовности изделий и их количестве. Эти журналы помогают оперативно находить нужную информацию и быстро формируют необходимую отчетность. Главное преимущество таких журналов — скорость обмена информацией между разными участками предприятия.
Итоги
Внедрение машинного зрения на машиностроительных предприятиях, таких как «КАМАЗ» и «АвтоМаш», позволяет решить многие проблемы человеческого фактора и оптимизировать производственный процесс. Машинное зрение помогает сделать процесс учета деталей и их мониторинга эффективнее, снимая с персонала задачу определения артикула. Оно превосходит человеческий глаз и с должным обучением и тестированием способно почти безошибочно выполнять свои функции.
Для обучения и тестирования машинного зрения требуется большое количество данных и времени по сравнению с установкой и подключением камер. Но это окупается за счет точного учета всех имеющихся деталей на предприятии и их эффективного применения в работе со сложными изделиями.
