Массивные данные: как проходит регистрация и учет животных в масштабах России

Big Data в животноводстве

Как писал Гиппократ, «мы есть то, что мы едим». Чтобы быть уверенным в безопасности продуктов питания, нужно знать, откуда они берутся. Государство озабочено созданием современных инструментов, которые позволяют удостовериться в здоровье и безопасности источника происхождения пищи, ведь  даже одна корова, зараженная опасной болезнью, может стать причиной эпидемии с многомиллионными убытками. Для этого в агропромышленном комплексе (АПК) организуется учет, который обеспечивает прослеживаемость животных от рождения до убоя, а производимых ими продуктов — с поля до прилавка. Только так можно предотвращать распространение заболеваний, вовремя осуществлять карантинные мероприятия и обеспечивать качество мяса, рыбы, птицы, молока или меда. 

На сегодняшний день в России насчитывается около 70 млн голов крупного рогатого скота, оленей, овец и коз, подлежащих маркированию, регистрации и учету. Каждое животное описывается числом параметров от 20 до 50. Это вид, пол, возраст, порода, кличка или инвентарный номер, номер средства маркировки, данные о владельце, сведения об объекте содержания и так далее. В электронную веткарту животного вносятся данные о родословной, вакцинациях, болезнях, лабораторных исследованиях. Некоторые виды животных, птицы (куры, утки, гуси, индейки), пчелиные семьи (пасеки), пушные звери на фермах и ценные породы рыб подлежат не индивидуальному, а групповому учету. Кроме того, россияне содержат дома около 40 млн кошек и более 20 млн собак, которые регистрируются на добровольной основе. Таким образом, потенциальный объем первичных регистрационных данных измеряется миллиардами записей. В среднем информация об одном животном, включая простую графику, составляет около 250 Кб. Если зарегистрировать только половину всех российских животных, база данных системы учета достигнет объема порядка 15 Тб.  

Такое количество регистрационных данных нужно не только хранить в справочных целях — ими необходимо обмениваться и использовать их для создания форм отчетности, ветеринарных свидетельств или ветеринарных сопроводительных документов (ВСД). 

Как обеспечить прослеживаемость животных

Чтобы выяснить, откуда появилось конкретное животное, насколько оно здорово, кому принадлежит и для чего предназначено, его необходимо идентифицировать. Идентификация дает возможность получить всю информацию об особи, которая имеется в системе учета. Эту информацию ветеринарный врач вносит в карточку животного с момента его регистрации и до убоя или естественной убыли. Для этого каждое животное должно иметь средство маркировки — номер, к которому привязываются учетные данные. Прослеживаемость обеспечивается последовательными этапами, которые образуют собой процесс цифровизации животноводства (сюда же для удобства включим птицеводство, пчеловодство, разведение рыбы и пушных зверей). 

Эти этапы выглядят так:

1. маркировка животных визуальными, электронными или смешанными средствами маркирования;
2. регистрация промаркированного животного в системе учета с присвоением уникального идентификатора;
3. формирование первичной учетно-регистрационной информации (обычно в виде ветеринарной карты или ветеринарного паспорта в электронной форме);
4. консолидация, кластеризация и распределение Big Data на единой цифровой платформе АПК, о которой расскажу ниже. Платформа представляет собой базовую программу Автоматизированного учета и регистрации животных, к которой подключаются специализированные программные компоненты — кластеры («Эпизоотология», «Аналитика», «Отчетность», «Лаборатория», «Пасека», «Молокоприемный пункт» и так далее);
5. подключение пользователей и категоризация доступов к различным кластерам;
6. своевременное внесение изменений в массивы данных (перемещения животных, болезни, лабораторные исследования, убой, естественная убыль) и формирование государственной отраслевой отчетности;
7. обеспечение обмена информации между организациями, предприятиями и ведомствами, частичная деятельность которых связана с животными (компании-перевозчики, таможенные органы, финансово-кредитные организации, органы правопорядка и другие).   

Средства маркировки (СМ) — это ушные бирки, подкожные микрочипы, желудочные болюсы и тому подобное. Они содержат уникальный номер средства маркирования — УНСМ. Это 15-значный цифробуквенный код, где три первые цифры обозначают международный код страны. Эмиссию номеров осуществляют уполномоченные государственные органы ветеринарной отрасли. Она гарантирует, что номера не будут повторяться в течение 100 лет. Средство маркировки неразрывно связывается с животным на протяжении всей его жизни. После маркирования бирка или чип сканируется — это первичная идентификация.

Номер УНСМ поступает в Cистему учета и регистрации животных — специализированное ПО, в котором животному присваивается внутрисистемный идентификатор UIN. В итоге каждому животному, группе птиц или пасеке соответствуют два номера: УНСМ и UIN. Это решение называется двухкодовой идентификацией. Первое число указывает на конкретное животное, а второе «подтягивает» в систему всю информацию об этом животном. Таким образом, при потере или уничтожении первичного СМ животное может быть промаркировано снова. При этом номер нового физического носителя привязывается к уже существующему UIN и повторно вводить данные животного не нужно. При дальнейшей идентификации сканирование первого, второго или последующих средств маркирования вызывает в системе учета уникальный идентификатор UIN, к которому привязана вся информация о животном. 

Как хранится информация о животных

Все данные сортируются по отдельным признакам и объединяются в кластеры — например, для учетных данных животных или сведений о лабораторных исследованиях. 

Кластеризация основана на бизнес-процессах, к которым относится та или иная система: специализированные информационные системы («Аргус», «Веста», «Меркурий» и другие), хранилища основных данных («Цербер», «Тор», «Икар» и так далее), информационно-аналитические компоненты для формирования отчетности («Атлас», «Ассоль», «Дюма»). 

Кластеры формируют платформу ЕЦП, роль которой в России играет Федеральная государственная информационная система в области ветеринарии (ФГИС «ВетИС»), которой управляет Россельхознадзор. 

«ВетИС» использует следующие технологии:

• Основной язык программирования: Java 8;
•  Программная платформа: Java Platform EE (Oracle);
• СУБД : MySQL (Oracle).

Обмен информацией между компонентами ФГИС и сторонними ИС осуществляется при помощи компонента интеграции «ВетИС.API», который представляет собой универсальный шлюз. Основой для работы практически всех компонентов «ВетИС» является первичная учетно-регистрационная информация, которая формируется какой-либо Автоматизированной системой учета и регистрации животных, например RegAgro или АИС «Учет животных». На сегодняшний день в стране действует несколько официально признанных систем, которые используются для наполнения ФГИС первичной информацией. 

Для того чтобы зарегистрировать животное и поставить его на государственный учет, фермер или владелец индивидуального хозяйства сначала должен зарегистрировать свой хозяйственный объект. Это место, в котором будет «прописано» сельскохозяйственное животное. Зарегистрировать, например, корову просто за владельцем без указания адреса и регистрационного номера объекта нельзя. Регистрация хозяйственных объектов осуществляется в компоненте «Цербер» ФГИС «ВетИС». Система учета RegAgro сначала проверяет, имеются ли сведения об объекте в «Цербере», и только потом регистрирует за этим объектом конкретное животное, группу животных, пчелосемью и так далее. Если хозяйство зарегистрировано в «Цербере», его владелец подает заявку на регистрацию животного в территориальное Управление ветеринарии. К нему в хозяйство приезжает участковый ветврач, который совершает все необходимые учетно-регистрационные действия с родившимся или купленным животным. Кроме маркирования и идентификации, например, коровы, он также проверяет условия ее содержания и санитарно-эпидемическое состояние помещения, в котором содержится скот, при необходимости проводит санобработку и другие профилактические мероприятия. 

Что дает прослеживаемость животного ветеринарному специалисту

При рождении или покупке животного его владелец через администрацию сельского поселения подает заявку на регистрацию. Участковый ветеринарный врач с помощью мобильного приложения или веб-интерфейса принимает животное на государственный учет и при необходимости проводит маркировку. На протяжении жизни в веткарту вносится информация о вакцинациях, болезнях, об отборе проб биоматериалов для отправки на лабораторные исследования. Перед тем как внести в систему какие-либо данные, ветврач идентифицирует животное — сканирует средство маркирования и убеждается в совпадении регистрационной информации. Когда животное поступает на убойный пункт, там также производится его идентификация. Так система учета позволяет проследить тушу животного и произведенные из нее продукты. При сдаче молока корову идентифицируют, чтобы убедиться, что животное не находится на карантине и полученный продукт безопасен в эпидемическом отношении. 

Кроме учетно-регистрационной информации, система содержит различные справочники. Они используются при расчете доз вакцин, классификации заболеваний, для формирования заявок на препараты и ветеринарной отчетности. Все данные аккумулируются в дата-центрах региональных Управлений ветеринарии. Они имеются в каждом более чем из 80 субъектов РФ. К региональной серверной инфраструктуре предъявляются такие минимальные требования:

• четыре фронтенд-сервера в составе 2 CPU, 8 GB RAM, 30 GB SSD;
• четыре бэкенд-сервера в составе 8 CPU, 32 GB RAM, 500 GB SSD.

Программное и аппаратное обеспечение для сбора и обработки учетной информации

Автоматизированная система учета и регистрации животных формирует и содержит  предметно-ориентированную информационную базу данных в области животноводства и ветеринарии. Это позволяет вести учет животных и хозяйственных объектов, планировать и проводить ветеринарные мероприятия, анализировать показатели деятельности отрасли. Основная особенность ПО — возможность идентифицировать и регистрировать животных в полевых условиях даже при отсутствии интернет-связи. Ветеринарные врачи, осуществляя регистрацию и идентификацию животных в местах их содержания, используют мобильную версию Системы, которая устанавливается на обычный смартфон или специализированное мобильное устройство — терминал сбора данных (ТСД). При работе со смартфона врач дополнительно пользуется ручными сканерами микрочипов и RFID-меток, а при использовании ТСД идентифицирует животных при помощи сканеров, встроенных в мобильное устройство. При подключении к сети Интернет данные, внесенные ветеринарным врачом с помощью мобильного приложения, немедленно поступают в систему.

При отсутствии связи с интернетом данные сохраняются на устройстве и автоматически отправляются на сервер после того, как мобильное устройство окажется в радиусе действия Wi-Fi или 3G (технология отложенной передачи данных). 

Мобильное приложение регистратора обладает следующими функциями: 

• регистрация сельскохозяйственных и домашних животных за одну минуту;
• идентификация и просмотр истории животного, ветеринарного паспорта и ветеринарной карты, работа с реестрами владельцев, объектов и животных;
• фиксация ветеринарных мероприятий и значимых событий в жизни животного;
• автоматическое формирование актов проведенных мероприятий и вывод их на печать с помощью портативного принтера. 

По аналогии с архитектурой ФГИС «ВетИС» система АС RegAgro также состоит из различных программных компонентов — модулей. Такой подход позволяет организовать доступ конкретного ветеринарного специалиста к определенным данным. Участковый врач работает с компонентами «Регистрация» и «Лаборатория», для специалистов лабораторий ветеринарно-санитарной экспертизы (ЛВСЭ) на рынках создан компонент «ЛВСЭ Рынок», работники убойных пунктов пользуются компонентом «Убойный пункт», специалисты Управления ветеринарии работают с компонентами «Эпизоотология», «Отчетность», «Аналитика». Все эти модули разворачиваются на платформе АС RegAgro, в основе которой лежат массивы Big Data первичной учетно-регистрационной информации. 

Для обработки массивов Big Data и управления процессами в комплексе приложений АПК и ветеринарной отрасли используется RPA (Robotic Process Automation) — автоматизация компьютеризованной системы с помощью программного робота. Благодаря этому ветеринарный врач использует функции учета и регистрации, эпизоотолог работает с лабораториями и формирует задания для ветеринарного врача, глава Управления ветеринарии собирает статистику и анализирует данные, надзорные органы контролируют эпизоотическую ситуацию и так далее. К этой же системе подключаются муниципальные органы власти, организующие регуляцию численности бездомных животных, администрации сельских поселений, ведущие статистику личных подсобных хозяйств, ветеринарные клиники, убойные пункты и другие группы пользователей, так или иначе связанные с содержанием, лечением, профилактикой заболеваний и учетом животных. 

Заключение

Несмотря на автоматизацию, в программах всё равно остается элемент ручного труда. Это периодическая отправка отчетности, внесение регистрационной информации, заполнение и копирование форм, загрузка данных из внешних источников, таких как сканеры для считывания штрихкодов или RFID-меток. Чтобы снизить до минимума количество ошибок ручного ввода, RPA-технологии широко используют подсказки автозаполнения полей различных электронных форм. Использование алгоритмов машинного обучения и нейросети помогает RPA-системе улучшать качество распознавания задокументированной информации и предлагать исправления. В отдельных случаях возможно автозаполнение по образцу, когда робот сам авторизуется в системе, откроет в браузере нужную страницу и заполнит ветеринарную карту животного. На это у него уйдет максимум полминуты, а оператор-человек затратит на такую работу в 10–15 раз больше времени. 

Такое решение используется при переносе информации из разрозненных локальных баз данных предприятий АПК и фермерских хозяйств. Долгое время регистрация животных проводилась в «кустарных» неунифицированных системах учета мелких программных разработчиков. Робот помогает отсортировать имеющуюся информацию и отправить ее в нужные кластеры единой системы учета животных. Результат ввода данных по шаблону — существенная экономия рабочего времени ветеринарных специалистов.   

В следующей статье я расскажу о том, как массивы Big Data используются конкретными программными модулями Автоматизированной системы учета и регистрации животных.