Кто разрабатывает системы для людей с особенностями здоровья и медиков
Проект начался в 2019 году. Но его предпосылки были еще в 2017 году, когда мы познакомились с бионическим зрением. Команда у нас большая и многопрофильная, состоящая из 23 человек. Над проектом работают врачи, инженеры, программисты, клинические психологи, реабилитологи, нейроученые, биологи, также нам помогают незрячие люди.
Как правило, в проектах, связанных с использованием VR и искусственного интеллекта, участвуют очень узкие специалисты и найти их достаточно тяжело. Обычно в команду входит не менее десяти человек, среди них — программисты по интерфейсам и железу, VR-программисты, схемотехники, инженеры, дизайнеры, визуализаторы, методологи, педагоги, психологи, нейрофизиологи и др. ИТ-специалисты присутствуют на приемах у докторов, чтобы хорошо понимать врачебную практику. А у самих докторов есть опыт цифрового дизайна.
Именно из-за высокого уровня требований к разработчикам подобных систем на рынке пока мало продуктов на стыке медицины и любой другой науки и технологий.
Сами создаем технологии
В процессе создания нейроимпланта ELVIS V используются технологии, в основе которых лежит ИИ, электроника разных уровней, а также VR-технологии. В Лаборатории «Сенсор-Тех» мы регулярно ведем разработки, связанные с применением технологий виртуальной реальности. Как правило, они носят социальный, фундаментальный научный или медицинский характер, поэтому есть определенные запросы и по производительности, и по качеству визуализации. Все они по сути своей входят в категорию дополненной реальности, но ее мы создавали самостоятельно, дополняя шлемы внешними камерами.
За всё время мы опробовали разные варианты: это и проводные очки виртуальной реальности серии Oculus Rift, и их беспроводные современные версии, шлемы HTC Vive, а также варианты с использованием смартфона в очках виртуальной реальности. Сейчас переходим на VR-гарнитуру Pico 4.
Также мы с интересом смотрим на шлем Apple Vision Pro, чтобы изучить и понять его ценность конкретно для наших разработок. Надо отметить, что симулятор болезней глаз SMW Pro уже получил заочное подтверждение Apple как подходящий для Vision Pro.
Для того чтобы человек без слуха услышал, а слепой человек стал видеть, используются различные интеллектуальные алгоритмы, программное обеспечение или софт. Чтобы вернуть слух, используют два алгоритма. Один его интерпретирует на электроды непосредственно в мозг. Другой алгоритм может понимать его смысл. Если слепому нужно подсказать, какой объект находится перед ним (применимо на этапе реабилитации), то он определит объект и подскажет через динамик на носимой части системы (обруч). И железо, и софт мы разрабатываем сами. Это преимущество наших проектов, потому что в нашей стране такое точно никто не делает.
Обруч представляет собой компактное устройство с камерами, которое будет находиться на голове человека. В нем будут располагаться датчики, с помощью которых будет производиться захват картинки, в том числе в темное время суток. А обработка полученных с обруча данных будет происходить «на борту», т. е. в блоке обработки, он похож на маленький компактный компьютер, который легко поместится в руке человека. Используются нейросетевые технологии на базе ИИ.
Нейроимпланты способны вернуть зрение и слух
Нейроимплант для восстановления зрения «включает» новое зрение, бионическое, за счет стимуляции нейронов зрительной коры головного мозга. Это наш центр обработки изображения, наш процессор, так как мы видим мозгом, а не глазами. Если подключиться к нему напрямую, то можно картинку отправлять с камеры прямо в мозг с помощью электрической стимуляции. Это контурное зрение, предметное. Его достаточно, чтобы определять крупные объекты, самостоятельно ориентироваться. Читать и черты лица увидеть, скорее всего, не получится. Ну разве что прочитать большие буквы.
Что касается слуха, то тут активируется нервное окончание в улитке. Она находится глубоко в ушах, за барабанной перепонкой, за косточками. Там расположены нервные окончания, от которых сигнал идет дальше. Так работает слуховой имплант.
Что же касается DBS (Deep Brain Stimulation) и неврологических заболеваний, то здесь технология работает в глубоких областях мозга так, чтобы электроды дошли до ряда ядер. Стимулируя их, можно купировать, к примеру, тремор или другие заболевания нервной системы. Люди с кохлеарными имплантами ходят очень долго — 10–20 лет и больше. С теми имплантами, которые ставят в мозг, сроки могут быть несколько ниже, но предсказать конкретно, у кого какой срок будет, невозможно. Считается, что нужно хотя бы пять лет, но это индивидуально.
Планы на будущее
За 2025–2026 годы мы планируем изготовить первые опытные партии ELVIS V для проведения стартовых испытаний. Незрячие и слепоглухие добровольцы смогут получить новый способ зрения и станут первыми в нашей стране пользователями полноценного бионического нейроимпланта. Проведение таких испытаний будет осуществляться в рамках регистрации нового вида медицинского изделия в РФ. В 2027 году при поддержке Минздрава России мы планируем проводить первые операции по внедрению импланта.
В операции используются суперсовременные технологии внутри системы зрительного нейроимпланта. Частично наше устройство будет реализовываться в рамках высокотехнологичной медицинской помощи, на которое выделяются государственные средства. Также операции будут проводиться на коммерческой основе и при поддержке благотворительных фондов и спонсоров.
По прогнозам наших реабилитологов, для адаптации к новому зрению понадобится минимум полгода. Этот сигнал будет совершенно новым для человеческого мозга, в каком-то смысле он испытает то, что чувствует новорожденный ребенок, когда впервые начинает видеть.
