Проекты в Центре машинного зрения

Оригинал статьи вы можете найти

https://www1.uwe.ac.uk/et/mvl/projects.aspx
Детали текущих и последних проектов приведены ниже.

Изоляция под полом

Автономное исследование, сбор данных, обработка и визуализация

Проект, финансируемый компанией Innovate UK совместно с Q-Bot Ltd. Этот проект был направлен на развитие робототехники, разработанной и управляемой Q-Bot. В конкретных, автономно картирующих и изолирующих подпольных средах в зданиях.

В основном старые здания теряют много тепла из-за пустот под полом и восходящих потоков. Q-Bot успешно разработала интегрированные робототехнические системы. Он способен отображать условия под полом с помощью полуавтоматической роботизированной системы SLAM. Изоляция затем распыляется полуавтоматически на нижней стороне половиц снизу.

Пример изолированных половиц и результат SLAM показаны ниже:


Целью является дальнейшая автоматизация процесса планирования пути системы и внедрение методов компьютерного зрения.

Для того, чтобы автоматически классифицировать регионы окружающей среды на ключевые компоненты, которые влияют на необходимость изоляции или ее отсутствие.

Примеры таких функций включают стены, доски, трубы, вентиляционные отверстия и электрические кабели.

Автоматическая визуализация и анализ сорняков

Задний план

Сельскохозяйственные методы борьбы с сорняками на полях включают широкомасштабное опрыскивание гербицидами. Это экономически и экологически дорого.

Рост мирового населения требует увеличения урожая, что требует эффективного использования сельскохозяйственных земель.

Контролируя рост сорняков, можно поддерживать более высокую урожайность. Чтобы уменьшить количество используемых гербицидов, мы должны определить местоположение и структуру скоплений сорняков в поле.

Рисунок 1: Типичный вид поля кукурузы, показывающий два ряда посевов, перемежающихся как с травами, так и с широколиственными сорняками

Точная прополка с использованием машинного зрения

Мы работали с Университетом Харпер-Адамс, чтобы определить местоположение скоплений сорняков вне ряда по 2D-изображению и данным GPS.

Рисунок 2: 3D-реконструкция, полученная в результате фотометрического стереоскопического сканирования с четырьмя источниками искусственно посаженного ложа сорняков.

Наши трехмерные методы позволили нам определить структуру сорняков на основании информации о поверхности и определить местоположение критических частей сорняков.

Результатом стали эффективные целевые методы уничтожения сорняков, такие как точное распыление или термическая обработка.

CMV-методы для высокоскоростной трехмерной детекции широколистных и травяных сорняков в посевах кукурузы позволяют точно определять места расположения пятен. Затем они анализируются, чтобы найти «меристему» (основной растущий стебель) с точностью до 1-2 мм.

Мы провели технико-экономическое обоснование для обнаружения и уничтожения широколиственного дока (Rumexobtusifolius) в травяных культурах. Широколиственный док может пережить пищеварение животных, имеет глубокие корни и может влиять на урожай желаемых культур.

Рисунок 3: Первоначальные результаты технико-экономического обоснования, посвященного обнаружению листьев дока в травяных культурах

Первые результаты являются многообещающими, и мы заинтересованы в создании консорциума с целью дальнейшего изучения этого вопроса и превращения его в полностью автоматизированную роботизированную систему.

Распознавание лиц с использованием фотометрического стерео (Photoface)

Проект PhotoFace охватывает два гранта, финансируемых EPSRC, которые начались в апреле 2007 года.

Цели

  • Используйте высокоскоростное фотометрическое стерео для быстрого захвата геометрии лица.
  • Создайте новую трехмерную базу данных лиц для тестирования в рамках проекта и на благо всемирного сообщества исследователей распознавания лиц.
  • Применение новых и существующих современных алгоритмов распознавания лиц к набору данных.
  • Захват данных отражательной способности кожи для создания синтетических поз любого лица, захваченного устройством.

Этапы проекта

Этапы с 1 по 3 были исследованы в сотрудничестве с Группой связи и обработки сигналов в Имперском колледже Лондона и Центром прикладных наук и технологий домашнего офиса, General Dynamics UK

На четвертом этапе мы работали с Университетом Центрального Ланкашира.

1. Реконструкция лица

Посмотрите устройство реконструкции лица, которое мы сконструировали. Как подробно описано в нашей статье CVIU за 2008 год, видимое и ближнее инфракрасное излучение являются реальными решениями, а последнее дает незначительные улучшения в реконструкции.

Мы работали с пятью источниками света и камерой со скоростью 210 кадров в секунду. Общее время захвата составляет или порядка 30 мс с высокоскоростной синхронизацией, основанной на технологии Field Programmable Gate Array (FPGA).

На рисунке ниже показан пример набора необработанных изображений, восстановленных с помощью устройства.

Применение фотометрического стерео Ламберта затем дает следующее поле нормалей поверхности:

На рисунках ниже показан результат интегрирования нормалей поверхности для восстановления карты глубины. Второе изображение показывает результат деформации одного из необработанных изображений на поверхности.

                   

2. База данных фотоизображений

Одной из областей, представляющих особый интерес, было создание базы данных необработанных изображений лица. Эта уникальная база данных сильно отличается от существующих баз данных в нескольких отношениях:

  • Каждая запись состоит из четырех изображений лица, соответствующих каждому из источников света нашей фотометрической стереосистемы.
  • Волонтеры много раз получали изображения в течение нескольких месяцев, что позволило всесторонне протестировать наши новые методы по мере изменения людей. Эти изменения могут быть связаны с выражением / настроением, позой, волосами (включая волосы на лице), загаром, травмой.
  • Данные собирались в реальной рабочей среде (General Dynamics UK, Южный Уэльс), а не в контролируемых лабораторных условиях. Это соответствует цели лаборатории по разработке методов машинного зрения для реальных применений.

Эта уникальная трехмерная база данных о лицах является одной из крупнейших в настоящее время, в ней содержится 3187 сеансов по 453 предметам, снятых за два периода записи по шесть месяцев каждый.

Устройство Photoface было расположено в неконтролируемом коридоре, позволяющем захватить реальный мир без ограничений. Каждый сеанс состоит из четырех разноцветных цветных фотографий предмета.

Из которого можно рассчитать нормаль поверхности и оценки альбедо (включая реализацию фотометрического стерео кода MATLAB). Это учитывает многие сценарии тестирования и способы объединения данных.

Одиннадцать ориентиров лица были вручную расположены на каждом сеансе для выравнивания.

Кроме того, поставляется инструмент Photoface Query Tool (реализован в MATLAB). Это позволяет извлекать подмножества базы данных в соответствии с выбранными метаданными, такими как пол, волосы на лице, поза, выражение лица.

База данных Photoface доступна для загрузки в исследовательских целях. Пожалуйста, смотрите нашу статью о семинаре CVPR 2011 года или пишите по электронной почте Гэри Аткинсону по адресу gary.atkinson@uwe.ac.uk.

3. Распознавание лиц

Эта часть проекта была направлена на оптимизацию алгоритмов распознавания полученных данных и учитывала такие эффекты, как:

  • специальные методы реконструкции, которые оптимизируют скорость распознавания
  • включение современных фотометрических стерео методов (например, для учета тени и зеркальности)
  • выбор подпространства.

Дальнейшая работа была сосредоточена на новых методах уменьшения размерности для распознавания лиц. Это включало использование психологически вдохновленного подхода, чтобы изолировать определенные пиксели на лице и оптимальные разрешения, которые используются людьми, и эмулировать это с помощью машинного зрения – см. Документ семинара BMVC 2011.

Мы также обнаружили, что нормали поверхности особенно хорошо сжимаются с помощью преобразования Риджлета, сохраняя при этом информацию с высокой степенью дискриминации. Действительно, мы достигли 100% признания с помощью этого подхода в основных подмножествах нашей базы данных, как сообщается в нашей статье Pattern Recognition 2012.

Наконец, в сотрудничестве с Университетом Бата мы разработали алгоритм распознавания, основанный на форме носа.

4. Анализ отражения

Для некоторых приложений может быть полезно сравнить 3D (или 2.5D) данные с 2D изображениями. В этих случаях необходимо использовать данные 2.5D для визуализации изображений, которые имеют условия освещения, соответствующие 2D-изображениям. Видео, иллюстрирующее нашу возможность повторного рендеринга изображений таким образом, можно просматривать в виде видео в формате AVI в оттенках серого или в цветном видео в формате AVI.

Они иллюстрируют полезность данных об отражательной способности, которые получаются из фотометрической стерео, а именно карты альбедо поверхности. Наш следующий проект, EPSRC, был направлен на надежное получение данных функции распределения двунаправленного отражения (BRDF) для каждого лица, сканируемого системой. Затем его можно использовать для одновременной визуализации синтетических изображений лиц и повышения качества реконструкции. Более подробная информация для подражания.

Грант №. EPSRC EP / E028659 / 1, EP / I003061 / 1

Эта статья переведена на сербохорватский язык Аня Скрба.

Сбор данных 4D – 3D в реальном времени

Проект 4D Vision был нацелен на разработку технологии 3D Photometric Stereo, позволяющей захватывать 3D лица в режиме реального времени.

Мы надеялись разработать новые возможности визуализации для высокоскоростного и разрешающего захвата движений лица. В сочетании с надежным анализом с несколькими разрешениями, реалистичной визуализацией и быстрым взаимодействием.

Захват 4D имеет фундаментальное значение в ряде задач, таких как обнаружение обманного поведения и реалистичное моделирование выражения лица игровых персонажей.

Этот проект был поддержан QR-финансированием HEFCE.

Цели

  • Создайте систему для общего 3D-захвата лица и макро-движения.
  • Восстановление в реальном времени движущихся фигур и информации о трехмерных текстурах с беспрецедентным субпиксельным разрешением.
  • Реалистичная визуализация движущихся лиц с визуализацией и взаимодействием в реальном времени.
  • Создать и поддерживать открытый доступ к исследовательской базе данных, показывающей конкретные последовательности взаимодействия лицевых движений.
  • Разработка и внедрение новых автоматизированных методов выделения и классификации элементов, которые используют пространственно-временную информацию о движущихся трехмерных гранях и позволяют быстро обнаруживать макро- и микродвижения
  • Создайте новую таксономию выражений лица, используя надежную и точную модель для сопоставления микро- и макродвижений лица с соответствующими выражениями.

Захват и восстановление в реальном времени

Захват и восстановление движущихся трехмерных лиц в режиме реального времени включает передачу и обработку больших объемов данных. Для решения этой проблемы мы использовали специальную комбинацию аппаратного и программного обеспечения. Вся обработка реконструкции и анализа выполнялась параллельно на комбинированном процессоре с процессором и графическим процессором.

Помимо обеспечения возможности высокопроизводительного распознавания при перемещении 3D-данных, этот подход имел преимущество в использовании платформ разработки, поддерживающих переносимые приложения.

Вверху: используется 4D установка с указанием источников света.

Моделирование и классификация мимики

Распознавание выражений лица обычно осуществляется в области 2D-визуализации. Разработки в CMV, визуализация концепций 4D, таких как Photoface и проект 4D Vision, позволили анализировать плотную информацию о трехмерной поверхности статическим и динамическим способами, соответственно.

Эти системы используют метод классификации, который является и позой, и инвариантом освещения, следовательно, преодолевая ограничения 2D подходов.

В отличие от других широко используемых методов трехмерного захвата, фотометрическое стерео обеспечивает плотную высокочастотную пространственную информацию. Это захватывает мелкие детали, такие как морщины и переходные борозды.

Эта информация высокой плотности также позволяет извлекать элементы на основе кривизны. Благодаря отбору статистических признаков и классификации на основе SVM мы смогли точно классифицировать выражения лица.

Прочитайте статью New Scientist о нашем проекте 4D-захвата.

Применение фотометрического стерео в дерматологии

Мы приняли вычислительный подход, чтобы перепроектировать устройство, которое прежде всего проверяет кожу для дерматологического использования.

Наше устройство способно захватывать изображения кожи, генерировать трехмерные изображения для отображения на экране и анализировать изображения, чтобы обнаружить наличие рака кожи – особенно злокачественной меланомы.

Устройство должно помочь специалистам провести различие между злокачественной меланомой и доброкачественными поражениями кожи.

Мы построили и спроектировали его в CMV. Корпус содержит камеру и шесть светодиодных источников света. Отдельное изображение захватывается с каждым из светодиодов, независимо освещенных.

Предлагаемый способ классификации поражения кожи (злокачественного или доброкачественного) обобщен на блок-схеме следующим образом.

Фотометрическое стерео

Фотометрический стереофонический этап алгоритма выполняется с использованием полного уравнения цветовой матрицы:

Инструмент используется для проверки кожи через локальные или удаленные терминалы. Это производит изображения через комбинацию фотометрического стерео, генерации карты удара и проекции перспективы.

Пример набора захваченных изображений показан ниже. Применение фотометрических стерео методов дает результаты, показанные справа от рисунка, то есть поле нормалей поверхности, карту альбедо и карту рельефа.

Извлечение функций

Характеристика кожи с помощью изображений, полученных с помощью устройства, является обязательным промежуточным этапом в этом проекте.

Хорошие характеристики, извлеченные из геометрической или цветовой информации, должны быть инвариантными или почти инвариантными к положению и позе объекта, условиям освещения и настройке камеры.

Возможности могут включать асимметрию, границу, изменение цвета и диаметр (ABCD).

В качестве примера извлечения признаков рассмотрим две фигуры ниже. Слева изображение реального образца кожи. Справа показан рисунок кожи, выделенный с использованием методов обработки изображений.

Здание классификатора

Создание классификатора объединяет несколько эвристических правил, используемых дерматологами для выявления злокачественной меланомы.

Правила ABCD могут быть простыми и неточными, если рассматривать их отдельно. Хотя, объединяя их вместе, используя методы, такие как повышение, окончательный классификатор будет очень точным и имеет хорошие возможности обобщения.

Изображение ниже иллюстрирует попытку изолировать подозрительные области поражения. В будущем эти регионы будут детально обнаруживаться и анализироваться с использованием нашего алгоритма классификатора.

Новая неинвазивная оценка дыхательной функции (NORM)

NORM был проектом Национального института здравоохранения NHS, финансируемым по схеме «Изобретение для инноваций» (i4i), и начался в июне 2009 года. Это было краткосрочное (один год) технико-экономическое обоснование.

Задний план

Тестирование респираторной функции редко встречается у пациентов всех возрастов – не существует соответствующего инструмента оценки.

Для детей с респираторными заболеваниями или расстройствами, связанными с усталостью (например, с мышечной дистрофией), требующие усилий усилия, требующие координации и сотрудничества, могут быть сложными. Предотвращение точного мониторинга процесса болезни.

Прикроватные методы часто опираются на методологии, склонные к ошибкам. В настоящее время не существует неинвазивной точной системы, требующей минимального сотрудничества для мониторинга или оценки дыхательной функции, применимой для всех возрастов. Это препятствует исследованиям прямо сопоставимых (в отличие от непосредственно связанных) данных из детства во взрослую жизнь.

Цели

Мы разрабатываем новый, неинвазивный метод бесконтактной оценки функции дыхательных мышц. Посредством мониторинга изменений трехмерных деталей поверхности тела человека в режиме реального времени.

Оптическая система фиксирует и отслеживает все детали движения грудной клетки и брюшной стенки, динамически регистрируя трехмерную форму и изменение размеров тела во время дыхания.

Разрабатывается модель для корреляции данных измерений с функцией дыхательных мышц. Система изначально предназначена для использования на взрослых пациентах и может быть адаптирована для использования на детях (после соответствующих последующих исследований и испытаний).

Система может быть использована для мониторинга или диагностики неврологических, мышечных движений и нарушений дыхательной системы.

Текущее развитие

Характеристика освещения

Настройка системы

Программное обеспечение для сбора данных

Потенциальное воздействие

Для ГСЗ это может быть:

  1. Более дешевый; нет расходных материалов, выделенного лабораторного пространства или технической поддержки на месте.
  2. Позволяет специалисту оценки лечения / мониторинга в сообществе.
  3. Прост в управлении, обеспечивает поддержку телемедицины специалистами центра.
  4. Непрерывный мониторинг позволяет проводить более детальную оценку.
  5. Местное использование сокращает количество посещений больницы, экономя время и дорогостоящие исследования, например, полисомнография.
  6. Лучшая оценка ухудшения дыхания позволяет проводить более своевременную профилактическую / спасательную терапию; сокращение долгосрочных требований NHS.

Воздействие на пациентов может быть:

  1. Снижение стресса.
  2. Местное использование – не нужно посещать специализированный центр.
  3. Улучшает своевременность / точность диагностики, влияя на здоровье / выздоровление; без маски, мундштука или волевого компонента, поэтому подходит для молодых пациентов.
  4. Неинвазивный, подходит для мониторинга в критических ситуациях.

Контакт

Для получения дополнительной информации, пожалуйста, свяжитесь с Линдоном Смитом по электронной почте lyndon.smith@uwe.ac.uk или по телефону +44 (0) 117 328 2009.

Скрытое обнаружение и распознавание объектов

Мы разработали портативное устройство для автоматического обнаружения и распознавания потенциальных угроз для войск в зонах военных действий.

Наша идея выиграла финансирование для разработки в качестве прототипа совместно с партнерами SEA (Group) Ltd. Идея была выдвинута нашей командой экспертов Machine Vision во главе с профессором Мелвином Смитом. Он может помочь солдатам обнаруживать замаскированные объекты или людей, а также улучшать и распознавать формы 3D-объектов, таких как оружие или взрывчатка, спрятанные под одеждой.

Система, основанная на нашем опыте в фотометрических стерео техниках, выявляет и улучшает тонкие формы и детали поверхности, которые могут быть невидимыми или намеренно скрытыми. Фотометрическое стерео создает составное изображение с использованием света, по меньшей мере, из трех источников, связанных с компьютером, для получения подробной информации о поверхности объекта.

Технический директор оборонного отдела SEA Питер Купер сказал: «Различные конфигурации портативного устройства могут использоваться в различных сценариях задач, например, может быть разработана компактная носимая версия для работы на близком расстоянии или портативная система для работы несколькими персонал на больших расстояниях в поле. Мы с нетерпением ожидаем совместной работы с UWE в этом сложном проекте ».

МО получило 467 заявок на Конкурс идей, более половины из которых поступили от университетов и малых или средних предприятий. Шестьдесят шесть предложений – примерно одно из семи – были успешными, и из этих 22 контрактов были заключены университеты. В целом, эти проекты представляют собой инвестиции в размере около 11 млн. Фунтов стерлингов в новые идеи для улучшения стратегии британских оборонных технологий.

В качестве демонстрации техники рассмотрим первое изображение выше. Это показывает модель самолета, размещенного на плоской поверхности с 2D-изображениями самолета. При просмотре сверху (второе изображение) трудно идентифицировать реальный замаскированный объект по фону. Однако фотометрическое стерео показывает трехмерную структуру сцены, выделяя реальный объект.

В качестве второго примера рассмотрим изображения ниже. На левом изображении показана обычная фотография нескольких замаскированных оружий. Используя наш метод, форма предметов может быть улучшена, чтобы четко определить местоположение и класс скрытых предметов (справа).

Контроль качества зеркальных керамических материалов

В промышленности отсутствует метод быстрого и автоматизированного контроля сложных глянцевых товаров, особенно в режиме онлайн, например, с высокой скоростью. Эти продукты по-прежнему необходимо проверять вручную, что является трудоемким, однообразным и дорогостоящим.

Большинство существующих онлайн-систем контроля зеркальных поверхностей дают только качественные результаты, такие как размер, ориентация или основные геометрические размеры. Другие мощные системы могут быть применены только к гладким, не сложным поверхностям.

Этот докторский проект был направлен на разработку метода и устройства для быстрой реинжиниринга зеркальных поверхностей, когда они в режиме онлайн. Результатом является устройство для генерации полного представления геометрии поверхности.

Кроме того, более ранняя реализация впервые сможет качественно пометить наличие дефектов даже для сложных поверхностей с большими нормальными углами.

В то время как керамические плитки для зеркальных покрытий используются в качестве примера, результаты нашей работы непосредственно применимы ко всем поверхностям, имеющим зеркальные характеристики, таким как металлы, пластмассы и полированные или лакированные материалы.

Мы решили проблему, изучив то, что мы придумали зеркальную подпись. Это отражение линейного лазера рассматриваемой поверхности, видимое на полупрозрачном экране. Он содержит всю информацию о нормали поверхности и увеличивает мельчайшие дефекты. К сожалению, любая пространственная информация теряется. С другой стороны, стандартная лазерная триангуляция очень неточна для зеркальных поверхностей, но сохраняет пространственную информацию. Наше уникальное устройство объединяет эти два независимых метода измерения и впервые позволит осуществлять быстрый, объективный и воспроизводимый контроль качества целых партий зеркальных объектов.

Рисунок 1: Пример 10 наложенных зеркальных подписей со смещением 0,75 мм. Видны изменения в профиле поверхности и дефект среднего размера в центре справа.

Зеркальная подпись фиксируется и динамически пороговая. Специально разработанный, новый, многоуровневый алгоритм трассировки линий в реальном времени затем используется для извлечения максимальной информации о нем. После этого можно выявить подозрительные области, указывающие на отклонения.

Одновременно применяется стандартная лазерная триангуляция с обнаружением пика центра тяжести и вычисляется вероятная сигнатура. На данный момент мы разрабатываем способы эффективного слияния подписей.

Рисунок 2. Диаграмма операций. Зеркальная и предполагаемая подписи объединяются, чтобы получить полное представление поверхности.

Рисунок три: изображение устройства. Две камеры наблюдают за линейным лазерным профилем и сигнатурой, когда зонд движется.

Использование 3D лицевой асимметрии для лучшей диагностики и лечения плагиоцефалии

Проект Совета медицинских исследований (MRC) по изучению аномалий черепа у детей. В сотрудничестве с North Bristol NHS Trust и лондонской ортопедической консультацией.

Мы использовали инновационные методы трехмерной визуализации, чтобы точно измерить лица и головы групп детей, чтобы найти связи между аномалией в форме головы и тонкими признаками, присутствующими в чертах лица.

Нашей основной целью является тип черепно-мозговых расстройств, известных как позиционная плагиоцефалия. Где две стороны черепа развиваются противоречиво, так что форма головы имеет асимметричную, уплощенную или другую ненормальную форму.

Предыдущие исследования показали возможную связь между деформационной плагиоцефалией и асимметрией лица. Число детей с диагнозом плагиоцефалия в последнее время резко возросло с 1 на 300 до примерно 1 на 60.

Когда развивается позиционная плагиоцефалия, передняя часть одной стороны черепа и задняя часть противоположной стороны не растут одинаково по сравнению с аналогами. Это делает структуру черепа асимметричной и, следовательно, искажает форму лица.

В проекте использовалось представление формы в расширенном гауссовом изображении (EGI), чтобы классифицировать как степень деформации черепа, так и асимметрию, присутствующую на лице.

Исходя из 70 подробных сканирований, ранние результаты показывают определенные признаки корреляции между двумя метриками и смогли количественно оценить улучшения, достигнутые с помощью современных методов лечения.

Этот проект основан на проекте захвата 3D-данных лица в рамках проекта EPSRC PhotoFace. Надежда состоит в том, что работа может в конечном итоге помочь улучшить диагностику и лечение плагиоцефалии.

Ожидается, что разработка практического метода для оценки трехмерной формы лица и симметрии также будет иметь более широкое применение, например, при оценке пациентов, перенесших инсульт, или при оценке результатов хирургического вмешательства при различных реконструктивных процедурах на лице, включая расщелину неба.

MRC грант № 85543