3d сканирование при помощи pix4d

С появлением доступных беспилотников, таких как DJI Phantom, рынок аэрофотосъёмок вырос: если раньше съёмка с вертолёта или самолёта стоила дорого и была невозможной для труднодоступных мест, то теперь всё больше компаний заказывают видеосъёмку, съёмку ортофотопланов и 3d моделей именно с беспилотников.

Существует более десятка программ, как отечественных, так и иностранных, позволяющих создавать 3d реконструкции по изображениям. Среди них: Agisoft Photoscan, Photomod, Datumate и другие.

В этой статье Copter Express познакомит нас с программой pix4d.

Эти 3д реконструкции сделаны с помощью обычных фотографий, снятых на беспилотник и объединённых в 3д модель. Программа pix4d позволяет одновременно обрабатывать и объединять тысячи фотографий, снятых с разных ракурсов, и автоматически создавать топографические карты и 3d модели местности.

Как объединяются фотографии?

Информация о каждой фотографии записывается в EXIF-файл: с какой высоты она была снята, на какой угол повёрнута камера, какие данные долготы и широты. Программа использует технологии машинного зрения и фотограмметрии для нахождения общих точек на многих фотографиях. Учитывая гео-данные и угол поворота камеры, каждому пикселю ищется цветовое соответствие на других фотографиях.

Каждое соответствие становится ключевой точкой. Если ключевая точка найдена на трёх фотографиях и более, программа строит эту точку в пространстве. Чем больше ключевых точек, тем легче определить координаты точки в пространстве. Отсюда следует главное правило — поддерживать большое пересечение между фотографиями. Разработчики программы рекомендует пересечение от 60 до 80%.

Пространственные координаты каждой точки вычисляются методом триангуляции: от каждой точки съёмки к выбранной точке автоматически проводится линия зрения (line of sight или ray), и их пересечение даёт искомое значение.

Алгоритмы, применяемые в фотограмметрии, имеют целью минимизировать сумму квадратов множества ошибок, решаемую обычно с помощью алгоритма Левенберга — Марквардта (или метода связок), основанного на решении нелинейных уравнений методом наименьших квадратов.

Совокупность всех 3d точек называется облаком точек. В процессе обработки фотографий создаётся расширенное облако точек, которое используется для генерирования поверхности, составленной из треугольников (полигонов, мешей). Последний шаг — вычислить разрешение (размер пикселя) и какие пиксели на фотографии соответствуют какому мешу. Для этого 3d модель развёртывается в 2d плоскость и затем 3d положение точки ставится в соответствие оригинальной фотографии для задания цвета.

Процесс съёмки

Процесс съёмки начинается с задания параметров автоматической миссии в приложении pix4d (доступно для iOS и андройда): вы выбираете площадь, скорость и наклон камеры. Приложение через официальный SDK управляет коптером, камерой и подвесом. Взлёт, съёмка и посадка полностью автоматизированы, но пилот должен уметь управлять и вмешаться в процесс, если что-то пойдёт не так.

Снимать можно на любые камеры: мыльницы, зеркалки, GoPro, Canon 5D Mark III и даже тепловизор. Команда pix4d сотрудничает со многими производителями мультикоптеров и планеров — такими как SenseFly, Aeryon, 3DR, Delair Tech, Skydrones — которые поставляются со своими программными продуктами для задания параметров автоматической миссии и используют технологию pix4d. Объединяет их всех протокол MAVlink (Micro Air Vehicle Link), предназначенный для обмена данными между системой управления внутри беспилотника, а также между беспилотником и наземной станцией. Протокол используется для передачи пространственного положения по GPS, ориентации БПЛА и его скорости.

Автоматическая миссия на данный момент имеет следующие характеристики: высота 50 метров, размер площади: от 10х10 до 200х120 — такое ограничение вызвано временем работы аккумулятора и уровнем приёма сигнала Wi-Fi, скорость дрона 2-5 м/с, снимает каждые 10 метров, угол наклона камеры от 0 до 90 градусов.

Точность съёмки зависит от перепада высот снимаемой площади и присутствия зданий и деревьев. При автоматической миссии GSD составляет примерно 2,2 см/пиксель. GSD — это расстояние между центрами пикселей, измеренными на поверхности. Чем выше сделаны фотографии, тем выше это значение и тем меньше видно деталей.

Для чего используют?

Программа позволяет строить различные типы 3d моделей местности:

Контурные линии

Digital Surface Model

Программа позволяет проводить измерения: считать объёмы, площади и расстояния. Это можно использовать для контроля оставшихся запасов на стройках.

3d реконструкция статуи Христа в Бразилии

За 19 десятиминутных вылетов было отснято 3584 фотографии, из которых 2090 были использованы для создании модели. Из-за сильного ветра, капризных погодных условий, непостоянного света и ограниченных часов для посещения, съёмочный процесс занял приблизительно 8 часов, растянутых на 7 дней. Разные частей модели были вручную объединены с помощью 82 контрольных точек и нескольких замеров длины для верного масштаба. Финальная версия содержит 2.5 миллиона мешей и 134.4 миллиона точек в разрешении 16384х16384 пикселей.

Затопленные берега реки

Команда pix4d за час съёмок и 14 часов обработки смогла получить 3d модель затопленной территории общей площадью 360 Га и протяжённостью 15 км. Точность модели составила 4.12 cм/пиксель, объединены 1992 фотографии. У проекта было две цели: установить максимальный уровень повышения воды в реке во время потопа и отслеживать динамику в долгосрочном периоде, а также выявить участки с упавшими деревьями и найти те, что повлияли на береговую проходимость или образовали запруды.

Гора Маттерхорн

За 11 вылетов на планере, составивших в сумме 5ч 40 минут полётного времени, команда pix4d сделала 2188 фотографий чтобы создать из них 3d модель самой известной горы в Швейцарии. Общая площадь покрытия составила 28 кв. км, длина пути 263.6 км, а максимальная высота — 4707 м. Модель содержит 300 млн. точек с разрешением 20 см/пиксел.

Замок в Швейцарии

Целью проекта было создать очень точную модель Шильонского замка в Швейцарии — сложного архитектурного сооружения, включающего в себя внутренний двор и 18 комнат. Для получения фотографий внешних и внутренних частей замка были использованы Phantom 2 Vision, GoPro Hero 3+, Canon 6D и Sony alpha 7r.

За полдня команда проекта сделала 6200 фотографий. Для точной реконструкции фасадов были использованы несколько типов съёмок: вертикально вниз, съёмка с наклоном камеры и наземные фотографии — а затем 19 отдельных сетов фотографий были обработаны в программе pix4d, объединены и преобразованы в карту высот, состоящую из 95 миллионов точек с результирующим разрешением от 5 мм до 20 см.

Применение в сельском хозяйстве

БПЛА позволяет снизить время, проводимое в полях с целью поиска проблемных зон. Вместе с периодическими взятиями проб земли, еженедельный мониторинг помогает раньше выявить проблемные зоны и выиграть время для предотвращения потери урожая.

Используя снимки в инфракрасном диапазоне и диапазоне красных цветов можно получать динамическую картину процессов изменения границ и характеристик различных типов растительности (месячные вариации, сезонные вариации, годовые вариации), а так же места вырубки и атаки насекомых-вредителей или, наоборот, наблюдать процесс восстановления растительности.

Что ещё можно делать с помощью этой технологии?

Можно оцифровать разрушающиеся памятники всемирного наследия ЮНЕСКО, как это делают с оперным театром в Сиднее. А ещё полученные модели можно использовать как объекты виртуального мира для очков типа OculusRift: люди смогут виртуально путешествовать по отдалённым местам с вполне реальными ощущениями.

Ограничения

Если на объекте есть отражения, то программа распознает их как элемент конструкции и использует для создания модели. Такие артефакты можно удалять встроенными методами программы. Однородные поверхности, такие как пустыни и моря, реконструировать не получится.

Форматы

Программа позволяет экспортировать в следующие форматы:

• Contour lines: .shp .pdf .dxf;
• Video animation: .mp4 .mkv .avi;
• 3D Textured Mesh: .obj .ply .pdf;
• Orthomosaic: tif (GeoTIFF) .kml .html .mbtiles;
• Index Map: .tif (GeoTIFF) .shp;
• Digital Surface Model (DSM): .las .laz .xyz .tif (GeoTIFF);
• Point Clouds: .las .laz .xyz .ply;
• 3D Digitized objects: .shp .dxf .kml .dgn;
• Digital Terrain Model (DTM): .tif (GeoTIFF).

Резюме

Программа pix4d даёт необходимую точность данных для областей сельского хозяйства, строительства, служб по контролю за территориями, в горном деле и топографии. При этом процесс получения данных быстрее, дешевле, проще и безопаснее, чем съёмка с самолёта или со спутника.

Copter Express

Программа позволяет создавать анимационный полёт по точкам с выбранными ракурсами. Компания Copter Express сделала 3d модель и анимацию одного из своих полигонов, на котором они тестируют коптеры.

Copter Express оказывает услуги по созданию таких 3d реконструкций и ортофотопланов, чтобы вы могли сосредоточить усилия на использовании и анализе полученных данных.

Контактная информация есть сайте http://www.copterexpress.ru

Чем ещё занимается компания?

Совместно с компанией Dodo Pizza они организовали первую в мире коммерческую доставку пиццы в городе Сыктывкар.

Также на образовательных курсах сотрудники компании расскажут вам базовый курс по аэродинамике и научат, как собрать свой квадрокоптер, настроить его, и как на нём летать. Скоро открывается пятый набор, записаться можно здесь http://edu.copterexpress.ru

Выпускники и все желающие могут показать свои умения на соревнованиях квадрокоптерах, ближайшее из которых пройдёт 9 мая в Химках.

Также в магазине компании можно купить готовые коптеры или комплект для сборки.

За написание статьи для 3d-daily большое спасибо Николаю Жердеву, инженеру Copter Express.