3d сканирование при помощи pix4d
- 361Поделились
С появлением доступных беспилотников, таких как DJI Phantom, рынок аэрофотосъёмок вырос: если раньше съёмка с вертолёта или самолёта стоила дорого и была невозможной для труднодоступных мест, то теперь всё больше компаний заказывают видеосъёмку, съёмку ортофотопланов и 3d моделей именно с беспилотников.
Существует более десятка программ, как отечественных, так и иностранных, позволяющих создавать 3d реконструкции по изображениям. Среди них: Agisoft Photoscan, Photomod, Datumate и другие.
В этой статье Copter Express познакомит нас с программой pix4d.
Эти 3д реконструкции сделаны с помощью обычных фотографий, снятых на беспилотник и объединённых в 3д модель. Программа pix4d позволяет одновременно обрабатывать и объединять тысячи фотографий, снятых с разных ракурсов, и автоматически создавать топографические карты и 3d модели местности.
Как объединяются фотографии?
Информация о каждой фотографии записывается в EXIF-файл: с какой высоты она была снята, на какой угол повёрнута камера, какие данные долготы и широты. Программа использует технологии машинного зрения и фотограмметрии для нахождения общих точек на многих фотографиях. Учитывая гео-данные и угол поворота камеры, каждому пикселю ищется цветовое соответствие на других фотографиях.
Каждое соответствие становится ключевой точкой. Если ключевая точка найдена на трёх фотографиях и более, программа строит эту точку в пространстве. Чем больше ключевых точек, тем легче определить координаты точки в пространстве. Отсюда следует главное правило — поддерживать большое пересечение между фотографиями. Разработчики программы рекомендует пересечение от 60 до 80%.
Пространственные координаты каждой точки вычисляются методом триангуляции: от каждой точки съёмки к выбранной точке автоматически проводится линия зрения (line of sight или ray), и их пересечение даёт искомое значение.
Алгоритмы, применяемые в фотограмметрии, имеют целью минимизировать сумму квадратов множества ошибок, решаемую обычно с помощью алгоритма Левенберга — Марквардта (или метода связок), основанного на решении нелинейных уравнений методом наименьших квадратов.
Совокупность всех 3d точек называется облаком точек. В процессе обработки фотографий создаётся расширенное облако точек, которое используется для генерирования поверхности, составленной из треугольников (полигонов, мешей). Последний шаг — вычислить разрешение (размер пикселя) и какие пиксели на фотографии соответствуют какому мешу. Для этого 3d модель развёртывается в 2d плоскость и затем 3d положение точки ставится в соответствие оригинальной фотографии для задания цвета.
Процесс съёмки
Процесс съёмки начинается с задания параметров автоматической миссии в приложении pix4d (доступно для iOS и андройда): вы выбираете площадь, скорость и наклон камеры. Приложение через официальный SDK управляет коптером, камерой и подвесом. Взлёт, съёмка и посадка полностью автоматизированы, но пилот должен уметь управлять и вмешаться в процесс, если что-то пойдёт не так.
Снимать можно на любые камеры: мыльницы, зеркалки, GoPro, Canon 5D Mark III и даже тепловизор. Команда pix4d сотрудничает со многими производителями мультикоптеров и планеров — такими как SenseFly, Aeryon, 3DR, Delair Tech, Skydrones — которые поставляются со своими программными продуктами для задания параметров автоматической миссии и используют технологию pix4d. Объединяет их всех протокол MAVlink (Micro Air Vehicle Link), предназначенный для обмена данными между системой управления внутри беспилотника, а также между беспилотником и наземной станцией. Протокол используется для передачи пространственного положения по GPS, ориентации БПЛА и его скорости.
Автоматическая миссия на данный момент имеет следующие характеристики: высота 50 метров, размер площади: от 10х10 до 200х120 — такое ограничение вызвано временем работы аккумулятора и уровнем приёма сигнала Wi-Fi, скорость дрона 2-5 м/с, снимает каждые 10 метров, угол наклона камеры от 0 до 90 градусов.
Точность съёмки зависит от перепада высот снимаемой площади и присутствия зданий и деревьев. При автоматической миссии GSD составляет примерно 2,2 см/пиксель. GSD — это расстояние между центрами пикселей, измеренными на поверхности. Чем выше сделаны фотографии, тем выше это значение и тем меньше видно деталей.
Для чего используют?
Программа позволяет строить различные типы 3d моделей местности:
Контурные линии
Digital Surface Model
Программа позволяет проводить измерения: считать объёмы, площади и расстояния. Это можно использовать для контроля оставшихся запасов на стройках.
3d реконструкция статуи Христа в Бразилии
За 19 десятиминутных вылетов было отснято 3584 фотографии, из которых 2090 были использованы для создании модели. Из-за сильного ветра, капризных погодных условий, непостоянного света и ограниченных часов для посещения, съёмочный процесс занял приблизительно 8 часов, растянутых на 7 дней. Разные частей модели были вручную объединены с помощью 82 контрольных точек и нескольких замеров длины для верного масштаба. Финальная версия содержит 2.5 миллиона мешей и 134.4 миллиона точек в разрешении 16384х16384 пикселей.
Затопленные берега реки
Команда pix4d за час съёмок и 14 часов обработки смогла получить 3d модель затопленной территории общей площадью 360 Га и протяжённостью 15 км. Точность модели составила 4.12 cм/пиксель, объединены 1992 фотографии. У проекта было две цели: установить максимальный уровень повышения воды в реке во время потопа и отслеживать динамику в долгосрочном периоде, а также выявить участки с упавшими деревьями и найти те, что повлияли на береговую проходимость или образовали запруды.
Гора Маттерхорн
За 11 вылетов на планере, составивших в сумме 5ч 40 минут полётного времени, команда pix4d сделала 2188 фотографий чтобы создать из них 3d модель самой известной горы в Швейцарии. Общая площадь покрытия составила 28 кв. км, длина пути 263.6 км, а максимальная высота — 4707 м. Модель содержит 300 млн. точек с разрешением 20 см/пиксел.
Замок в Швейцарии
Целью проекта было создать очень точную модель Шильонского замка в Швейцарии — сложного архитектурного сооружения, включающего в себя внутренний двор и 18 комнат. Для получения фотографий внешних и внутренних частей замка были использованы Phantom 2 Vision, GoPro Hero 3+, Canon 6D и Sony alpha 7r.
За полдня команда проекта сделала 6200 фотографий. Для точной реконструкции фасадов были использованы несколько типов съёмок: вертикально вниз, съёмка с наклоном камеры и наземные фотографии — а затем 19 отдельных сетов фотографий были обработаны в программе pix4d, объединены и преобразованы в карту высот, состоящую из 95 миллионов точек с результирующим разрешением от 5 мм до 20 см.
Применение в сельском хозяйстве
БПЛА позволяет снизить время, проводимое в полях с целью поиска проблемных зон. Вместе с периодическими взятиями проб земли, еженедельный мониторинг помогает раньше выявить проблемные зоны и выиграть время для предотвращения потери урожая.
Используя снимки в инфракрасном диапазоне и диапазоне красных цветов можно получать динамическую картину процессов изменения границ и характеристик различных типов растительности (месячные вариации, сезонные вариации, годовые вариации), а так же места вырубки и атаки насекомых-вредителей или, наоборот, наблюдать процесс восстановления растительности.
Что ещё можно делать с помощью этой технологии?
Можно оцифровать разрушающиеся памятники всемирного наследия ЮНЕСКО, как это делают с оперным театром в Сиднее. А ещё полученные модели можно использовать как объекты виртуального мира для очков типа OculusRift: люди смогут виртуально путешествовать по отдалённым местам с вполне реальными ощущениями.
Ограничения
Если на объекте есть отражения, то программа распознает их как элемент конструкции и использует для создания модели. Такие артефакты можно удалять встроенными методами программы. Однородные поверхности, такие как пустыни и моря, реконструировать не получится.
Форматы
Программа позволяет экспортировать в следующие форматы:
- Contour lines: .shp .pdf .dxf;
- Video animation: .mp4 .mkv .avi;
- 3D Textured Mesh: .obj .ply .pdf;
- Orthomosaic: tif (GeoTIFF) .kml .html .mbtiles;
- Index Map: .tif (GeoTIFF) .shp;
- Digital Surface Model (DSM): .las .laz .xyz .tif (GeoTIFF);
- Point Clouds: .las .laz .xyz .ply;
- 3D Digitized objects: .shp .dxf .kml .dgn;
- Digital Terrain Model (DTM): .tif (GeoTIFF).
Резюме
Программа pix4d даёт необходимую точность данных для областей сельского хозяйства, строительства, служб по контролю за территориями, в горном деле и топографии. При этом процесс получения данных быстрее, дешевле, проще и безопаснее, чем съёмка с самолёта или со спутника.
Copter Express
Программа позволяет создавать анимационный полёт по точкам с выбранными ракурсами. Компания Copter Express сделала 3d модель и анимацию одного из своих полигонов, на котором они тестируют коптеры.
Copter Express оказывает услуги по созданию таких 3d реконструкций и ортофотопланов, чтобы вы могли сосредоточить усилия на использовании и анализе полученных данных.
Контактная информация есть сайте http://www.copterexpress.ru
Чем ещё занимается компания?
Совместно с компанией Dodo Pizza они организовали первую в мире коммерческую доставку пиццы в городе Сыктывкар.
Также на образовательных курсах сотрудники компании расскажут вам базовый курс по аэродинамике и научат, как собрать свой квадрокоптер, настроить его, и как на нём летать. Скоро открывается пятый набор, записаться можно здесь http://edu.copterexpress.ru
Выпускники и все желающие могут показать свои умения на соревнованиях квадрокоптерах, ближайшее из которых пройдёт 9 мая в Химках.
Также в магазине компании можно купить готовые коптеры или комплект для сборки.
За написание статьи для 3d-daily большое спасибо Николаю Жердеву, инженеру Copter Express.
- 361Поделились