Повний посібник з 3D-сканування за допомогою вашого мобільного пристрою Android

Перетворення реального об'єкта на цифрову модель більше не є лише завданням дорогих лабораторій чи великих студій. Сьогодні ви можете досить непогане 3D-сканування за допомогою телефону Android, використовуючи вашу ToF (часопрольотну) камеру або, якщо це неможливо, звичайну камеру в поєднанні з фотограмметрією та безкоштовним програмним забезпеченням на вашому комп’ютері.

З невеликим терпінням, певними навичками роботи з фотографіями та правильними програмами ви можете Реконструюйте статуї, фігури, людей або предмети повсякденного вжитку у 3D не витрачаючи цілого статку. У цьому посібнику ви крок за кроком дізнаєтеся, як скористатися перевагами ToF-камери вашого пристрою Android (а також звичайної камери) для створення 3D-моделей, готових до редагування, обміну або друку.

Що таке фотограмметрія і як у неї вписується ToF-камера вашого Android?

Основою майже всіх робочих процесів мобільного сканування є фотограмметрія або структура з руху (SfM)Цей метод передбачає використання багатьох фотографій одного й того ж об'єкта, зроблених з різних ракурсів, щоб спеціалізоване програмне забезпечення могло розрахувати положення камери на кожному зображенні та реконструювати 3D-геометрію з пікселів.

На практиці, що робить програма, це пошук повторюваних ознак серед кількох зображеньПроцес включає визначення місця, з якого було зроблено кожну фотографію, та використання цієї інформації для створення точок у 3D-просторі (хмари точок), які потім перетворюються на сітку з гранями та трикутниками. Чим більше корисних фотографій у вас є, і чим кращі вони зроблені, тим щільнішою та деталізованішою буде модель.

Камера ToF на багатьох телефонах Android додає додатковий шар: Він безпосередньо записує інформацію про глибину, вимірюючи час, необхідний для відбиття світла назад.Деякі програми поєднують це вимірювання глибини із зображеннями RGB для покращення сканування, особливо на коротких відстанях та для об'єктів малого та середнього розміру. Незважаючи на це, чиста фотограмметрія (використання лише фотографій) залишається ключовою, коли ви хочете захопити великі об'єкти, такі як статуї, фасади або простори.

Матеріали, необхідні для 3D-сканування за допомогою пристрою Android

Для початку, вам не потрібно облаштовувати домашню лабораторію. Ви можете створити її лише за допомогою кількох предметів. «Саморобний 3D-сканер» на базі вашого мобільного пристрою Android:

• Телефон на Android з гарною камероюВ ідеалі вам потрібна камера щонайменше 12 мегапікселів. Якщо ваш пристрій має ToF-камеру, ще краще, але це не обов'язково. Ви також можете використовувати дзеркальну фотокамеру, якщо маєте досвід у фотографії.
• Однорідне освітленняРізке світло з різкими тінями ускладнює роботу програмного забезпечення. В ідеалі, вам потрібне м’яке, рівномірне світло або хмарний день, якщо ви працюєте на вулиці.
• Пристойний комп'ютерВам не потрібна потужна машина, але вам потрібна програма, здатна запускати такі програми, як Cura, без постійних збоїв. Це дуже корисно для деякого фотограмметричного програмного забезпечення. мати графічний процесор NVIDIA з підтримкою CUDAоскільки розрахунок значно прискорюється.
• Безкоштовне програмне забезпечення для фотограмметрії та редагування сітокІснує кілька безкоштовних варіантів для відновлення та очищення вашої 3D-моделі.

З цим базовим обладнанням ви можете скануйте все: від маленьких фігурок до великих міських елементів просто шляхом гарної організації фотографій та робочого процесу.

Безкоштовне програмне забезпечення для відновлення 3D-моделей з вашого Android-пристрою

Коли справа доходить до обробки фотографій, зроблених мобільним телефоном, у вашому розпорядженні є кілька потужних безкоштовних інструментів. Кожен з них має свої особливості, але всі вони дозволяють вам... перетворення 2D-зображень у зручну для використання 3D-модель.

Основні програми фотограмметрії

• Colmap (Win/Mac/Linux)Це одне з найнадійніших рішень з відкритим кодом для фотограмметрії. Воно дозволяє автоматично реконструювати сцену з ваших фотографій, генерує щільну хмару точок і може створювати базову сітку. Воно вимогливе до апаратного забезпечення та зазвичай використовує... Відеокарти NVIDIA, що використовують CUDA.
• 3DF Zephyr безкоштовно (Windows)Безкоштовна версія має обмеження в 50 фотографій, але вона дуже зручна для початківців. Якщо у вас менше зображень, наприклад, невеликого об'єкта, відсканованого зблизька за допомогою ToF-камери, цього зазвичай достатньо.
• VisualSFM (Win/Mac/Linux)Це більш усталений варіант, корисний для реконструкцій SfM, хоча його інтерфейс може здаватися дещо застарілим. У поєднанні з Meshlab або Meshmixer він може створювати пристойні моделі.

У всіх випадках важливо чітко розуміти, що Розрахунок може тривати від кількох хвилин до кількох годин.Це залежить від кількості фотографій та потужності вашого комп’ютера. Якщо ваш комп’ютер працює нестабільно, спробуйте зменшити роздільну здатність зображення або загальну кількість знімків.

Програми для обробки та очищення сітки

Після того, як модель буде перебудована, наступним кроком буде очистити та підготувати сітку до фактичного використанняОсь тут і стають у пригоді інші безкоштовні інструменти:

• МешлабІдеально підходить для роботи з хмарами точок та щільними сітками. Дозволяє створювати нову сітку з набору точок, видаляти шум, виправляти проблемні грані, зменшувати кількість полігонів та експортувати в різні формати (PLY, OBJ, STL…).
• Мешміксердуже корисно для моделі постобробки, призначені для 3D-друкуВін має такі інструменти, як «Розріз площини», «Створити тверде тіло», вибір та видалення областей і навіть базові функції скульптури.
• змішувачЯкщо ви хочете піти далі, Blender ідеально підійде для цього. Удосконалення геометрії за допомогою цифрового скульптингу та покращити всі ті шорсткості та артефакти, типові для фотограмметрії.

Типова комбінація зазвичай така: ви перебудовуєте за допомогою Colmap або Zephyr, ви очищаєте та створюєте дрібну сітку за допомогою Мешлаб, ви закінчуєте з Мішміксер або блендер Якщо ви шукаєте ідеальну деталь для друку або інтеграції в 3D-рушій, такий як Unity.

Як робити гарні фотографії для 3D-сканування за допомогою мобільного телефону Android

Якість кінцевої моделі залежить набагато більше про фотографії, ніж про програмне забезпеченняНезалежно від того, наскільки хороша ваша ToF-камера, якщо зображення RGB розмиті, мають відблиски або не мають текстури, дотримуйтесь цих основних принципів, щоб збільшити шанси на успішне сканування.

Налаштування камери та кількість фотографій

На сучасному телефоні Android налаштуйте камеру в максимальна роздільна здатність та вимикає незвичайні автоматичні режими (фільтри краси, агресивний HDR тощо), які можуть змінювати кольори або контрастність між знімками.

Якщо ви використовуєте дзеркальну фотокамеру, встановіть діафрагму приблизно f/7-f/8 для гарної глибини різкості та уникайте розфокусованих ділянок. У будь-якому разі, робіть багато фотографій: для дрібних об'єктів ви можете залишатися в 20-50 зображеньАле для великих або дуже деталізованих виробів найкраще підійти до 50-80 фотографій або навіть 100.

Рух навколо об'єкта

Золоте правило таке Не рухайте об'єкт під час процесуРухаєтесь ви (і ваш мобільний пристрій), описуючи кола навколо моделі. Уявіть, що об'єкт знаходиться в центрі кола, і ви ходите навколо нього, підтримуючи відносно постійну відстань.

У кожній позиції переконайтеся, що об'єкт займає значну частину кадру Переконайтеся, що камера розташована якомога перпендикулярніше до основної поверхні, яку ви хочете зняти. Після того, як ви опишете коло на певній висоті, трохи підніміть або опустіть камеру та повторіть процес, щоб охопити верхню та нижню частини.

Накладання фотографій та керування середовищем

Програмному забезпеченню це потрібно кожна область об'єкта з'являється на кількох послідовних фотографіяхДля порівняння, він прагне досягти перекриття 60-80% між одним зображенням та наступним. Це допомагає алгоритму виявляти спільні точки та точно розраховувати геометрію.

Намагайтеся зробити середовище максимально стабільним: Уникайте ходьби по людях, проїзду автомобілів або переміщення гілок На передньому плані. Якщо ви скануєте на вулиці, можливо, варто робити це в години поза піком (наприклад, близько обіду або рано вранці).

Освітлення та типи поверхонь

Світло – це ключ. Завжди, коли це можливо, Працює з м'яким, розсіяним освітленнямХмарні дні ідеально підходять для роботи на вулиці. Якщо сонце яскраве, різкі тіні можуть обдурити алгоритм і спотворити модель, тому шукайте тінисті ділянки або зачекайте іншого часу.

Ідеальні поверхні – це матовий, текстурований та без відблисківтакі як камінь, бетон, груба деревина або деталізовані скульптури. Якщо об'єкт дуже блискучий або металевий, все ускладнюється: відблиски змінюються залежно від кута, і фотограмметрія виходить з ладу.

Дуже практичний трюк полягає в тому, Знищте блиск матовими спреями, борошном або малярною стрічкоюНаприклад, на скляних або лакованих поверхнях можна частково покрити їх скотчем, щоб створити текстуру та усунути дзеркальні відблиски, що значно покращить реконструкцію.

Поширені помилки, яких слід уникати

Існує кілька поширених помилок, яких слід уникати, якщо ви хочете, щоб ваше 3D-сканування за допомогою Android було зручним:

• Зробіть відео та витягніть кадриЦе може спрацювати в надзвичайній ситуації, але якість зазвичай гірша: більше розмиття в русі та менша різкість, ніж на окремих фотографіях.
• Не переглядайте зображенняЯкщо є розмиті, шумні або переекспоновані фотографії, видаліть їх перед обробкою. Кілька поганих знімків можуть зіпсувати реконструкцію.
• Розмістіть предмет далекоЯкщо об’єкт займає лише невелику частину фотографії, програма має дуже мало інформації. Підійдіть якомога ближче, не втрачаючи повного кадру, або зробіть знімки крупним планом.

Якщо ви дотримуєтеся цих основних пунктів, ваш телефон Android — з ToF чи без нього — зможе… згенерувати достатньо даних, щоб програмне забезпечення могло побудувати переконливу 3D-модель.

З мобільного телефону на комп'ютер: упорядкування фотографій для 3D-сканування

Після того, як ви зробили всі фотографії на телефон, саме час перенести їх на комп’ютер. Найпростіший спосіб – це… скопіюйте їх у окрему папку для кожного проєктуНаприклад, «Сканування_Статуї_Площі». Усередині створіть підпапку з назвою «Фотографії» та збережіть туди всі зображення.

Не зациклюйтеся на назвах файлів, якщо вони надходять з різних пристроїв; програми фотограмметрії Фотографії не обов'язково повинні дотримуватися певного порядку нумерації.Бажано візуально переглянути папку, щоб видалити розмиті або надмірно повторювані знімки.

Реконструкція 3D-моделі за допомогою Colmap або іншого безкоштовного програмного забезпечення

Давайте розглянемо типовий робочий процес з Colmap у Windowsякий слугуватиме орієнтиром, навіть якщо ви оберете інші програми (загальна логіка дуже схожа).

Базова конфігурація в Colmap

1. Відкрийте Colmap (наприклад, за допомогою файлу Colmap.bat).
2. У верхньому меню введіть «Реконструкція – Автоматична реконструкція».
3. Оберіть одне Папка робочої областісаме там Colmap зберігатиме проміжні результати та остаточну сітку (це може бути папка, пов’язана з «Фото»).
4. Вказує на папку зображень який містить фотографії, зроблені вашим Android.
5. Залиште поле «Дерево словника» порожнім, якщо ви не хочете завантажити його з офіційної сторінки, щоб пришвидшити зіставлення зображень.
6. Якщо фотографії з відео, змініть тип даних на «Відеокадри»; в іншому випадку залиште його як «Окремі зображення».
7. Налаштуйте якість на «Середній» для покращення стабільностіНа багатьох пристроях опція «Високий» збільшує кількість збоїв, не забезпечуючи суттєвих покращень, за винятком дуже складних сцен.
8. Залиште решту опцій за замовчуванням і натисніть "Біг".

Залежно від кількості фотографій та потужності вашого ПК, процес може тривати від 5 хвилин до можливості «залишити його на ніч». Після завершення ви побачите 3D-вигляд з реконструйованою сценою та розташуванням камер навколо об'єкта.

Розуміння вихідних файлів Colmap

У робочій папці Colmap створить кілька підпапок. Найрелевантніші з них зазвичай розташовані приблизно в такій папці, як «workspace/dense/0/». Там ви знайдете, серед інших, два ключові файли:

• плавлений шар: містить реконструйована щільна хмара точокЦе ще не сітка, а набір 3D-точок. Зазвичай вона забезпечує найякіснішу основу для створення чистої сітки в Meshlab.
• сітчастий шарЦе триангульована сітка, автоматично згенерована Colmap. Вона може служити швидкою відправною точкою, якщо ви не хочете ускладнювати речі, хоча Зазвичай це не найвишуканіший варіант. і майже завжди потребуватиме підфарбовування.

Майте на увазі, що сітки отримані з фотограмметрії Вони не постачаються готовими до друку.Вони часто мають отвори, дивні грані, плаваючі області та довільний масштаб, який вам доведеться налаштувати в програмному забезпеченні для нарізки або редагування.

Створення та очищення сітки в Meshlab

Якщо ви хочете отримати максимум від своїх даних, найкраще, що можна зробити, це починаючи з хмари точок «fused.ply» та створіть власну добре контрольовану сітку.

Імпорт та очищення хмари точок

1. Відкрити Мешлаб і перейдіть до розділу «Файл – Імпорт сітки», щоб завантажити файл fused.ply.
2. Ви побачите хмару точок, що пливуть у тривимірному просторі. Перший крок — Видаліть усе, що не належить до основного об'єкта (підлога, стіни, дерева, частини людей, які проходили повз...).
3. використовувати інструмент «Вибір вершин» у верхній панелі. Утримуйте ліву кнопку миші, щоб намалювати прямокутне виділення навколо точок, які потрібно видалити.
4. натисніть кнопку «Видалити вершини» щоб видалити вибрані точки.
5. Повторюйте процес, доки не залишаться лише точки, що утворюють об'єкт, який вас цікавить для сканування.

Ця попередня фільтрація є важливою, оскільки Якщо ви залишите забагато "сміття", кінцева сітка вийде повною артефактів. і це потім буде складніше виправити.

Реконструюйте поверхню за допомогою Пуассона

Щойно у вас є чиста хмара точок, саме час перетворити її на сітку:

1. Відкрийте меню «Фільтри – Пересітка, Спрощення та Реконструкція – Реконструкція поверхні Пуассона з екрануванням».
2. Налаштуйте параметр «Глибина реконструкції»Значення від 13 до 15 зазвичай пропонують хороший баланс між деталізацією та часом обчислення.
3. Залиште решту параметрів за замовчуванням на початку, якщо ви не хочете експериментувати з розширеними конфігураціями.
4. прес “Подати заявку” і зачекайте, поки Meshlab згенерує сітку.

Краї сітки зазвичай з'являються з незвичайними формами або закрученими ділянкамиЩоб очистити їх, скористайтеся інструментами виділення граней («Виділити в трикутній області»), а потім «Видалити грані», доки не залишиться лише об’єм, який вас цікавить.

Згладжування, зменшення полігонів та експорт

Щоб ще більше покращити результат, можна застосувати деякі додаткові фільтри:

• En «Фільтри – Згладжування, Вирівнювання та Деформація – Лапласове згладжування» Ви можете згладити поверхню. Збільште значення параметра «Кроки згладжування» до 8–15, переконавшись, що ви не втратите забагато деталей.
• Якщо модель має надмірну кількість граней і рухається повільно, перейдіть до «Фільтри – Згладжування, Обтікання та Деформація – Проріджування згортання квадричного краю» і встановлює розумну цільову кількість полігонів. Більше мільйона облич зазвичай не потрібно Для більшості випадків хороші візуальні результати вже отримані зі 100 000.
• Щоб виключити величезні обличчя, які зазвичай є помилками реконструкції, спробуйте «Фільтри – Виділення – Вибрати грані з ребрами, довшими за…»Активуйте попередній перегляд, налаштуйте поріг та видаліть вибрані грані, якщо вони явно неправильні.

Коли ви будете задоволені, перейдіть до «Файл – Експорт сітки» і виберіть формат, який вам підходить: PLY, OBJ або 3DS, якщо хочете зберегти колір і текстуру для використання в 3D-візуалізаціїта STL, якщо вашим основним напрямком буде 3D-друк.

Постообробка сітки: Meshmixer, Blender та 3D-друк

Коли ви імпортуєте свою STL-модель (або подібну) в програму редагування сітки, таку як Meshmixer, ви побачите, що зазвичай З'являється не лише бажаний об'єктале також частини навколишнього середовища, які були включені до реконструкції.

Базове очищення в Meshmixer

У Meshmixer ви можете виконувати дуже швидку базову постобробку:

• США інструменти вибору та видалення щоб видалити фрагменти землі, стіни, дерева або будь-які сторонні предмети, що оточують вашу головну модель.
• Використайте функцію «Різання площиною» щоб робити прямі та чисті розрізи біля основи або на деталях, які потрібно точно видалити.
• Якщо модель знизу порожниста або має отвори, вдайтеся до «Зробити твердим» для створення суцільного тома, готового до друку.
• Завершіть деталі за допомогою інструмент для скульптури згладити дрібні недоліки або заповнити проблемні ділянки.

Якщо ви віддаєте перевагу роботі в Blender, ви можете імпортувати файл і Використовуйте інструменти для скульптури, щоб покращити краї, шліфувати поверхні та відновити втрачені форми.Це особливо корисно, коли фотограмметрія залишила шорсткі або шумні поверхні.

Підготовка до 3D-друку

Щойно у вас буде чиста та надійна модель, ви можете експортувати її як STL-файл та відкрити, наприклад, у вашому улюбленому слайсері. Ultimaker CureТам ви можете:

• Налагодити масштаб та орієнтація моделі.
• Виберіть параметри заповнення, висота шару та опори.
• Згенеруйте файл G-КОД щоб надіслати його на ваш 3D-принтер.

Майте на увазі масштаб фотограмметричної моделі Це не реально за замовчуванням.Якщо вам потрібні конкретні вимірювання, вам доведеться порівняти їх з еталоном (наприклад, фактичною висотою статуї) та масштабувати модель вручну в програмному забезпеченні для нарізки.

Використання програм для 3D-сканування на Android: коли це має сенс

Окрім класичного фотограмметричного робочого процесу, на Android є чимало… Програми 3D-сканерів, що використовують переваги камери та, в деяких випадках, датчика ToFВони дуже зручні, але мають і суттєві обмеження.

Переваги 3D-сканування за допомогою мобільних додатків

Серед сильних сторін цих додатків:

• Низька вартість входуУ вас вже є телефон, тому вам потрібно лише встановити застосунок. Немає потреби інвестувати у високоякісні 3D-сканери.
• Абсолютна транспортабельністьВи можете брати «сканер» куди завгодно. Ідеально підходить для зйомки сцени на відкритому повітрі або архітектурні деталі без перенесення додаткового обладнання.
• Простота використанняБагато програм розроблено для користувачів без технічного досвіду. Інтерфейс крок за кроком проведе вас, і вже за кілька хвилин ви побачите приблизну модель.

Якщо вашим пріоритетом є терміновість, а не точність, хороший додаток для 3D-сканування на Android може допомогти вам вирішити не одну складну ситуацію.

Поширені обмеження та недоліки

З недоліків, майже всі мобільні рішення мають деякі спільні недоліки:

• Нижча точність і роздільна здатність ніж спеціалізований сканер або добре налаштований робочий процес фотограмметрії на робочому столі.
• обмежений асортиментБагато програм розроблені для об'єктів малого або середнього розміру. Сканування великої статуї, фасаду будівлі або цілої кімнати може бути проблематичним.
• Надзвичайна чутливість до світлаТі ж самі різкі тіні, відблиски та зміни освітлення, що впливають на фотограмметрію, ще помітніші під час сканування в режимі реального часу за допомогою мобільних телефонів.
• Restriciones de usoДеякі програми нав'язують обмеження розміру або вимагають оплати за кожен експорт у такі формати, як STL або OBJ.

Тому, хоча 3D-сканування за допомогою мобільного телефону є дуже практичним інструментом, Це не завжди найкращий варіант, якщо вам потрібні метрологічні результати або надточні деталі..

Приклади предметів та практичні прийоми відповідно до матеріалу

Не всі об'єкти поводяться однаково перед камерою вашого Android. Деякі з них особливо поблажливі, тоді як інші потребують додаткових хитрощів.

Статуї та скульптури

Статуї, особливо якщо вони зроблені з каменю або інших необроблених матеріалів, є ідеальні кандидати для мобільної фотограмметріїЗазвичай вони мають багато текстури, плавні криві та деталі, які програмне забезпечення легко розпізнає.

Однак вони зазвичай знаходяться на вулиці, тому вам доведеться Спостерігайте за тінями, людьми, що проходять повз, та автомобілямиСпробуйте почекати, поки в кадрі нікого не буде, і шукайте час доби, коли світло м’яке.

Фігурки, надруковані на 3D-принтері, та розфарбовані моделі

Сканування 3D-друку може здатися зайвим, якщо у вас вже є оригінальний STL-файл, але це має сенс, коли Фігурка намальована вручну, і ви також хочете передати текстуру.Порівняння реконструйованої моделі з оригінальним файлом також є гарним способом оцінити якість вашого робочого процесу.

Геометрія не буде ідентичною, і дрібні деталі будуть втрачені, але З кількома налаштуваннями в Blender або Meshmixer результат може бути цілком пристойним.особливо для демонстрації картини або використання її у візуалізаціях.

Глянцеві поверхні: леза, полірований метал, лакований пластик

Такі предмети, як ракетка для пінг-понгу, хромовані деталі або лаковані пластмаси, створюють проблему: Їхні гладкі, блискучі поверхні майже не мають фіксованої текстуриПід час руху відбите світло змінюється, тому програмне забезпечення не може знайти стабільні точки.

Щоб виправити це, ви можете Додайте штучну текстуру за допомогою малярної стрічки, матових спреїв або дрібних порошківНаприклад, наклеївши кілька смужок стрічки на гладку поверхню, ви створюєте матові ділянки, які може відстежувати фотограмметрія, уникаючи серйозних деформацій сітки.

Скло та прозорі поверхні

Скло та інші прозорі матеріали ще складніші. Програмне забезпечення для фотограмметрії, як правило, ігнорувати м’які прозорі області та розпізнавати лише країтому кінцевий результат часто має значні прогалини.

Знову ж таки, рішення криється в тимчасово зробити поверхню непрозорою: обклейте скло малярною стрічкою, нанесіть водорозчинну фарбу за допомогою пульверизатора або посипте якимось матеріалом, який не пошкодить предмет і який можна буде почистити після цього.

З урахуванням цих запобіжних заходів та адаптації методики до кожного типу об'єкта, ваш телефон Android, його ToF-камера та відповідне програмне забезпечення можуть стати дуже серйозним інструментом для... доступна 3D-оцифровка, здатний у багатьох випадках конкурувати з дешевими сканерами та дозволяючи вам забрати додому моделі майже всього, що ви бачите на вулиці. Поділіться інструкцією, і більше людей знатимуть, як це зробити.