Дополненная реальность (ДР), или Augmented Reality (AR) — одна из самых перспективных, впечатляющих и (во всех смыслах) очевидных технологий, методологий и т.д. Публикаций на эту тему, естественно, появилось уже много или очень много. Ещё в 2009 году «дополненная реальность шагнула на iPhone»...
Несложно догадаться, что ДР/AR вполне очевидно проецируется и на строительную отрасль: см. например, репортаж со специальной AR-сессии на COFES 2011. В интернете можно найти ролики типа «Технология дополненной реальности в области архитектуры», «Дополненная реальность для архитекторов», «Дополненная реальность для планирования в строительстве», «Самый ёмкий рынок дополненной реальности» и т.д. Ссылки на эти ролики приведены в представляемой сегодня статье Сергея Кирьякиди — статье, которая является вводным обзором как в общую проблематику ДР, так и в обозначенное в заголовке проецирование ДР в строительную отрасль. Надеюсь, что эта тема заинтересует многих читателей нашего портала, хотя бы потому, что, по моему мнению, развитый BIM (будущего?) не должен обходиться без серьезной AR-компоненты.
Несмотря на молодость, автор статьи — уже достаточно опытный практик, прошедший суровую школу строительства объектов Сочинской олимпиады.
Введение
Все более очевидным становится факт того, что в настоящее время человечество стоит на пороге радикальных изменений привычного уклада жизни, которые будут вызваны приходом технологий дополненной реальности во все сферы деятельности человека. В течение последующих 5-10 лет эта технология произведет очередную технологическую революцию, сравнимую с повсеместным распространением интернета. Конечно, всем известно, с какой скоростью развивается интернет, прошедший путь от двух соединённых проводом «калькуляторов» до настоящей всемирной паутины, которая начинает потихоньку выходить в ближний космос. Не остается сомнений в том, что со временем дополненная реальность войдет в нашу повседневную жизнь так же как некогда смартфон или планшет, изменив ее раз и навсегда. Нарастание темпов научно-технического прогресса (НТП) только приближает нас к наступлению этого момента, а развитие технологий дополненной реальности ускоряет НТП. Компьютерные технологии продолжают развиваться экспоненциально и закон Мура пока продолжает работать. Сегодня практически у каждого есть смартфон с возможностями, которые 7-8 лет назад было трудно представить, и о которых говорили лишь профессиональные футурологи, но именно эти устройства уже сегодня позволяют прикоснуться к дополненной реальности на бытовом уровне.1. Что такое дополненная реальность?
Дополненная реальность (от англ. augmented reality, AR) — это технология представления контекстной информации и наложения ее в виде многослойных визуальных образов на объекты реального мира в режиме реального времени.Дополненная реальность является основой принципиально нового интерфейса для обращения к информации и перехода взаимодействия с ней на новый интерактивный уровень. Отличие дополненной реальности от виртуальной заключается во взаимодействии компьютерных устройств с объектами реального мира.
Задача дополненной реальности — расширить информационное взаимодействие пользователя с окружением. Накладываемые посредством компьютерного устройства слои с контекстными объектами на изображение реальной среды носят вспомогательно-информативный характер. Таким образом, информация, контекстно связанная с объектами реального мира, с помощью дополненной реальности, становится доступной пользователю в режиме реального времени.
Примеры: отображение информации на лобовом стекле в современных истребителях и авто премиум класса, сетка золотого сечения и другие вспомогательные элементы на экране цифрового фотоаппарата, указатели траектории парковки автомобиля при помощи камеры заднего вида.
2. Современное состояние технологий
По оценкам различных экспертов, в настоящее время технология дополненной реальности — это один из главных технологических трендов. Рынок этой технологии оценивается как один из самых быстро растущих и продолжит расти экспоненциально еще 8-10 лет.Наибольших успехов в этой области на сегодняшний день достигли военные. Они же были основоположниками этой технологии. В военном применении ДР — это вывод оперативной информации на лобовое стекло, либо дисплей, отображающий тактическую информацию, например, о целях на фоне наблюдаемой обстановки. Военные продолжают проявлять к этой технологии повышенный интерес, рассматривая ее как наиболее перспективную для персональных устройств, входящих в экипировку солдата недалекого будущего. При помощи этих устройств военные планируют интегрировать каждого бойца в единое информационное пространство. Вспомните кадры из фильма «Терминатор» когда перед взглядом робота Т-800 появлялась различная информация о людях, автомобилях и т.п. Примерно так же скоро солдаты смогут получать дополнительную информацию об окружающих их объектах.
Кадр из фильма «Терминатор»
Панель приборов на лобовом стекле истребителя
Однако либо уровень развития современных технологий не позволяет пока реализовать в полной мере концепцию устройства с интерфейсом дополненной реальностью в габаритах, пригодных для массового пользования, либо такие технологии еще не нашли друг друга.
В потребительском сегменте сейчас наблюдается рост возможностей программного обеспечения использующего дополненную реальность, реализуемую при помощи смартфонов и планшетов. Кто знаком с такими приложениями, наверное, заметил, что возможности программ пока опережают возможности аппаратных средств. Основной направленностью этого ПО является: геолокация, контекстная реклама, презентация, распознавания изображений. Примерами такого ПО могут служить наиболее популярные приложения Junaio, Layar, Wikitude и т. д.
В профессиональной сфере ДР применяется для обучения специалистов выполнению каких-либо действий через их визуальное восприятие:
Уже сейчас существуют системы автоматизированного управления строительной техникой, в том числе беспилотные, которые также можно отнести к системам, потребляющим дополненную реальность, как бы это странно не звучало. Принцип их действия заключается в следующем: в бортовой компьютер загружается проектная модель объекта, затем машина накладывает виртуальную модель на реальность, настраивает положение рабочих органов и начинает копировать модель в натуру. При этом система постоянно «подглядывает» в виртуальный чертеж-модель, таким образом, контролируя положение рабочих органов машины (отвал или ковш) и тем самым добиваясь переноса виртуальной модели в реальность. Отличие такой системы от человека в том, что у машины за положением рабочих органов в пространстве отвечают всевозможные датчики, а у человека за положением его рабочих органов (рук) отвечают самые информативные сенсоры — глаза. Тем не менее, подобная концепция применима и для человека. Перед глазами может находиться картинка законченного объекта или какого-то промежуточного результата, которого необходимо достигнуть. Человеку остается только выполнить набор предлагаемых действий, приводящих к нужному результату. Это как наглядное пособие с исчерпывающей информацией, находящееся всегда перед глазами.
Другие компьютерные технологии также не стоят на месте, такие как: микропроцессорные производство, спутниковая навигация, компьютерное зрение, технологии облачной обработки информации; беспроводной передачи данных; проектирования сооружений по технологии BIM и PLM и д.р. Наблюдается стремительное увеличение производительности графических микропроцессоров, при значительном снижении их габаритов и энергопотребления. Это очень сильно расширяет возможности персональных мобильных устройств в обработке графической информации.
Все это дает основание для массового применения этой технологии, в том числе, в профессиональной области. В частности, в строительстве эта технология может также произвести революционные изменения.
3. Способы потребления дополненной реальности
В настоящее время самыми массовыми средствами просмотра дополненной реальности стали смартфоны и планшеты с установленными на них специальными приложениями. Им на смену постепенно приходят упомянутые выше HMD-очки, такие как Google Glass и др. Основой HMD-устройств является интерфейс с дополненной реальностью.4. Концепция визуально-информационной строительной площадки
Опираясь на известные технологические тренды и достижения науки, можно с большой вероятностью говорить о появлении в ближайшем будущем индивидуальных профессиональных систем с интерфейсом дополненной реальности типа HMD. Это будет сравнимо с переходом от черчения на бумаге к BIM проектированию.Концепция строительной информационной площадки заключается в создании на ней единого визуально-информационного пространства, аналогичного информационному полю боя в военной терминологии. Это модный в последние годы термин в международном военном сленге. Действительно эти две концепции очень схожи, ведь каждая из них преследует цель — обеспечить участников процесса необходимой легко воспринимаемой информацией в реальном времени.
Единое визуально-информационного пространство на строительной площадке — это по сути, новый способ взаимодействия с информацией об объекте строительства, непосредственно на месте ведения работ, без привязки к рабочему месту. Его применение послужит началом нового стандарта представления проектной информации и работы с ней на строительной площадке. Такая концепция объединит всех участников строительства в едином визуальном информационном поле. Это позволит получать необходимую информацию в реальном времени, в любой точке строительной площадки, без необходимости таскания с собой «бумажных простыней», ноутбуков, планшетников и т.п.
Представьте, если бы информация о расположении объекта, его внешнем виде, положении границ, существующих и проектируемых коммуникациях, важных узлах, высотных отметках и т.п. отображалась прямо перед глазами как у пилотов современных истребителей, дополняя существующую реальность проектным замыслом. Дополненная реальность откроет качественно новые возможности, такие как: представление о внешнем виде и структуре объекта; оперативное отслеживание хода строительства; фиксация и контроль качества работ; отслеживание изменений проекта. Это позволит сэкономить массу времени при выполнении технически сложных операций, геодезических работах, прокладке коммуникаций и строительстве в целом. А главное — получить доступ к информационной 3D модели объекта в любой момент времени и в любом месте. Наверное, самое главное то, что архитектор, заказчик и строитель смогут свезти к минимуму влияние человеческого фактора при чтении чертежей и воплощении проекта в натуре.
Современное развитие средств BIM проектирования и их интеграция уже сейчас позволяет создавать модели объектов, наполненных всей необходимой информацией. Наличие строительной 4D модели позволит IPD менеджеру или специалисту технического контроля контролировать ход строительства, просто взглянув на площадку. Сравнивая реальную картину с наложенной информацией о нужной стадии строительства, можно сделать вывод о выполнении или отставании от графика.
С приходом эры интернета вещей (англ. Internet of Things, IoT), которая уже не за горами, наполнение пространства информацией станет обычным процессом, когда почти у каждого промышленного изделия, в т. ч. у строительных конструкций будет «электронный паспорт» и средства коммуникации между собой и человеком. HMD- устройства станут для людей основными средствами взаимодействия с «вещами» и конструкциями. При помощи интерфейса дополненной реальности человек сможет воспринимать поступающую от «вещей» информацию. Это дает новые возможности для служб материально-технического обеспечения.
При производстве сложных ремонтных работ оборудования или коммуникаций можно всегда иметь под рукой визуальные подсказки о последовательности действий или схему оборудования: при этом руки остаются свободными. Такие подсказки способствуют быстрому вводу в должность нового специалиста, и процесс обучения проходит в интерактивном режиме. При производстве сложных ответственных работ можно вести видеозапись выполняемых действий для последующего анализа в случае чрезвычайной ситуации на этом объекте. Таким образом, можно будет проводить освидетельствование нарушений и ответственных элементов при строительстве. По такому же принципу сейчас, в случае аварийной ситуации, ведется анализ действий пилотов самолетов записанных в «черные ящики». Это послужит переходом к новым принципам ведения производственного и технического контроля и ведения отчетной документации.
На этапе эксплуатации, при необходимости обслуживания какого-либо сложного узла персонал может пользоваться исполнительной информационной моделью. На стадии ликвидации объекта, воспользовавшись информацией о критических узлах и коммуникациях можно значительно сократить сроки демонтажа или сноса объекта. В случае возникновения экстренной ситуации (пожар/обрушение) аварийные службы смогут с легкостью находить пути эвакуации или нужные коммуникации, используя информацию из электронного паспорта здания переведя ее в дополненную реальность.
HMD-устройства открывают принципиально новые возможности для коммуникаций и взаимодействия на строительной площадке. Коллеги всегда могут быть на связи друг с другом, становится возможным обсуждение проблем в реальном времени в режиме видеоконференции. Все это оптимизирует строительный процесс за счет сокращения времени принятия наилучшего решения с учетом текущей ситуации на объекте, при относительно небольших затратах.
Дополненная реальность позволяет перевести на абсолютно новый уровень презентации проектов. Допустим, что нужно провести презентацию проекта строительства для инвесторов. Трехмерная визуализация и макетирование неплохо с этим справляются. Но какое впечатление произвела бы та же презентация на инвесторов при демонстрации объекта инвестирования на местности, в «чистом поле», в натуральную величину, с возможностью побродить вокруг, внутри или даже заглянуть внутрь стен на важные конструктивные особенности, узлы или коммуникации. Это абсолютно другое эмоциональное восприятие информации для человека («Самый ёмкий рынок дополненной реальности»):
Уже сейчас приложение Junaio позволяет рассматривать настольные виртуальные макеты («Технология дополненной реальности в области архитектуры»):
Преимущество таких макетов перед традиционными в том, что они могут быть масштабируемыми, анимированными, проработанными с различным уровнем детализации, и, конечно легко редактируемыми.
«Дополненная реальность для архитекторов»:
«Дополненная реальность для планирования в строительстве»:
5. Почему визуально-информационное поле?
Потому что около 90% информации об окружающем нас мире мы получаем посредством зрения. Информация, представленная в виде визуальных образов, воспринимается гораздо эффективней людьми даже с плохим воображением или отсутствием трехмерного мышления. Это заложено на генетическом уровне и обусловлено эволюционным путем развития человека и человеческой цивилизации.6. Как это все будет работать? Технологическая основа
На мой взгляд, ждать появления устройств, позволяющих полноценно реализовать такую концепцию, осталось 3-5 лет. Уже сегодня существуют технологии необходимые для их создания. А также существует все необходимое для создания инфраструктуры, поддерживающей работу подобных устройств.Для реализации описанной концепции в полной мере потребуется интеграция уже существующих технологий в форм-факторе очков. На современном этапе развития технологий это пока невозможно. Но прогресс не стоит на месте, и довольно быстро движется к достижению этой цели. Компьютерное зрение, как в MS Kinect, в совокупности с методами определения направления взгляда и точного определения местоположения, позволит очень точно «накладывать» информацию на окружающую реальность. Для лучшего распознавания объектов они могут быть помечены ещё при выпуске на заводе специальными маркерами — штрих-кодами или QR-кодами еще при выпуске на заводе. Со временем это будут электронные чипы, на которые будет записана информация об изделии, и датчики, отслеживающие изменение характеристик изделия.
Для точного позиционирования понадобится интеграция с ГЛОНАСС/GPS локальными GNSS станциями и лазерными корректирующими приборами. В помещениях для позиционирования можно использовать специальные маркеры и 3/4G сети и WiFi, которые будут служить каналами передачи данных. «Облачная» обработка и визуализация информации в реальном времени позволит уменьшить нагрузку на вычислительные мощности устройства и значительно сэкономить заряд аккумулятора. Визуализация такой информации как: границы, контуры, общие очертания, текстовые надписи, линии коммуникации и т.п. потребуют незначительных вычислительных ресурсов, и может выполняться на самом устройстве или смартфоне, который имеется сейчас у каждого. Хранение информации на общем сервере позволить всем пользователям обращаться не к локальным копиям, а к единой базе данных, поддерживаемой всегда в актуализированном состоянии. При такой системе работы, в случае внесения изменений в BIM модель пользователи информации могут быть оповещены об этом автоматически. Именно использование актуальных разделов проекта на большой стройке является серьезной проблемой для подрядчиков, которых забыли оповестить о произошедших изменениях.
Конечно, не лишними в таком устройстве будут профессиональные инструменты, такие как лазерный дальномер, высотомер, виртуальный уровень, угломер. Возможно, измерения встроенными сенсорами будут далеки от точности современного геодезического оборудования но, тем не менее, при выполнении некоторых технологических процессов точности в 2–3 см вполне достаточно. Не стоит забывать, что с каждым годом точность сенсоров растет и со временем может отпасть необходимость выполнения геодезических работ при некоторых строительных процессах.
Появление на рынке таких устройств откроет новое направление в области прикладного ПО, которое будет базироваться на новом интерфейсе с дополненной реальностью. Лидеры рынка САПР, прежде всего, такие как Autodesk, Dassault Systèmes, Bentley Systems, Graphisoft, AVEVA и др., непременно создадут массу приложений интегрированных с их передовыми продуктами для различных специализированных отраслей строительства.
7. Как это все будет работать? Инфраструктура
Для реализации подобной концепции необходимо создание инфраструктуры включающей четыре основных компонента:- обеспечение пользователей точным позиционированием
- обеспечение пользователей беспроводной высокоскоростной передачей данных
- наличие облачного хранилища проектных данных
- создание специального стандарта проектирования для получения контента.
Уже сегодня на крупных строительных объектах имеются некоторые компоненты необходимой инфраструктуры для реализации концепции информационной стройплощадки. Описываемая концепция, прежде всего, подходит для крупных строительных объектов, таких как ГЭС, АЭС, НПЗ, стадионов, аэродромов и других масштабных технически сложных объектов, где информационное обеспечение имеет колоссальное значение. На таких крупных площадках всегда множество сложных инженерных систем, требующих соблюдения высочайшей технологической дисциплины при строительстве и эксплуатации. По мере уменьшения стоимости устройств, технология будет становиться доступнее специалистам более низкого ранга, и проникать на все более мелкие объекты.
Как правило, сейчас крупные строительные площадки оснащаются ГЛОНАСС/GPS локальными GNSS станциями, лазерными приборами или специальными маркерами при выполнении работ с применением с соответствующего геодезического оборудования или все тех же систем автоматического управление строительной техникй. Таким образом, инфраструктура для точного позиционирования уже сейчас присутствует на многих крупных строительных площадках. Дополнить ее визуальными или электронными маркерами не составит труда заинтересованному заказчику.
В городах и некоторых малых населенных пунктах все большее распространение получают 3G/4G каналы связи. Их пропускной способности достаточно для передачи огромного количества информации. При отсутствии устойчивого сигнала или его недостаточной пропускной способности на площадке можно создать собственную сеть, например из WI-FI передатчиков. Сейчас это по карману даже небольшой компании.
С развитием широкополосных каналов связи все большее распространение в мире получает переход вычислений и хранения информации в облачные сервисы. «Облако» наверное, можно назвать одним из главных компонентов системы информационной строительной площадки. Для его создания необходимо установить хороший сервер, настроить на нем соответствующие права доступа для различных пользователей: проектировщика, заказчика, подрядчика, службы технического контроля и т.д. Это по сегодняшним меркам не очень затратная процедура. Крупные корпоративные заказчики и некоторые подрядчики имеют собственный серверный парк.
8. Информационное обеспечение
Для обеспечения устройств, использующих дополненную реальность, специальным контентом потребуется интеграция с современными САПР основанных на BIM технологии проектирования. Возможно, для этого потребуется создание нового формата данных, например, .ARB — augmented reality in building.Сегодня основной тенденцией является переход от 2D и 3D проектирования к проектированию с применением BIM-технологий. Проектирование с ВIM позволяет собрать всю архитектурно-строительную, технологическую, и иную информацию о здании или объекте со всеми ее взаимосвязями и получить на выходе единый объект — BIM-модель, в которой увязаны все разделы проекта и рассчитаны все конструкции. В свою очередь это позволит на этапе завершения проектирования получать не только проект как таковой, но и получить контент для дополненной реальности. Именно концепция BIM-проектирования позволяет расчленить модель на необходимые слои контекстной информации необходимой для дополнения ею реальности. BIM-модель может предоставить пользователю проект в виде структуры слоев с информацией в виде текста, графики или анимации, с необходимым графическим оформлением, с регулируемой прозрачностью в зависимости от степени важности. Управлять отображением информации на таких устройствах возможно в интерактивном режиме при помощи взгляда, жестов и голоса.
Современные средства 4D проектирования позволяют анимировать строительные процессы и визуализировать последовательность технологических циклов. Такая тенденция очень хорошо согласуется с предстоящим развитием технологии дополненной реальности в направлении визуализации процессов и будет очень востребована на строительном рынке для улучшения качества выполнения работ и контроля над строительством.
9. Проблемы технологии
Стоит сказать о современных проблемах технологии ДР, это: отсутствие стандартов, недостаточная производительность аппаратных средств, недостаточная точность позиционирования, необходимость специального контента, ограниченность применения при отсутствии широкополосных и устойчивых каналов связи, слабый интерес со стороны профессионального потребителя, недостаточное распространение в силу вышеприведенных причин. Все эти проблемы носят инженерный характер и решаемы по мере развития технологии и научно-технического прогресса в целом.10. Дальнейшие пути развития
По мере устранения вышеперечисленных недостатков и совершенствования всех отраслей компьютерных технологий, дополненная реальность как продукт их синтеза достигнет всеобщего проникновения во все области человеческой деятельности. По сути ДР станет стандартом существования информационного общества. В строительстве и производстве, с развитием робототехники, те возможности, которые ДР даст человеку, будут постепенно переходить к роботам. Человеку останется выполнение только самых сложных операций, а дополненная реальность позволит максимально увеличить точность их выполнения. Постепенно HMD-устройства будут расширять диапазон своего применения за счет добавления новых сенсоров. Следующим поколением устройств потребления ДР для человека станут контактные линзы. Но пройдет еще 20–30 лет и придет уже эра нового нейроинтерфейса, которому уже не нужны очки или линзы. Человек сможет потреблять информацию естественными органами чувств, с расширенными возможностями имплантированных сенсоров. Обработка информации будет происходить непосредственно мозгом либо имплантированном чипе или в «облаке», приобретаемом по подписке в SkyNet, и оттуда поступать непосредственно в мозг.С развитием так называемого интернета вещей, дополненная реальность станет основным средством получения и взаимодействия с информацией, поступающей от предметов окружающих нас, в т. ч. строительных конструкции.
Кому-то это покажется набором футуристических предположений, которые писатели фантасты наверняка уже выдвигали в своих книгах. Возможно это так, но напомню, то, что мы имеем сегодня, даже 20 лет назад казалось фантастикой или даже магией. Как недавно сказал один из экспертов компании Google, «Через 10 лет скорость изменения мира будет такой, что мы будем вспоминать нынешние времена как очень медленные и отсталые».
11. Выводы и пожелания
На основе приведенных выше доводов можно сделать вывод что ДР даст строительной отрасли сразу несколько принципиальных выгод:- Доступность информации в реальном времени
- Наглядность информации
- Актуальность информации (облачное хранилище)
- Интерактивность информации (управление жестом, взглядом, голосом)
- Коммуникация (обсуждение проблем с коллегами в реальном времени в режиме видеоконференции)
- Архивация информации (видеофиксация — освидетельствование нарушений и ответственных элементов при строительстве).
Всё это говорит о том, что дополненная реальность, несомненно, в недалеком будущем совершит очередную революцию не только в строительстве, но и, вообще, в образе жизни:
Это приведет к появлению новых стандартов в проектировании, строительстве и эксплуатации, новых способов работы с технической информацией. Произойдет значительное сокращение сроков строительства, сократятся материальные издержки за счет оптимизации всех процессов жизненного цикла здания и уменьшения материалоемкости строительства, уменьшится проявление «человеческого фактора», приводящего к всевозможным печальным последствиям. Можно считать что, человек стоит на пороге новых возможностей и его зрение, пока что ограниченное биологическими возможностями, уже совсем скоро дополнится бионическим зрением, расширенным при помощи компьютерных технологий. Очки или линзы, оснащенные дополнительной реальностью, будут такими же необходимыми и повседневными устройствами, какими когда-то для нас стали персональный компьютер и сотовый телефон.
Желаю вам быть открытыми для перемен, которые принесет в нашу жизнь дополненная реальность и быть готовыми использовать их своей повседневной деятельности!