NVIDIA: автопилоты, умные города и вообще — технологии искусственного интеллекта

Предисловие редактора isicad.ru

isicad.ru старается регулярно отражать деятельность NVIDIA (одних только публикаций, в заголовках которых встречается «NVIDIA», около 200) и, конечно, мы не проходили мимо ежегодных глобальных конференций компании – NVIDIA GTC (GPU Technology Conference). В этом году нам особенно повезло: на портале ixbt.com появилась грандиозная статья «Конференция Nvidia GTC 2017. Технологии искусственного интеллекта», написанная редактором портала Алексеем Берилло. Автор – глубокий специалист и прекрасный технический писатель, к тому же, как видно из текста, глубоко предан теме статьи и, вообще, по-настоящему любит то, о чём пишет, поэтому нам сразу захотелось познакомить своих читателей с этой статьёй.

Оказалось, что портал ixbt.com разрешает перепечатку с некоторыми условиями и ограничениями, которые, безусловно, нами выполняются (курсивом в скобках – наши комментарии):
1. Обязательно должен указываться автор материала (имя, фамилия и, если есть, интернет-псевдоним) и источник (сайт iXBT.com): (выполнено, но наличие псевдонима нам неизвестно),
2. Использованные фрагменты текста статей выделяются грамматическим знаками, характерными для цитирования или присутствует прямое указание на факт цитирования: (ВЕСЬ нижеследующий текст является набором цитат, приведённым в том же порядке, что и в оригинале; пропуски отмечены троеточиями),
3. Объем цитирования не должен превышать 30% от общего текста статьи — считается объем печатных знаков: (в оригинале с помощью ворда мы насчитали 83570 знаков с пробелами, в нашей публикации их 24706 , т.е. 29,6%.)

Короткий обзор основных аспектов представленного на NVIDIA GTC 2017 содержится в недавно опубликованном на isicad.ru материале «NVIDIA объявляет седьмое поколение графических архитектур с 21 миллиардами транзисторов вчетверо перекрывающее прогноз закона Мура». Все эти аспекты ярко отражены в статье А.Берилло, оглавление которой выглядит так:

• Введение (по сути — это компактный обзор трендов и акцентов рынка, на котором работает NVIDIA)
• Новая вычислительная архитектура Volta
• Другие анонсы с ключевого выступления Дженсена Хуанга
• Первым делом — автопилоты
• Искусственный интеллект в трассировке лучей и профессиональное использование VRWorks
• Институт глубокого обучения для 100000 разработчиков в год
• Платформа для умных городов Metropolis
• Имитатор роботов Isaac и референсные платформы для роботов
• Роботы и другие практические применения ИИ
• Проект Endeavor — новый дом для компании Nvidia
• Выводы

Для того чтобы выполнить ограничение «30%», для нашей публикации мы отобрали, прежде всего, те разделы статьи Алексея, в которых он излагает свои собственные (во многом — аналитические) оценки результатов и акцентов развития NVIDIA, а также этой ниши рынка в целом: именно эти фрагменты (Введение и Выводы) представляются мне особенно ценными. Помимо этого, мы воспроизвели раздел о платформе для умных (smart) городов: по-видимому, эта тема сегодня находится в фокусе крупных САПР-компаний, которые активно занимаются AEC и инфраструктурными направлениями — см. например, программу предстоящего московского BIM-конгресса компании Autodesk. Кроме того, трудно было пройти мимо хотя бы самого краткого отражения красочных кадров разделов «Автопилоты», в том числе потому, что недавно isicad.ru в какой-то мере отразил эту волнующую тему (Intel не пожалел 15 миллиардов долларов, чтобы сделать шаг к беспилотному транспорту).

Предлагаю считать нашу публикацию рекламой очень обширной (но равномерно содержательной и яркой) статьи Алексея Берилло, которую я определённо рекомендую прочитать целиком. Буду рад, если наше сотрудничество с автором в какой-то форме продолжится. Наконец, надеюсь, что для части наших читателей, ранее не знакомых с порталом iXBT.com, это знакомство окажется полезным.

Введение

Например, если посмотреть на ежеквартальные финансовые отчеты Nvidia на протяжении пары последних лет (в таблице ниже приведены финансовые годы, отличающиеся от календарных), то можно отчетливо увидеть несколько интересных трендов. Так, несмотря на все сложности индустрии ПК, конкретно игрового применения они практически не касаются, и компания смогла значительно увеличить выручку в этой сфере за последние кварталы, а ведь именно ПК-игроки в основном и оплачивают разработки и в других сферах деятельности Nvidia, как минимум частично.

Кстати, а что такое высокопроизводительные вычисления вообще? К примеру, искусственный интеллект (ИИ), мощность которого растет в полтора-два раза каждый год, что позволяет разработчикам различных программно-аппаратных решений входить в различные сферы деятельности. Так, нейросети и прочие системы искусственного интеллекта, которым ранее тупо не хватало вычислительной производительности, уже сейчас умеют: полностью автономно пилотировать автомобили (этим сейчас занимаются практически все, начиная с Tesla), распознавать речь и быть интеллектуальными помощниками на мобильных устройствах (Siri, Cortana, Google Assistant, Bixby и другие), распознавать объекты на фото и видео и описывать их лучше человека, распознавать лица, увеличивать разрешение изображений (почти как в старых кинофильмах о спецслужбах), копировать голоса (стартап Lyrebird), играть во многие логические игры (шахматы и го) лучше человека, писать какие-никакие стихи, музыку, тексты (робот от стартапа Keywee пишет статьи и новости для издательств BBC, CNN, The New York Times, AOL и Forbes), рисовать картины на основе стилей существующих художников (Prisma), делать видеомонтаж (банальный Ассистент Google Photo на современном смартфоне делает из нескольких фотографий и видео один ролик — неидеально, но вполне приемлемо), приложение Google Now умеет подсказывать человеку то, что ему может пригодиться: расписание транспорта, прогноз погоды и т. д., помогать искать лекарства от болезней (очень много компаний), бороться со старением, помогать распознавать различные болезни, вроде различных видов рака, помогать при разработке нефтяных месторождений (поиск оптимальных мест для бурения), и многое-многое другое.

Взрывного роста от применения ИИ можно ожидать от любой из этих сфер, та же медицина вскоре должна сделать большой рывок в повышении эффективности и точности диагностики с применением систем обработки и систематизации анализов, использующих искусственный интеллект. Давно известно, что установка правильного диагноза является важнейшей задачей, да и при лечении системы ИИ применяться будут. Одна из североамериканских компаний уже получила одобрение контролирующих органов на использование подобной системы с применением искусственного интеллекта для расшифровки результатов обследований сердечно-сосудистой системы, и это только начало.

Уже сейчас во многих областях ИИ выполняет задачи лучше и/или быстрее человека, и это будет лишь усугубляться. Если добавить к указанному выше и различных роботов, то можно добавить к списку кучу умений, которые приведут к тому, что масса профессий и занятий человека просто отомрет, начиная с тех самых дальнобойщиков (этого бы им уже нужно начинать опасаться, а не взимания оплаты при доставке грузов) и таксистов — компаниям типа Uber в не таком уж и далеком будущем они просто не понадобятся! Туда же отправятся актеры с операторами и монтажерами, и многие-многие другие. Бухгалтеры, экономисты, журналисты... Да много кто. Конечно, для всего этого понадобится время, но кое-что из описанного выше мы имеем шанс увидеть еще при нашей жизни. И уже сейчас нужно готовиться ко всему этому. Даже если вы повар, к примеру, и относительно спокойны за ваше будущее — это совсем не значит, что о нем не нужно позаботиться. Например, придумав, как применять искусственный интеллект в своей работе.

Вычислительная мощность современных вычислительных систем растет, и если раньше содержать нейронные сети было слишком дорого или вообще невозможно, сейчас глубокое обучение и нейронные сети для решения своих задач могут позволить себе даже небольшие компании. Рост вычислительных возможностей дает возможность применять нейросети во все большем круге применений. И эксперты действительно прогнозируют планомерный рост внедрения решений с применением систем искусственного интеллекта в широком спектре отраслей промышленности. По мнению аналитиков компании IDC, использование технологий на основе искусственного интеллекта через пять лет принесет 47 миллиардов долларов дохода — по сравнению с 8 миллиардами долларов в 2016 году.

Посмотрите еще раз на табличку с финансовыми показателями компании Nvidia, где доход с HPC-рынка пока еще более чем вдвое уступает игровым решениям. Вероятно, уже через несколько лет все перевернется с ног на голову. Конечно, не они одни будут получать дивиденды с этого рынка, который гранды не отдадут им просто так, но у Nvidia сейчас на нем очень неплохие позиции и явно виден их большой потенциал. Конечно, большой куш им вовсе не обеспечен, так как существует полно конкурентов, обладающих большим капиталом и опытом в этой сфере. Однако именно Nvidia вовремя вскочила на этот поезд одной из первых, у них есть действительно отличное аппаратное и программное обеспечение, и компания продолжает улучшать свое положение, развивая связи с разработчиками по всему миру.

Как сами видите, интерес к вычислительным применениям когда-то исключительно графических процессоров в последние годы значительно вырос, и сейчас решения компании Nvidia, основанные на их вычислительных архитектурах, успешно применяются во многих сферах. Еще много лет назад компания организовала собственное мероприятие, посвященное применению их решений в широком наборе задач — GPU Technology Conference. В этом году очередная ежегодная конференция в Калифорнии проходила не в привычном марте, а в мае, но все так же традиционно в городе Сан-Хосе — сердце Кремниевой Долины.

И даже больше того — технологическая конференция GTC сейчас проходит несколько раз в год в разных городах мира, в том числе в Китае, Европе, Израиле, Японии и паре городов США (Сан-Хосе и Вашингтон). В калифорнийской части GTC этого года участвовало 7000 человек (крупнейшие компании из разных сфер деятельности, AI-стартапы, разработчики программного обеспечения, инвесторы, пресса, аналитики и многие другие), было проведено 600 технических сессий и 310 сессий, посвященных именно искусственному интеллекту, расположено 150 стендов, 178 постеров и 67 лабораторий по технологиям глубокого обучения. GTC давно стала главным мероприятием для компании, и именно тут делаются главные анонсы Nvidia, а также становится понятно, к чему это все приведет через несколько лет. Вот об этом мы сегодня и поговорим.

...

Первым делом — автопилоты

Высокая стоимость и сложность разработки новых технологий в сфере автопилотов заставляет участников рынка объединяться, и вполне вероятно, что количество глобальных платформ не будет слишком большим. Та же BMW планирует не просто сама использовать в своих автомобилях созданную альянсом платформу, но и лицензировать эти разработки сторонним компаниям, как и другие альянсы — те же Baidu с Volvo. Именно поэтому сотрудничество с разными автопроизводителями важно и для Nvidia, тут нужно не упустить момент.

На GTC было показано несколько таких вариантов с использованием самых современных решений Nvidia с применением искусственного интеллекта, в котором они уже собаку съели, что называется. Так, уже во время своего ключевого выступления, бессменный глава компании Дженсен Хуанг рассказал о некоторых достижениях компании по разработке автопилотов и представил новую вычислительную архитектуру, на которой будет основано будущее решение для автономных автомобилей — Drive PX Xavier.

DRIVE PX Xavier — это полноценное решение для автомобилей, использующее новую систему-на-чипе Xavier, включающую кастомный CPU с ARM64-ядрами, 512-ядерный графический процессор на основе архитектуры Volta и новые тензор-ядра... Они специально предназначены для задач искусственного интеллекта (в частности — глубокого обучения), и обеспечат приличный прирост производительности именно в таких применениях, выведя возможности автопилотирования на новый уровень.

Новый DRIVE PX обеспечивает скорость вычислений до 30 млрд. операций глубокого обучения в секунду (30 TOPS DL) при потреблении до 30 Вт, но самое интересное в Xavier — Deep Learning Accelerator (DLA). Это специализированный ускоритель операций глубокого обучения, весьма энергоэффективный, но самое главное — его программная часть будет иметь открытый исходный код. Ранний доступ для автопроизводителей обещан уже в июле, а для всех остальных — в сентябре.

Решения Nvidia для автомобилей отличаются своей полнотой, они включают в себя и отличные аппаратные возможности, и полный программный стек, начиная от операционной системы, продолжая библиотеками: CUDA, cuDNN, TensorRT, компьютерное зрение и заканчивая готовыми решениями по построению маршрутов, распознаванию объектов и т. д. DRIVE PX умеет сканировать дорогу, отслеживать динамические и статические объекты (автомобили, знаки и другие), запоминать маршрут и помогать в пилотировании. Также поддерживается функция Guardian Angel (Ангел-Хранитель), которая будет помогать экстренно оттормаживаться в случае внезапной опасности — к примеру, большого черного джипа, завершающего проезд перекрестка на «темно-оранжевый».

Неудивительно, что столь обширные возможности не остаются без внимания со стороны автопроизводителей. Мы уже знаем о некоторых компаниях, сотрудничающих с Nvidia в этом деле, а на GTC 2017 президентом компании Nvidia Дженсеном Хуангом было объявлено о том, что компания Toyota, известная высокими стандартами безопасности на дорогах, выбрала именно DRIVE PX для использования в своих будущих автономных автомобилях. Для Nvidia это важно в том числе и потому, что этот анонс может открыть азиатский авторынок для их решений.

Toyota уже начала внедрение автомобильной платформы Nvidia PX с поддержкой искусственного интеллекта в свои системы автономного вождения, которые должны выйти на рынок в ближайшие годы. Инженеры двух компаний уже работают над созданием качественного программного обеспечения, основанного на высокопроизводительной платформе Nvidia с применением ИИ, что позволит обрабатывать и принимать во внимание огромные объемы данных, получаемые с различных датчиков, чтобы справляться с полностью автономным пилотированием при любых ситуациях на дороге.

Для решения задач подобной вычислительной сложности, в прототипах автопилотируемых автомобилей часто используют мощные компьютеры, занимающие весь багажник, а платформа Nvidia DRIVE PX, основанная на процессоре нового поколения Xavier, способна дать те же возможности, обладая низким потреблением энергии в 30 Вт и компактными размерами, легко помещаясь даже в руке. Вот пример от самой Nvidia с DRIVE PX, занимающим малую часть багажника:

...

Помимо выставочных автомобилей, на GTC было представлено более 50 технических сессий, посвященных автопилотируемым автомобилям и раскрывающих темы от роли глубокого обучения в автоспорте до применения высококачественных карт в целях облегчения задач автономного вождения. Выступали на конференции и известные в индустрии специалисты, такие как Raquel Urtasun из команды Uber по разработке ИИ для автономных автомобилей, а спикеры из Argo AI/Ford и Mercedes Benz рассказали о том, как большие автопроизводители работают над системами автопилотов.

...

Также на ключевом выступлении Дженсена была показана еще одна интересная технология, которая может изменить подход к разработке автомобилей — Project Holodeck. Это фотореалистичное окружение в виртуальной реальности, предназначенное для совместной работы нескольких сотрудников. VR-среда Holodeck позволяет видеть, слышать и осязать объекты в виртуальной реальности, позволяет импортировать качественные модели высокого разрешения для совместной работы вместе с коллегами.

...

Платформа для умных городов Metropolis

Например, нейронные сети будущего будут способны заподозрить пользователя на основе его высказываний, фотографий и видеороликов, а также общения в мессенджере и физического местоположения, совпадающего с другими подозрительными личностями, в том, что он готовит определенное преступление в таком то месте и с такой то вероятностью. Смотрели же кинофильм «Особое мнение»? Вот это почти оно, только еще глубже. Есть все предпосылки к тому, что в не столь уж отдаленном будущем, нейронные сети позволят выявлять потенциальных преступников еще на ранней стадии.

Мы уже сейчас находимся под колпаком у множества компаний, и в дальнейшем это будет только развиваться. Можете себе представить, сколько данных о нас у Facebook, Apple и Google с их кучей сервисов, в которые мы добровольно отдаем много чего? Эти компании каждый день получают от нас массу информации: видео, фото, аудио, данные о местоположении и интересах (поиск в вебе и соцсетях, посещаемые страницы и многое другое). Соответственно и выборка данных, на основе которых можно обучать нейросети, у них уже есть, и она просто огромная. А еще они наверняка поделятся ими с правительствами разных государств по их запросам, хотя это уже отдельный вопрос. Тема хоть и сложная с моральной точки зрения, но одновременно простая с точки зрения обеспечения безопасности будущего — подобные системы способны помочь в этом.

На технологической конференции GTC, компания Nvidia представила платформу для видеоанализа Metropolis, предназначенную для создания «умных городов» с искусственным интеллектом. И это логично, ведь уже более 50 партнеров компании применяют глубокое обучение для получения и анализа информации в реальном времени — для того, чтобы сделать города безопаснее, улучшить дорожное движение и оптимизировать использование имеющихся ресурсов (пропускной способности дорог, парковок и т. д.).

Сейчас дела обстоят так, что анализируется только малая часть записанных видеоданных, а большая часть просто хранится для будущего анализа, если это потребуется (кто-то запросит записи на конкретное число и время). Попытки же анализа видеоданных в реальном времени до недавнего времени были слишком сложны и ненадежны, по сравнению с просмотром роликов людьми. Хотя и сами люди могут пропустить какие-то детали, которые специально обученный ИИ может подметить. Применение алгоритмов глубокого обучения в камерах, видеорегистраторах, на серверах и в облаках позволяет решить проблему постоянного мониторинга видео с высокой точностью.

В состав платформы Metropolis входят различные решения компании Nvidia, работающие на единой вычислительной архитектуре. В камерах и видеорегистраторах быстро работает inference при помощи вычислительной платформы для встраиваемых систем Nvidia Jetson, в серверах и дата-центрах для анализа данных установлены ускорители Nvidia Tesla, а визуализация данных осуществляется при помощи профессиональных графических решений Nvidia Quadro. В состав платформы входят также пакеты инструментов для разработчиков: JetPack, DeepStream и TensorRT.

Поддержка инициативы Nvidia по созданию городов с ИИ постоянно растет, уже более 50 компаний в сфере создания умных городов, включая лидеров индустрии: Hikvision, Avigilon, Dahua, Milestone и Hanwha Techwin, предлагают своим клиентам получать необходимую информацию из видеопотоков при помощи алгоритмов глубокого обучения, и эта обработка основана на программно-аппаратных решениях компании Nvidia.

Потенциал у платформы Metropolis достаточно большой, она может применяться к видеопотокам для создания интеллектуальных приложений в различных областях применения, начиная от транспорта и заканчивая коммерческими задачами. Преимущество глубокого обучения с применением мощных графических процессоров Nvidia заключается в том, что данные можно анализировать гораздо быстрее и точнее. Это важно для того, чтобы обеспечить необходимую скорость реагирования на происходящее на улицах городов.

В выставочной части конференции GTC было представлено несколько рабочих вариантов подобных систем, которые не просто распознают объекты и лица с высокой точностью, но и запоминают их и каталогизируют. К примеру, «запомнив» одного из отмеченных на видео людей, система от Aviglion способна распознать этого человека в следующий раз, несмотря на то, что его лицо будет при других условиях освещения и иначе ориентировано по отношению к камере. При этом, все необходимое для инференса встроено прямо в камеру — конечно же, это встраиваемая вычислительная система Jetson.

Благодаря столь мощным решениям, как Jetson TX2 на местах и Tesla в центрах обработки данных, платформа Metropolis может стать основой для создания подобных умных городов, которые превратят не слишком полезные сырые видеоданные без какого-либо анализа в весьма ценную информацию о том, какой объект что делал и как себя вел — то есть, даст интеллектуальную аналитику, полезную для широкого спектра приложений.

Применение ИИ меняет весь подход к анализу данных, и его воздействие на безопасность в обществе, на дорогах и улицах, будет довольно значительным.

...

...

Выводы

Другие анонсы нас порадовали не меньше: сам по себе ускоритель Tesla V100 на основе новой вычислительной архитектуры с большими возможностями, ставший очередным шагом в деле HPC, новые модели готовых решений DGX-1 и DGX Station, которые облегчают использование решений Nvidia, новый ускоритель глубокого обучения в Xavier, на который, весьма вероятно и обратил внимание один из крупнейших автопроизводителей Toyota, заключивший соглашение с Nvidia по внедрению их систем в свои будущие автомобили. Также нельзя не отметить и симулятора роботов Isaac и референсные роботизированные платформы, упрощающие разработку будущих роботов, и инициативу «Институт глубокого обучения», да и все остальное, представленное на GTC 2017.

Компания Nvidia стала одной из важнейших сил, напрямую влияющих на развитие искусственного интеллекта, решения компании уже используют многие ее партнеры, и у нас есть сильное предчувствие, что все это только усугубится. Мы показывали в начале статьи финансовые результаты компании за прошедшие кварталы, и там явно заметен тренд на увеличение дохода от сектора высокопроизводительных вычислений. Примеров применения систем на основе чипов Nvidia на конференции GTC мы увидели множество, и это лишь малая часть и вообще только начало пути. В ближайшем будущем распространение и возможности систем искусственного интеллекта и глубокого обучения вырастут многократно, и калифорнийская компания вполне может преуспеть в этом деле.

Лично я рад уже тому, что должен успеть увидеть при своей жизни многое из описанного фантастами. Кое-что из нашего будущего, впрочем, покажется некоторым людям спорным, вызовет дискуссии и еще неизвестно к чему все это развитие искусственного интеллекта приведет в итоге человечество. Но так было со всеми вехами прогресса, который просто невозможно остановить. Нам давно был нужен какой-то реальный толчок после всех достижений прошлого века (компьютеры — это все еще оттуда, в нашем веке разве что смартфоны появились в роли индивидуальных вспомогательных устройств, но их возможности мы используем лишь на пару процентов). Возможно, AI — это такой толчок и есть, а занятия и роль человека сильно изменятся за несколько следующих десятилетий. Продолжаем наблюдать и участвовать в происходящем. Мир меняется на наших глазах, и это интересно, как минимум.

Новые технологии Nvidia помогают развитию индустрии визуальных и прочих вычислений, а также исследованиям в сфере искусственного интеллекта, и конференция в этот раз привлекла еще больше внимания, собрав более семи тысяч участников, даже несмотря на то, что она проводится уже в нескольких городах по всему миру. И мы уже сейчас уверены в том, что GTC вырастет в масштабах еще больше, и в следующем году будет больше участников, важных анонсов, необычных применений GPU и других решений Nvidia. По возможности мы постараемся рассказывать вам о новинках компании с этой конференции каждый год.

Если у вас остались какие-то вопросы по GTC 2017 или вы хотите ознакомиться с материалами и ключевыми выступлениями, представленными на конференции Nvidia по вычислительным технологиям, то вы сможете найти их на сайте конференции GTC.