Самая крупная в мире искусственная нейронная сеть построена на базе GPU

Однако создание масштабных нейронных сетей обходится очень дорого с точки зрения вычислительных ресурсов. Например, в Google на создание сети, которая научилась самостоятельно распознавать кошек в серии роликов YouTube, ушло порядка 1000 серверов на базе CPU, что эквивалентно 16000 процессорных ядер. Построенная сеть характеризовалась 1.7 млрд. параметров, виртуально отражающих связи между нейронами.

В отличие от Googe, команда Стэнфорда, возглавляемая директором лаборатории искусственного интеллекта при университете Эндрю Нг (Andrew Ng), построила такого же масштаба сеть всего на трех серверах, оснащенных графическими процессорами NVIDIA^® для ускорения обработки больших объемов данных, генерируемых сетью. С помощью 16 серверов на базе графических процессоров NVIDIA команда смогла создать сеть с 11.2 млрд. параметров, что в 6.5 раз больше, чем у сети Google, представленной в 2012 году. Чем больше и мощнее нейронная сеть, тем точнее она справляется с такими задачами, как распознавание объектов, позволяя с помощью компьютера моделировать поведение, близкое к человеческому. Работа команды ученых из Стэнфорда была опубликована вчера на Международной Конференции по Машинному Обучению.

«Обеспечивая скорость вычислений намного выше, чем CPU, графические процессоры позволяют проводить моделирование больших массивов данных в крупномасштабных нейросетях , - отмечает Самит Гупта (Sumit Gupta), директор направления Tesla в NVIDIA. — Теперь любой ученый или компания могут применять машинное обучение для решения разнообразных задач с помощью всего нескольких GPU-ускоряемых серверов».

GPU ускорители в основе машинного обучения

Одной из компаний, применяющей GPU в этой области, является Nuance, лидер в разработке технологий распознавания речи и естественных языков. Nuance учит свои модели нейросетей понимать речь пользователей с помощью терабайтов аудио данных. После обучения модели могут распознавать образцы произнесенных слов путем их сопоставления с изученным материалом.

«Графические процессоры значительно ускоряют обучение наших нейросетей, что позволяет нам быстро внедрять новые алгоритмы и методы обучения, — говорит Влад Сейноха (Vlad Sejnoha), технический директор Nuance. — Такие модели повышают точность для всех ключевых технологий Nuance в сегменте здравоохранения, мобильной потребительской электроники и в корпоративном сегменте».

NVIDIA примет участие в Международной Конференции по Супервычислениям 2013 (ISC), которая пройдет в Лейпциге, Германия, с 16 по 20 июня (стенд № 220).

О компании NVIDIA