isicad.ru :: портал САПР, PLM и ERP :: версия для печати

Статьи

8 июля 2015

NVIDIA удваивает скорость обучения глубоких нейронных сетей

Новые версии DIGITS и cuDNN удваивают скорость обучения нейронных сетей; cuDNN позволяет применять более сложные модели

ЛИЛЛЬ, Франция—ICML—7 июля, 2015 — NVIDIA сегодня объявила об обновлении библиотек с алгоритмами глубокого обучения (deep learning) с поддержкой GPU-ускорения. Новая версия ПО позволяет удвоить скорость обучения нейронных сетей.

Более точные нейронные сети благодаря ускоренному обучению моделей и их более сложной структуре позволят ученым и исследователям ускорить работу над проектами, связанными с глубоким обучением.

Система глубокого обучения NVIDIA DIGITS™ Deep Learning GPU Training System версии 2 (DIGITS 2) и библиотека NVIDIA CUDA® Deep Neural Network library версии 3 (cuDNN 3) обеспечивают значительно более высокую производительность и предоставляют новые возможности для исследователей.

NVIDIA Deep Learning 2

DIGITS 2 теперь позволяет автоматически масштабировать обучение нейронных сетей на несколько высокопроизводительных графических процессоров. Для задач классификации изображений это позволит сократить время обучения сети вдвое (по сравнению с системой на базе одного GPU).

cuDNN 3 позволяет оптимизировать хранение данных в памяти GPU при обучении более сложных нейронных сетей. cuDNN 3 также обеспечивает прирост производительности по сравнению с версией cuDNN 2, позволяя исследователям обучать нейронные сети до двух раз быстрее, чем на системах с одним GPU.

Ожидается, что новая библиотека cuDNN 3 будет интегрирована в новые версии фреймворков глубокого обучения Caffe, Minerva, Theano и Torch, которые широко применяются для обучения глубоких нейронных сетей.

«Сегодня высокопроизводительные графические процессоры находятся в основе исследовательских проектов по глубокому обучению и разработке продуктов как в научных организациях, так и в крупных интернет-компаниях, - говорит Ян Бак (Ian Buck), вице-президент по высокопроизводительным вычислениям в NVIDIA. – Мы тесно сотрудничаем со специалистами по обработке данных, разработчиками фреймворков и сообществом глубокого обучения - применяем самые мощные графические решения и меняем представления о возможном».

DIGITS 2 – обучение становится вдвое быстрее благодаря автоматическому масштабированию на несколько GPU

DIGITS 2 – это первая полнофункциональная система с графическим интерфейсом, которая помогает пользователям проектировать, обучать и тестировать сети глубокого обучения в задачах классификации изображений.

Поддержка автоматического масштабирования на несколько GPU в DIGITS 2 максимально полно задействует ресурсы системы благодаря автоматическому распределению нагрузки между графическими процессорами системы. С помощью DIGITS 2, на системе на базе четырех GPU на базе архитектуры NVIDIA Maxwell™, инженеры NVIDIA обучили широко известную нейронную сеть AlexNet в два раза быстрее, чем на системе на базе одного GPU (Производительность DIGITS 2 в сравнении с предыдущей версией в системе NVIDIA DIGITS DevBox с графическими процессорами NVIDIA GeForce GTX TITAN X.)

И это не предел. Заказчики компании, уже получившие возможность испытать новую версию системы, смогли добиться даже лучших результатов.

«Обучение одной из наших глубоких сетей для автоматического тегирования на одном NVIDIA GeForce GTX Titan X занимает примерно шестнадцать дней. С новой системой автоматического масштабирования при использовании четырех процессоров Titan X процесс сократился до пяти дней, - говорит Саймон Осиндеро (Simon Osindero), архитектор систем искусственного интеллекта для Yahoo Flickr. – Это большое преимущество, оно позволяет нам быстрее получать результаты, а также более масштабно исследовать пространство моделей для получения более точных результатов».

cuDNN 3 – обучение более крупных и сложных моделей становится быстрее

cuDNN – это GPU-ускоренная библиотека математических операций для глубоких нейронных сетей, которую разработчики встраивают во фреймворки машинного обучения высокого уровня.

В cuDNN 3 добавлена поддержка хранения 16-битных данных с плавающей точкой в памяти GPU, что удваивает объем хранимой информации и оптимизирует использование пропускной способности памяти. Благодаря этому исследователи могут обучать более сложные нейронные сети.

«Мы уверены, что поддержка FP16 для хранения данных в памяти GPU в библиотеках NVIDIA позволит нам еще больше масштабировать наши модели, так как это увеличит эффективный объем памяти нашей системы и повысит эффективность масштабирования обучения нейронной сети на несколько графических процессоров, - говорит Брайан Катанзаро (Bryan Catanzaro), старший исследователь в Baidu Research. – В итоге, точность наших моделей возрастет еще больше».

cuDNN 3 также обеспечивает весомый рост производительности в сравнении с cuDNN 2 при обучении нейронных сетей на одном GPU. Так, с новой версией инженеры NVIDIA смогли обучить сеть AlexNet в два раза быстрее на системе на базе одного GPU NVIDIA GeForce® GTX™ TITAN X (Производительность cuDNN 3 в сравнении с предыдущей версией на Ubuntu 14.04 LTS с GPU NVIDIA GeForce TITAN X и Intel Core i7-4930K @ 3.40GHz).

Доступность

Предфинальная версия DIGITS 2 уже доступна для бесплатного скачивания для зарегистрированных разработчиков NVIDIA. Подробнее смотрите на сайте DIGITS.

Библиотека cuDNN 3 будет доступна в крупных инфраструктурах глубокого обучения в ближайшие месяцы. Подробнее смотрите на сайте cuDNN.

О компании NVIDIA
NVIDIA (NASDAQ: NVDA) находится на вершине искусства и науки визуальных вычислений с 1993 года. Технологии компании превращают мир изображений в мир интерактивных открытий для самых разных пользователей — геймеров и ученых, пользователей мобильных устройств, офисных работников и не только. Подробнее смотрите на сайтах http://www.nvidia.ru, http://nvidianews.nvidia.com и http://blogs.nvidia.com.


Все права защищены. © 2004-2024 Группа компаний «ЛЕДАС»

Перепечатка материалов сайта допускается с согласия редакции, ссылка на isicad.ru обязательна.
Вы можете обратиться к нам по адресу info@isicad.ru.