¬аше окно в мир —јѕ–
Ќовости —татьи јвторы —обыти€ ¬акансии Ёнциклопеди€ –екламодател€м
—татьи

20 сент€бр€ 2016

ѕроектирование вычислительного кластера дл€ решени€ задач прикладной механики деформируемого твердого тела, вычислительной гидро- и газодинамики

ёрий Ќовожилов

ёрий Ќовожилов ÷»‘–ј

¬ статье представлен пример внедренческого проекта, выполненного ÷ентром инженерно-физических расчетов и анализа Ђ÷»‘–јї. ÷итируем его характеристику из PLMpedia:

Ђ÷ентр инженерно-физических расчетов и анализа Ђ÷»‘–јї специализируетс€ на решении инженерных задач и создании математических моделей деталей, конструкций, систем, процессов и материалов в различных отрасл€х промышленности. —отрудники ÷ентра имеют многолетний опыт выполнени€ проектов в интересах ведущих промышленных предпри€тий –‘.

¬ ÷ентре работают инженеры различного профил€ (динамика и прочность, теплофизика, гидравлика, газодинамика, электромагнитные пол€, радиоэлектроника), которые имеют богатый опыт решени€ инженерных задач на стыке и пересечении нескольких физических дисциплин. —айт ÷ентра Ђ÷»‘–јї ї.

јвтор статьи, ёрий Ќовожилов, выпускник (2009) физико-механического факультета —анкт-ѕетербургского политехнического университета, в котором он с 2007 по 2011 годы работал ведущим инженером. — 2011 года Чруководитель направлени€ высокопроизводительных вычислений «јќ Ђ јƒ‘≈ћ —и-јй-Ёсї. — 2015 года принимает участие в работе ÷ентра инженерно-физических расчетов и анализа Ђ÷»‘–јї. –уководитель более дес€ти проектов по проектированию и настройке вычислительных кластеров и участник более п€тнадцати проектов в области математического моделировани€ и инженерных расчетов материалов, конструкций и сооружений.

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’

—пециалисты ÷ентра инженерно-физических расчетов и анализа Ђ÷»‘–јї выполнили пуско-наладочные работы и нагрузочное тестирование нового вычислительного кластера Ѕ√“” Ђ¬ќ≈Ќћ≈’ї им. ƒ.‘.”стинова (г. —анкт-ѕетербург), который будет использоватьс€ дл€ решени€ задач прикладной механики деформируемого твердого тела, вычислительной гидро- и газодинамики.

¬ысокопроизводительный вычислительный кластер создан на кафедре Ђ—редства ¬ ќ и ѕ¬ќї Ѕалтийского государственного технического университета Ђ¬ќ≈Ќћ≈’ї им. ƒ.‘. ”стинова в рамках инфраструктурного проекта, ориентированного на укрепление кадрового потенциала российского ќѕ , в частности, дл€ целевого обучени€ студентов предпри€тий —анкт-ѕетербурга - јќ Ђ Ѕ—ћї и јќ Ђ√ќ« ќбуховский заводї. Ђ¬ќ≈Ќћ≈’ї получил в свое распор€жение данный высокопроизводительный вычислительный комплекс дл€ численного моделировани€ физических процессов и проведени€ научных и инженерных расчетов с помощью программной системы ANSYS. ¬ычислительна€ система спроектирована и построена специалистами ÷ентра инженерно-физических расчетов и анализа (јќ Ђ÷»‘–јї) и компании Hewlett Packard Enterprise. — учетом лучших мировых практик система предоставл€ет возможности не только дл€ выполнени€ высокопроизводительных расчетов в своем вычислительном €дре, но и обеспечивает удобную работу с полученными результатами без необходимости передавать большие объемы информации на рабочие станции пользователей.

¬ычислительное €дро

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’ ¬ычислительное €дро представл€ет собой кластер, построенный на базе платформы HP Apollo 6000 компании Hewlett Packard Enterprise. ƒанна€ платформа, пришедша€ на замену заслуженной HP ProLiant SL6500 Scalable System, специально спроектирована дл€ построени€ высокопроизводительных вычислительных систем (HPC, High Performance Computing).

»нтерконнект

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’  огда речь заходит об HPC, то одним из основных факторов, обеспечивающих высокое быстродействие системы, €вл€етс€ правильный выбор интерконнекта Ц специализированной сети, поддерживающей работу вычислительных алгоритмов с распределЄнной пам€тью. ƒл€ обеспечени€ работы Intel MPI и Platform MPI в данном проекте выбран интерконнект Mellanox Infiniband FDR, имеющий ширину канала 56 √бит/с и задержки не более 1 микросекунды. ¬се узлы кластера имеют двойное подключение к интерконнекту, что позвол€ет добитьс€ отказоустойчивости вычислительной сети или, при необходимости, существенно увеличить скорость работы системы благодар€ технологии Infiniband Multi-Rail.

√рафические процессоры

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’
—овременным вычислительным системам класса HPC недостаточно иметь быстрые центральные процессоры и хороший интерконнект. ќбеспечить дополнительные ресурсы дл€ параллельных вычислений позвол€ет установка во все узлы кластера графических процессоров общего назначени€ NVIDIA Tesla K80.

ƒискова€ подсистема

¬ысокопроизводительный вычислительный кластер должен обладать соответствующей дисковой подсистемой, способной воврем€ записывать как промежуточные данные, так и результаты расчетов. ’ранение результатов обеспечиваетс€ специализированной системой хранени€ данных (—’ƒ). ќднако, и ее производительности может не хватить дл€ обслуживани€ всех вычислительных процессов во врем€ выполнени€ расчетов. ќбеспечить оптимальное быстродействие дисковой подсистемы призваны кэширующие твердотельные диски (SSD), установленные в каждом узле кластера.  ластер спроектирован как Ђбездисковыйї Ц операционные системы узлов загружаютс€ с управл€ющего узла сразу в пам€ть, мину€ процедуру установки на локальные диски. Ѕлагодар€ этому возможно использовать все ресурсы SSD дл€ промежуточного кэшировани€ результатов расчетов. “ака€ схема позвол€ет получить линейно масштабируемую систему ввода/вывода, не уступающую по быстродействию сложным параллельным файловым системам.

—истема управлени€

¬ычислительное €дро созданной HPC-системы основано на двух корневых системах промышленного уровн€ Ц HP Insight Cluster Management Utility и Altair PBS Pro.
÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’

HP Insight Cluster Management Utility (CMU) €вл€етс€ фирменной системой управлени€ кластерами от Hewlett Packard Enterprise. ќна занимаетс€ развЄртыванием операционных систем узлов, настройкой рабочего окружени€ дл€ функционировани€ всех прочих программных систем, и, конечно же, производит посто€нный мониторинг работы вычислительного комплекса.


÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’ Altair PBS Pro Ц втора€ по важности корнева€ система вычислительного €дра Ц система управлени€ очередью задач и менеджер загрузки кластера. PBS Pro на сегодн€шний момент €вл€етс€ одной из самых умных и гибких систем в своем классе. —интаксис PBS запросов стал де-факто стандартом при планировании загрузки кластеров. PBS Pro способен взаимодействовать с HP CMU настолько тесно, что по запросу пользовател€ на выполнение специфического расчета PBS может поручить CMU полностью переустановить операционные системы некоторых вычислительных узлов.

¬ысокопроизводительные расчеты в ANSYS

ќписанна€ выше инфраструктура высокопроизводительного кластера изначально спроектирована дл€ выполнени€ расчетов в комплексе решателей ANSYS. Ѕлагодар€ лицензии ANSYS Academic Multiphysics Campus Solution студенты и научные сотрудники Ѕ√“” Ђ¬ќ≈Ќћ≈’ї им. ƒ.‘.”стинова получили возможность выполн€ть расчеты в любой области физики и проводить многодисциплинарные исследовани€.  ластер построен таким образом, что обеспечивает высокую эффективность работы как ћ Ё (метод конечных элементов) решател€ задач механики ANSYS Mechanical, так и гидрогазодинамических (CFD, Computational Fluid Dynamics) кодов ANSYS Fluent и ANSYS CFX.  роме того, дл€ решени€ высоконелинейных динамических задач и моделировани€ быстропротекающих процессов имеетс€ возможность использовани€ ANSYS AUTODYN.
÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’ графики 11

ANSYS Fluent: расчет реактивного двигател€, 12 миллионов полиэдральных €чеек, k-epsilon модель турбулентности

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’ графики 12

ANSYS Mechanical: линейна€ статическа€ прочность задней оси трактора, PCG, 12.3M уравнений

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’ графики 13

ANSYS Mechanical: нелинейна€ задача ползучести дл€ BGA чипа, Sparce, 6.0M уравнений

¬ рамках нагрузочного тестировани€ проведены тестовые расчеты, призванные продемонстрировать быстродействие системы. ѕервый из таких расчетов - расчет реактивного двигател€, модель которого содержит 12 миллионов полиэдральных €чеек. –асчет выполнен средствами ANSYS Fluent 17.0, используетс€ k-epsilon модель турбулентности.  роме гидродинамических расчетов в программу тестировани€ также вошли задачи механики. ANSYS Mechanical 17.0 показал отличные результаты при распараллеливании задач решаемых пр€мым и итерационным методом. “ак, при расчете линейной статической прочности задней оси трактора итеративным решателем PCG, система показала ускорение на 30-40% при решении 12.3 миллионов уравнений. ƒл€ пр€мого решател€ Sparce результаты расчета с использованием Tesla K80 оказались еще более внушительными: нелинейна€ задача ползучести дл€ BGA-чипа, содержаща€ 6.0 миллионов уравнений, была решена в 2 раза быстрее с использованием GPGPU.

”даленна€ визуализаци€

¬ычислительное €дро Ц это только часть нового вычислительного комплекса. –езультаты расчетов на кластере могут оказатьс€ слишком объемными дл€ передачи на рабочие места пользователей. ѕоэтому, дл€ удаленной обработки результатов вычислительна€ система оборудована специализированной инфраструктурой виртуальных рабочих столов (VDI) дл€ работы с инженерной графикой. —пециально спроектированна€ система дл€ работы с CAD и CAE программным обеспечением сочетает в себе самые передовые технологии.

÷»‘–ј вычислительный кластер дл€ ¬ќ≈Ќћ≈’ ”даленным рендерингом изображени€ занимаютс€ сразу две видеокарты NVIDIA GRID K2. –абота гостевых виртуальных машин поддерживаетс€ технологи€ми, заложенными в гипервизор VMware vSphere ESXi Ц он позвол€ет использовать технологию NVIDIA vGPU дл€ виртуализации и разделени€ ресурсов графических процессоров. ¬ качестве системы доставки удалЄнных рабочих столов примен€етс€ программное обеспечение NICE Desktop Cloud Virtualisation (DCV).

DCV ведет свою историю с 1994 года, и за это врем€ стал де-факто стандартом дл€ удаленной работы с инженерной графикой. —истема доставки удаленных рабочих столов обеспечивает удаленную работу с графикой уровн€ OpenGL 4+ дл€ Windows и Linux. ѕри этом, собственный протокол передачи данных использует всего около 1 ћбит/с ширины канала доступа на работу одного Full HD монитора. »зюминкой протокола DCV €вл€етс€ полностью аппаратное кодирование и декодирование потока данных на GPU, что положительно сказываетс€ на быстродействии и времени реакции удаленной системы на манипул€ции инженера. —толь низкие требовани€ к пропускной способности канала, высока€ скорость реакции и встроенное шифровани€ AES с 256-битным ключом позвол€ют удаленно работать с кластером практически с любого рабочего места, подключенного через глобальную сеть.

ƒополнительные удобства при организации рабочей сессии предоставл€ет система диспетчеризации удаленных рабочих столов NICE EnginFrame. ќна позвол€ет пользовател€м и администраторам контролировать рабочие сессии в удобном WEB интерфейсе.


„итайте также:


¬акансии:

јктуальное обсуждение

RSS-лента комментариев

-->

ƒавид Ћевин
ƒавид Ћевин
ќт редактора: ѕрежде чем широко внедр€ть Ђ»»ї, вы€сним, востребован ли интеллект вообще
ѕроект ЂЌародное —јѕ–-интервьюї

—лучайна€ стать€:

isicad Top 10

—амые попул€рные материалы

   ‘орумы isicad:

isicad-2010 isicad-2008
isicad-2006 isicad-2004

ќ проекте

ѕриглашаем публиковать на сайте isicad.ru новости и пресс-релизы о новых решени€х и продуктах, о проводимых меропри€ти€х и другую информацию. јдрес дл€ корреспонденции - info@isicad.ru

ѕроект isicad нацелен на

  • укрепление контактов между разработчиками, поставщиками и потребител€ми промышленных решений в област€х PLM и ERP...
ѕодробнее

»нформаци€ дл€ рекламодателей


¬се права защищены. © 2004-2023 √руппа компаний «Ћ≈ƒј—»

ѕерепечатка материалов сайта допускаетс€ с согласи€ редакции, ссылка на isicad.ru об€зательна.
¬ы можете обратитьс€ к нам по адресу info@isicad.ru.