Windows hpc pack 2012 r2 настройка для ansys

Обновлено: 23.01.2025

Независимо от типа решаемой задачи ANSYS HPC позволяет выполнять параллельные вычисления, чтобы сократить общее время выполнения расчета. Все решатели ANSYS, в том числе ANSYS Mechanical, ANSYS AUTODYN, ANSYS FLUENT, ANSYS CFX, ANSYS Icepak и ANSYS POLYFLOW, используют один и тот же тип лицензии ANSYS HPC для выполнения параллельных вычислений. Лицензию ANSYS HPC необходимо приобрести и установить всего один раз, после чего ее можно использовать в любое время в любом месте.

Оптимизированная производительность

ANSYS HPC настроен на оптимальную производительность при использовании новейших многоядерных процессоров Intel и AMD. Компания ANSYS и ее партнеры уделяют особое внимание таким вопросам, как оптимизация компилятора, многоядерное разбиение, настройка кэш-памяти для достижения максимальной производительности на каждом новом поколении процессоров.

Тесное сотрудничество компаний ANSYS и NVIDIA обеспечило высочайшую производительность вычислений, путем задействования графических процессоров при выполнении расчетов. Возможности обработки данных на GPU доступны с использованием новейших профессиональных графических ускорителей NVIDIA из семейства Tesla® Kepler™ или Quadro® Kepler, а также серии AMD Radeon Pro.

Ускорение вычисление с видеокартой NVIDIA Quadro K6000

Выдающаяся масштабируемость

ANSYS HPC предоставляет отличную масштабируемость. Результаты тестового расчета производительности на сложных задачах динамики жидкостей и газов показали практически линейную динамику сокращения времени вычислений при использовании до 2048 процессоров. При расчете задач механики деформируемых твердых тел можно добиться терафлоповой скорости вычислений на сотнях процессоров. В зависимости от объема задачи, разработчик обычно использует от 32 до 128 процессоров для задач динамики жидкостей и газов, от 16 до 32 ядер для задач механики деформируемых твердых тел.

ANSYS Mechanical 19.1, масштабируемость вычислений на кластере HPE SGI 8600, на базе процессора Intel Xeon Gold 6154 3.0 GHz “Skylake”, 192 GB оперативной памяти

Архитектура ANSYS HPC для высокоточных результатов

При помощи ANSYS HPC можно решать самые большие задачи, включающие в себя миллиарды элементов, выполнять высокоточное моделирование сложных геометрий и физических явлений.

Простота использования

Удаленные вычисления

ANSYS Remote Solve Manager (RSM) является центральной платформой для настройки и мониторинга удаленных вычислений. Независимо от того, передаются ли задания на кластер или облачный портал, интегрированная среда и инструменты RSM позволяют легко подключаться к существующей ИТ-инфраструктуре, предоставляя при необходимости беспрепятственный доступ к мощным вычислительным ресурсам. Встроенный планировщик ANSYS RSM Cluster (ARC), включает в себя основные функции, необходимые для планирования и запуска заданий, отправляемых в RSM из продуктов ANSYS. Приложение ARC Configuration обеспечивает быстрый и простой способ настройки кластера с одним или несколькими узлами, позволяя подключать и настраивать, а также запускать службы ARC на этих узлах.

Помимо базовых решений программное обеспечение ANSYS обеспечивает поддержку сторонних менеджеров очередей и планировщиков задач, таких как Altair PBS Professional, Adaptive Computing TORQUE, Platform Load Sharing Facility (LSF), Univa Grid Engine и Windows HPC Server Job Scheduler.

ANSYS HPC

Лицензии HPC ANSYS – это базовый вариант для низкоуровневых высокопроизводительных вычислений, при котором каждая одиночная лицензия задействует дополнительное ядро процессора. Эта опция полезна при незначительном увеличении используемых ядер, но ставится непомерно дорогой для многопроцессорных кластеров, для которых предусмотрены следующие решения.

ANSYS HPC Pack

Лицензии HPC Pack предназначены для крупномасштабных параллельных вычислений, позволяя задействовать все доступные мощности оборудования. Первая лицензия HPC Pack добавляет к базовым 4 ядрам, еще 8, и каждая последующая умножает количество дополнительных ядер на 4 (таким образом добавляя 8, 32, 128, 512 и т.д.). Каждая лицензия HPC Pack неделима, и может быть задействована только в рамках одного решения, также HPC Pack не объединяется с отдельными лицензиями HPC или HPC Workgroup.

ANSYS HPC Workgroup

ANSYS HPC Workgroup предназначены для больших рабочих групп, обеспечивая работу нескольких пользователей и решение нескольких задач одновременно. Лицензии доступны в блоках из 16, 32, 64,…, удваивая количество ядер с каждой лицензией вплоть до 32768. Эти лицензии могут распределены в любом соотношении, между любым количеством пользователей и решаемым задачам.

ANSYS HPC Parametric Pack

Одновременное решение нескольких проектных точек в параметрическом исследовании существенно сокращает требуемое время для получения результата. Лицензии HPC Parametric Pack делают этот процесс более доступным, позволяя параллельно проводить вычисления нескольких проектных точек, не требуя при этом дополнительных лицензий на решатель. HPC Parametric Pack также работают в сочетании с лицензиями HPC ANSYS и ANSYS HPC Pack, позволяя использовать все преимущества высокопроизводительных вычислений для каждой проектной точки. Первая лицензия HPC Parametric Pack позволит вам запустить четыре проектных точки одновременно, а каждая последующая удваивает их количество. Одно параметрическое исследование ограничено максимум 5 лицензиями HPC Parametric Pack (64 расчетных точек одновременно).

В этой статье я хочу поделиться своим опытом установки и настройки гипервизора Hyper-V Server 2012R2 от компании Microsoft. Итак, приступим. Дано: 2 сервера и iscsi СХД.

1. Подготовка образа

Скачиваем образ для установки сервера с сайта Microsoft. Если вы располагаете развернутой службой Windows Deployment Services или установленным «Комплект средств для развертывания и оценки Windows» (Windows ADK), можно полученный по ссылке выше дистрибутив архиватором 7-zip распаковать в папку, например, D:\W2012\x64\dvd. Затем полученные скопировать в папку D:\W2012\x64\upd, создать папку D:\W2012\mnt и с помощью следующего батника обновить образ.

Dism /Mount-WIM /WimFile:D:\W2012\x64\DVD\sources\install.wim /index:1 /MountDir:D:\W2012\mnt
dism /image:D:\W2012\mnt /Enable-Feature /FeatureName:MultipathIo
dism /image:D:\W2012\mnt /Enable-Feature /All /FeatureName:NetFx3 /Source:d:\W2012\x64\dvd\sources\sxs
dism /image:D:\W2012\mnt /Add-Package /PackagePath:d:\W2012\x64\upd
Dism /Unmount-Wim /MountDir:D:\W2012\mnt /commit
pause

Обратную сборку распакованного дистрибутива в загрузочный iso можно выполнить например программой Ultraiso, открыв в ней исходный образ и добавив в папку Sources файл install.wim из папки D:\W2012\x64\dvd\sources и сохранить полученный образ. Опять же все описанные выше манипуляции можно и не проводить, обновленный образ ускорит развертывание сервера Hyper-V

2. Установка

Если исходный диск для установки сервера превышает в размере 2Тб, то для того чтобы иметь возможность использовать все возможное пространство диска необходимо перед началом установки сконвертировать диск в GPT и разметить его. В процессе установки это сделать невозможно.

Необходимо загрузиться в режиме PE с инсталляционного диска и запустить diskpart.
Convert MBR to GPT using DISKPART

Для дальнейшей установки необходимо в BIOS сервера выставить загрузку в UEFI режиме (но это в случае если у вас локальное дисковое хранилище сервера превышает 2 ТБ, если нет то этот шаг можно пропустить)

3. Начальная настройка

В sconfig включаем Remote Desktop (пункт 7-e-2):

Включаем ping (пункт 4-3):

В командной строке запускаем powershell и отключаем firewall (можно пропустить):

4. Настройка виртуального коммутатора

Задание пула MAC адресов для виртуального коммутатора (менять выделенные значения, т.е. берем последний октет ip-адреса (например 192.168.251.11) mgmt-интерфейса и переводим его в шестнадцатеричный вид):

Это нужно для того, чтобы MAC адреса виртуальных серверов, расположенных на разных hyper-v host, не пересекались. По умолчанию они выдаются из одного диапазона и могут получиться одинаковыми, как у меня и произошло при внедрении на одном объекте.

Получение списка сетевых адаптеров:

Нужные нам – NIC1 и NIC2.
Объединение адаптеров в группу (Team1):

Создание виртуального коммутатора (vSwitch0):

Создание виртуального сет. адаптера (Management) и подключение его к виртуальному коммутатору:

Порты на физическом коммутаторе настроены в trunk и Vlan 251. В данном примере это подсеть для управления Hyper-V сервером.

Настройка IP-адреса, маски, шлюза и DNS сервера на виртуальном адаптере (MGMT): пункт 8 меню sconfig (например: 192.168.251.11/24, gw 192.168.251.1):

После этого сервер должен пинговаться и можно использовать удаленный доступ.

Подключаемся по RDP, создаем виртуальный сетевой адаптер (Cluster) и подключаем его к виртуальному коммутатору:

5. Подключение СХД

Будем исходить из того, что СХД уже настроена и подключена в соответствующие порты коммутатора. Настроим ip-адреса для адаптеров iscsi интерфейса:

В командной строке запускаем powershell:

С сетевыми адаптерами Broadcom NetXtreme вылез неприятный баг, который выражался в том, что на драйверах, идущих в образе, была очень низкая скорость передачи по сети от 3 до 5 МБайт/с на гигабитном подключении. Низкая производительность сети —

Broadcom is aware of this issue and will release a driver update to resolve the issue. Until the driver update is available, you can work around the issue by taking one of the following actions:
Disable VMQ on the Virtual Network Adapter by using the following Windows PowerShell cmdlet:

Исправляем, либо обновляем драйвера вручную.

6. Установка необходимых ролей

Установка необходимых ролей, должно быть подключение сервера к интернету:

Это если вы не модифицировали образ, как описано в п.1.

Добавляем поддержку SAS и iSCSI в оснастке mpiocpl и после перезагрузки в диспетчере дисков LUN-ы не будут двоиться, если сервер подключен двумя и более путями.

(шесть пробелов обязательно)

При добавлении нового volume на СХД выполняем в powershell:

Настройка времени (после добавления сервера в домен Windows время будет синхронизироваться с PDC):

Дополнительные лицензии значительно упрощают рабочий процесс для специалистов, работающих с параметризацией и оптимизацией: высокая степень масштабируемости и линейное сокращение времени вычислений. Решение множества параметрических точек задания в единицу времени взамен последовательного перебора. Задействуются все вычислительные мощности: головная рабочая станция, рабочие станции в локальной сети, кластерные вычислители. Результаты расчётов передаются на головной узел автоматически. Экономически выгодное использование лицензий ANSYS HPC.

В новых версиях, начиная с ANSYS 2020 R2 лицензии ANSYS HPC Parametric Pack и ANSYS Distribute Solve Option (DSO) перестанут выпускаться и вместо них останутся обычные лицензии ANSYS HPC Workgroup и ANSYS HPC Pack.

После перехода на новую систему лицензирования, за распределенные и параметрические расчеты будут отвечать привычные лицензии ANSYS HPC Workgroup и ANSYS HPC Pack, которые будут расширять возможности вычислений вместо дополнительных лицензий на решатели.

В качестве бонуса, для каждой параметрического случая будут задействованы 4, включенных в решатель, HPC ядра.

Для параллельного решения параметрических комбинаций поддерживаются следующие расчетные модули:

CFX operating maps
Electronics Desktop (AEDT)
Все приложения, которые запускаются как Workbench Design Points (для примера, Mechanical, Fluent, CFX, . )

Реализация и как с этим работать

ANSYS предлагает два варианта лицензирования.

В первом варианте используется HPC Workgroup, тогда:

Каждая параметрическая задача стоит 8 HPC
Каждое параллельное ядро для параметрических задач стоит 1 HPC

Во втором варианте используется HPC Pack, тогда:

Каждая параметрическая задача стоит 1 HPC Pack

Техника подсчета параллельных ядер для параметрических задач стандартная, основана на сумме всех задействованных ядер

До 8 ядер для 1 pack, 32 ядра для 2 packs, и т.д.

Предвидя сложности в подсчете количества необходимых лицензий ANSYS HPC Workgroup и ANSYS HPC Pack, компания ANSYS предлагает автоматизированный сервис Ansys Parametic Licensing Calculator, который очень прост в работе, например:

Для параллельного решения 6 DesignPoints (DP) с использованием 24 ядер на каждый расчетный случай необходимо 168 ANSYS HPC Workgroup или 9 ANSYS HPC Pack

Learn how to evaluate, set up, deploy, maintain, and submit jobs to a high-performance computing (HPC) cluster that is created by using Microsoft HPC Pack 2016. HPC Pack allows you to create and manage HPC clusters consisting of dedicated on-premises Windows or Linux compute nodes, part-time servers, workstation computers, and dedicated or on-demand compute resources that are deployed in Microsoft Azure.

Based on where the compute resources are located, Microsoft HPC Pack can be categorized into three cluster Modes:

Cluster Mode	Highlights	Topology
HPC Pack On-premises Get started with HPC Pack On-premises	- Supports Windows and Linux compute nodes - Advanced job scheduling and resource management - Proved and scale-tested capabilities - Free of charge - Easy to extend to hybrid
HPC Pack Hybrid Get started with HPC Pack Hybrid	- Burst to cloud to handle peaks in demand or special projects - Automate the deployment of Windows and Linux Azure VMs - Use your current HPC scheduler or HPC Pack - Pay only for what you use
HPC Pack IaaS Get started with HPC Pack IaaS	- Deploy a cluster all in the cloud, on demand - Use your current scheduler or HPC Pack - Readily shift existing applications to the cloud - Use templates, scripts, and gallery images to deploy on demand

Microsoft also has cloud-born HPC Scheduler Service called Azure Batch. You can either use Azure Batch directly or you can use HPC Pack as your scheduler and have your job to burst to azure batch.

Опции высокопроизводительных вычислений (High-performance computing, HPC) имеют огромное значение для инженерного моделирования. Опции HPC обеспечивают высокую точность и скорость моделирования, повышая производительность всей линейки продуктов ANSYS. Опции Electronics HPC позволяет производить очень точный параллельный расчет при решении самых сложных моделей, содержащих большое количество геометрических деталей, сложных систем, содержащих большое количество физических процессов. Высокопроизводительные вычисления ANSYS HPC Electronics помогают разработчику произвести более детальный анализ поведения продуктов. HPC Electronics – это уверенность достижения высокого качества изделий, а значит это гарант успеха продукта на рынке.

Высокопроизводительные вычисления для пакета программ ANSYS HF/SI, предназначенных для проектирования электроники, доступны через опцию HPC packs, в виде отдельных технологий и встроенных в программное обеспечение функций.

Рис.1 – Применение HFSS с опциями HPC и Parametrics: Взлет вертолета с кормы корабля. Функция adaptive meshing вычисляет точную сетку решения для каждого параметрического состояния модели. Метод декомпозиции обеспечивает решение крупномасштабных электромагнитных задач.

ANSYS Electronics HPC Packs

Опция ANSYS Electronics HPC Packs - гибкий и удобный способ получения лицензии для высокопроизводительных параллельных вычислений. Для пользователей, которые хотят получить возможность или работают на одной рабочей станции достаточно одной лицензии HPC Packs, которая обеспечит увеличение производительности и точности в восемь раз (8 вычислительных ядер). Пользователи, обладающие большими вычислительными ресурсами, для обеспечения параллельной обработки могут использовать несколько лицензий HPC packs, которые объединяют сотни или даже тысячи вычислительных ядер. Первая лицензия HPC packs открывает доступ к использованию 8 вычислительных ядер, а каждая последующая лицензия, представляет в 4 раза больше доступных ядер, т.е. 4×8=32 ядра и т.д. Опция ANSYS HPC packs предлагает практически неограниченные возможности высокопроизводительных вычислений в сочетании с возможностью запускать несколько заданий параллельно.

ANSYS Electronics HPC Workgroup

Опции ANSYS Electronics HPC Workgroup позволяют использовать общее количество вычислительных ядер, которое имеет в наличии команда разработчиков, различными приложениями ANSYS. Каждое моделирование может использовать любое количество параллельных вычислений в случае наличия активной лицензии Workgroup HPC. При наличии нескольких пользователей на рабочих станциях или пользователей, использующих несколько лицензий HPC packs для моделирования сложных задач, опцию HPC Workgroup можно установить так, как это необходимо.

ANSYS Electronics HPC Enterprise

Опция ANSYS Electronics HPC Enterprise может помочь объединить удаленных разработчиков предприятия, вне зависимости их места нахождения, для совместного использования вычислительных ядер распределенных между этими пользователями при высокопроизводительных вычислениях. В процессе моделирования могут использоваться любое количество параллельных вычислений в случае наличия активной лицензии Electronics HPC Enterprise. Вне зависимости от места нахождения удаленных разработчиков, вне зависимости от подключенных опций HPC, программное решение HPC Enterprise позволяет использовать высокопроизводительные параллельные вычисления.

Поддержка электромагнитных приложений ANSYS

Опция ANSYS Electronics HPC дает возможность параллельных вычислений для сокращения времени моделирования, обеспечивая при этом высокую точность и достоверность результатов. Портфель программных продуктов для электромагнитного моделирования ANSYS включает: HFSS, Q3D Extractor, SIwave, Maxwell и DesignerRF/SI. Перечисленные программные решения используют одинаковые опции ANSYS Electronics HPC для параллельных вычислений. Поэтому достаточно приобрести и установить лицензию HPC один раз, и использовать высокопроизводительные параллельные вычисления, когда это необходимо.

Многопоточность (Multithreading)

Опция ANSYS Electronics HPC дает возможность использовать многоядерные процессоры, для уменьшения времени расчетов. Технология многопоточности ускоряет получение начальной сетки, прямые и итерационные решения матрицы, и расчет поля. Обладатели опции ANSYS Electronics HPC получают 20 процентный прирост производительности.

Рис.2 - Опция ANSYS Electronics HPC обеспечивает значительное ускорение моделирования электродвигателя в ANSYS Maxwell 3-D.

Метод спектральной декомпозиции (Spectral Decomposition Method)

В процессе электромагнитного моделирования вычисляются поля в ближней и дальней зонах, производится расчет S-параметров в широком диапазоне частот. Традиционный метод вычислений, выполняет расчеты последовательно в каждой точке частотного диапазона, затрачивая много времени. Опция ANSYS Electronics HPC содержит технологию спектральной декомпозиции, которая распределяет многократные решения в широком диапазоне частот в сети компьютеров для ускорения расчетов. Эта технология поддерживает многопоточность, таким образом, многопоточность ускоряет расчет каждой отдельной точки, в то время как технология спектрального разложения выполняет расчет множества частотных точек параллельно. Спектральный метод разложения является масштабируемым для большого количества вычислительных ядер, что значительно ускоряет процесс вычислений.

Рис.3 - Технологии спектрального разложения обеспечивает более эффективный интерполяционный расчет S-параметров для печатных плат.

Метод декомпозиции областей (Domain Decomposition method)

Метод декомпозиции областей (DDM), доступный только в программном продукте ANSYS HFSS, распределяет моделирование электрически больших задач между доступными компьютерами (используя распределенную память и вычислительные ядра), объединенными в сеть. Метод декомпозиции автоматически разбивает сетку конечных элементов на несколько частей (областей). HFSS определяет оптимальное количество областей в зависимости от размера общей сетки и количества доступных компьютеров в сети, используемых для расчетов. Части сетки анализируются по отдельности в сети компьютеров, после чего с помощью итерационной процедуры реконструируется полное решение.
Использование метода декомпозиции существенно сокращает время моделирования сложных электродинамических задач.

Рис.4 - Метод декомпозиции использует распределенную память и вычислительные ядра, чтобы распределить сетки подобластей в сети компьютеров.

Декомпозиция периодических областей (Periodic Domain Decomposition)

Метод декомпозиции периодических областей, использующий распределенную память сети компьютеров, позволяет рассчитывать ВЧ/СВЧ структуры с периодической геометрией, например антенные решетки (АР). Этот метод распределяет части общей сетки конечных элементов АР в сети компьютеров, связь между компьютерами обеспечивается менеджером лицензий MPI. Скорость моделирования может быть существенно увеличена благодаря повторному использованию адаптивной сетки одной излучающей ячейки в процессе расчетов. Метод декомпозиции областей поддерживает многопоточность. Автоматизированный процесс генерации областей сетки конечных элементов делает этот метод простым в освоении и применении.

Рис.5 – Расчет АР с помощью метода декомпозиции периодических областей.

Гибридный метод декомпозиции области (Hybrid Domain Decomposition Method)

Гибридный метод декомпозиции области используется в моделях, содержащих элементы двух вычислительных технологий, HFSS FEM основанную на методе конечных элементов (МКЭ) и HFSS-IE - на методе моментов. Технология HFSS-IE дополняет вычислительные возможности классического решателя и позволяет рассчитывать сложные комплексные задачи (зеркальные антенны, ЭПР).
Эта технология, построенная на использовании метода декомпозиции и трехмерном решении интегральных уравнений, существенно сокращает время расчетов благодаря прямому решению интегральных уравнений на токопроводящих поверхностях. Гибридный метод обладает лучшими свойствами обоих вычислительных технологий: способность решать задачи с многослойными структурами и способность напрямую вычислять функции Грина в задачах на излучение и рассеяние электромагнитных волн.

Рис. 6 – Расчет наведенных токов и напряженности поля с помощью гибридного метода декомпозиции областей.

Распределенные вычисления матриц (Distributed matrix solver)

Распределенные вычисления матрицы представляет собой вычисления матриц в сети компьютеров при использовании решателя HFSS-IE. Технология HFSS-IE использует метод моментов для вычисления токов на поверхностях диэлектрических и токопроводящих объектов. Распределенный решатель матриц значительно увеличивает скорость моделирования за счет использования распределенной памяти и вычислительных ядер сети компьютеров. Этот метод расчетов поддерживает многопоточность, что обеспечивает более быстрое решение каждой отдельной части матрицы.

Рис. 7 - Метод распределенного решения матриц в сети компьютеров, существенно повышает скорость вычислений технологии ANSYS HFSS-IE.

Рис. 8 – Дерево конфигураций HPC.

Partner Support

Компания ANSYS работает с ведущими мировыми компаниями в области высокопроизводительных вычислений, такими как Intel, AMD, Microsoft, HP, IBM, Dell и другими OEM-производителями, реселлерами, поставщиками и системными интеграторами. Техническое сотрудничество ANSYS с этими партнерами гарантирует, что все клиенты получат всю необходимую техническую поддержку (установку, настройку, обслуживание и устранение проблем) от экспертов на всех этапах развертывания высокопроизводительных опций.

Читайте также: