ФГБУ "ГВЦ Росгидромета"
» Оборудование

Вычислительный комплекс состоит из следующих основных компонентов:

Типовая структурная схема вычислительных комплексов Росгидромета

Вычислитель выполняет функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам каждого из центров установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.

Система управления данными состоит из:

  • дисковой системы хранения данных, обеспечивающей хранение данных на накопителях ЖМД и предоставляющей ресурсы для подсистем ввода-вывода Вычислителя, серверов баз данных и оперативных систем;
  • ленточной системы хранения данных, состоящей из автоматизированной ленточной библиотеки,
  • серверов системы управления данными, включая серверы архивирования и резервного копирования, иерархического хранения данных.
    • Серверы оперативной системы и баз данных включают в себя вычислительные серверы, локальные серверы оперативного назначения, в число которых входят серверы обмена оперативной информацией, серверы информационных систем Росгидромета, файловые серверы, обеспечивающие файловый и транзакционный обмен данными для клиентов ЛВС.
    • Серверы общего назначения обеспечивают функционирование основных сетевых сервисов, таких как DHCP, NTP, локальных DNS и почтового сервиса.
    • Абонентские рабочие места оперативного и научно-исследовательского назначения включают персональные компьютеры и станции визуализации оперативного и неоперативного персонала.
    • Локальная вычислительная сеть объединяет все компоненты информационной системы. Связь с существующей ЛВС осуществляется посредством двух интерфейсов Ethernet 10/100/1000 Base-T. Для обеспечения функционирования осуществляется мониторинг и управление сетевым оборудованием.
    • Все компоненты существующего программно-аппаратного комплекса работают в режиме реального времени 24 часа в сутки.

Конфигурация информационной системы (основные характеристики установленного в ФГБУ “ГВЦ Росгидромета” Вычислительного комплекса.)

Пиковая произво-

дительность TFlops (1012)

Тип вычислителя

Кол-во ядер/ядер в узле

ОЗУ

Тбайт

(1012)/GB на ядро

Производитель

(фирма/страна)

Дисковая подсистема

Тбайт(1012)

1293

Cray XC40-LC

35136/36

125/3,5

CRAY (США)

 

2800TB

Cray Sonexion 3000

+ 360TB EMC VNX5600

+ 120TB EMC VNX5600

800

T-Platforms V6000

5160/40

24/4,8

T-Platforms (Россия)

13

Bull S6130

384/384

4/10

Bull Atos (Франция)

12

BullSequana S800

192/192

3/16

Bull Atos (Франция)

Вспомогательные информационные системы    

120TB SGI IS10000

16

  SGI Altix ICE8200  1408/8  2.8/2  SGI (США)

300TB

IBM Storwize V7000, IBM System Storage DCS3700

14

SGI ICE-X

720/20

2,304/3,2

SGI (США)

2

SGI UV2000

96/96

1,024/10,6

SGI (США)

 

Cray XC40-LC

Кластер Cray XC40-LC пиковой производительностью 1200 TFlops

 976 вычислительных узлов с двумя процессорами  Intel® Xeon® E5-2697v4 (18 ядер) и 128Гбайт оперативной памяти на узел

 Интерконнет – Cray Aries,

Infiniband EDR к остальным системам

 ОС – Cray Linux Environment

CLE6.0UP07 [2018]

CLE7.0UP02 [2020]*
T-Platforms V6000

Кластер T-Platforms V6000 совокупной пиковой производительностью 800 TFlops

99 узлов для вычислительных блоков V220S

30 узлов для вычислительных блоков V220F (с использованием ускорителей)

Интерконнект HDR100 InfiniBand

Узел вычислительного блока V220S (40 ядер):

- два процессора Intel Xeon Gold 6148

- ОЗУ 192 Гбайт

Узел вычислительного блока V220F:

- два процессора Intel Xeon Gold 6148

- двa ускорителя для вычислительного узла  NVIDIA Tesla V100

- ОЗУ 192 Гбайт

 ОС SLES 12.3 [2019], 15.1 [2020]
Bull S6130

Комплекс Bull S6130 - система с глобальной общей оперативной памятью производительностью 13 TFlops

16 х CPU Intel® Xeon® E7-8890 v4 (24 ядра)

ОЗУ 4ТБайт

384 ядра

 ОС SLES 12.3 [2018], 15.1 [2020]

 BullSequana_S800

Комплекс BullSequana S800  - система с глобальной общей оперативной памятью производительностью 12 TFlops

8 x CPU Intel® Xeon® Platinum 8160 (24 ядра)

ОЗУ 3ТБайт

192 ядра

 ОС SLES 12.3 [2019], 15.1 [2020]
SGI Altix ICE-X

 Кластер SGI ICE-X пиковой производительностью 14 TFlops построен на 72 10-и ядерных процессорах Intel E5-2670v2 с оперативной памятью 2,3 TB (720 процессорных ядер, 3,2 GB на ядро). Кластер  имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband FDR, топология Enhanced Hypercube IB Interconnect Topology. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам.

Кластер функционирует под управлением операционной системы SLES 11SP3 (x86_64).
SGI Altix ICE8200

 Кластер SGI Altix ICE8200 пиковой производительностью 16 TFlops построен на 352 4-х ядерных процессорах Intel Quad Core Xeon e5440 с оперативной памятью 2.8TB (1408 процессорных ядер, 2 GB на ядро). Вычислитель представляет собой широко распространенный тип блейд-систем, имеет 64-разрядную архитектуру EM64T/AMD64. Вычислитель состоит из 3-х вычислительных стоек, каждая из которых представляет собой: 4 IRU (Individual Rack Unit — блейд шасси), 15 вычислительных блейдов (лезвий), 8 ядер и 16GB оперативной памяти в каждом блейде. В качестве шины взаимодействия используется технология Infiniband DDR. Кластер использует бездисковый принцип работы - образ операционной системы разворачивается в оперативной памяти. Общая файловая система строится на базе технологии NFS over Infiniband.

Кластер функционирует под управлением операционной системы SLES 10SP2 (x86_64).
SGI UV2000

Комплекс SGI UV2000 пиковой производительностью 2 TFlops представляет собой систему с глобальной общей оперативной памятью, построен на 16 шести ядерных процессорах Intel E5-4617 с оперативной памятью 1 TB (96 процессорных ядер, 10 GB на ядро). Комплекс имеет 64-разрядную архитектуру EM64T/AMD64. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения к дисковым массивам.

Комплекс функционирует под управлением операционной системы SLES 11SP3 (x86_64).
 VP Fujitsu

Платформа виртуализации

72 узла Fujitsu CX2550M1

-2 x CPU E5-2697 v4
-ОЗУ 256 Гбайт

 36 выделенных узлов виртуализации и 36 гибридных узлов

 ОС Windows Server 2016/SLES 12.3/15.1

Интерконнет – Infiniband EDR, 2x10Gb/s Ethernet

Общие серверные нагрузки

Multi-tenant private cloud

Пре/пост процессинг данных в виртуальных машинах
 Cray Sonexion 3000

 Дисковая система Cray Sonexion 3000

Файловая система Lustre

2.7 [2018]

2.12 [2020]

2 MDS

14 OSS

ClusterStor GridRAID for Lustre

Интерконнет – Infiniband EDR

Пропускная способность 55 ГБ/с

1 ГБ/с при работе (чтение/запись) с любым одним узлом
 IBM Storages

Дисковая система на базе дисковых массивов IBM Storwize V7000 (14 TB) , IBM System Storage DCS3700.(300 TB )

Решение по Сети хранения данных реализовано путем установки двух FC коммутаторов Express IBM System Storage SAN24B-4 с подключением к коммутаторам SW 48K и файловой системе GPFS, которая является параллельной файловой системой. GPFS обеспечивает соединение всех необходимых технологических серверов и узлов кластеров  SGI с Дисковой системой хранения данных. Миграция данных между дисковыми подсистемами осуществляется также средствами GPFS.
 SGI IS10000

 Дисковая подсистема SGI InfiniteStorage 10000 (120TB ).

Решение по Сети хранения данных (SAN) базируется на двух коммутаторах Brocade SilkWorm 48000 (48K).

C использованием  данной СХД решаются вопросы функционирования вспомогательных информационных систем.

 

   На вычислительном комплексе установлены:

Параллельные файловые системы: Lustre, GPFS

Планировщик задач: Altair PBSPro

Компиляторы: Cray, Intel

Отладчики: TotalView, Intel

 

Для обеспечения функционирования и управления компонентами вычислительной инфраструктуры используются Служба каталогов Microsoft Windows и ассоциированные с ней общесистемные службы. В число этих служб входят инфраструктура общего каталога на базе Microsoft Active Directory, базовые сетевые сервисы DHCP, DNS, WINS, NTP. В качестве почтовой серверной службы используется Microsoft Exchange, в качестве унифицированных коммуникаций используется Microsoft Lync.

   ЛВС построена на базе:

  • Уровень ядра – коммутаторы Cisco 6509
  • Уровень распределения – коммутаторы Cisco 4948 с подключением  к коммутаторам уровня ядра на скорости 10 Gbps по оптоволоконному каналу связи
  •  Уровень резервирования серверной фабрики – коммутаторы Cisco 4948 с подключением к коммутаторам уровня ядра на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.
  • Уровень доступа – коммутаторы Cisco 2960 и Cisco 3650 с подключением к коммутаторам ядра и/или уровня распределения  на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.

Система безопасности сетевой инфраструктуры построена на базе межсетевых экранов Cisco ASA серии 5500, Cisco ACS.

Система управления ЛВС реализована с использованием интегрированного решения CiscoLMS (элемент-менеджер активного оборудования) и HP OpenView NNMi (энтерпрайс-менеджер оборудования).

На базе указанных выше вычислительных систем производится оперативный и научно-исследовательский счет.