Содержание

Что такое высокоскоростная коммуникационная сеть, где она используется?
Какие есть ВКС?
Что представляет собой сеть «Ангара»?
Где и кем будет применяться сеть «Ангара»?
Каковы основные цели при разработке сети «Ангара»?
В чём новизна и актуальность?
Контактная информация

Высокоскоростная коммуникационная сеть (ВКС) связывает между собой вычислительные узлы суперкомпьютера. Отличительной особенностью таких сетей является аппаратная поддержка моделей параллельного программирования, используемых при решении задач, требующих сверхбольших вычислительных мощностей и объёмов коммуникаций (моделирование сложных систем в области медицины, химии, прогнозирования/изучения климатических явлений, биологии, анализ и обработка больших массивов данных).

Важность разработки ВКС обусловлена следующими причинами:

• Ежегодно среднее количество узлов суперкомпьютеров в рейтинге Top500 увеличивается примерно на 20%; при этом в ряде задач все узлы должны взаимодействовать друг с другом, желательно, с минимально возможной задержкой и максимально возможной пропускной способностью.
• Ежегодно увеличивается количество реальных приложений, характеризуемых интенсивным обменом данных по сети.
• В отличие от процессоров и памяти (которые используются в широком спектре вычислительных систем), компоненты ВКС (как предназначенные исключительно для суперкомпьютеров) легко поставить под экспортный контроль.

Все ВКС можно разделить на два класса: коммерческие (доступные отдельно и используемые для построения кластерных систем) и заказные (разрабатываемые в составе вычислительных систем и доступные только совместно с ними).

Среди коммерческих наиболее распространены InfiniBand и 40/100 Gigabit Ethernet.

Заказные ВКС используются в суперкомпьютерах таких фирм, как Cray (Cray Gemini), IBM (IBM Blue Gene/Q), Fujitsu (K Computer), SGI и др.



Подробная информация о наиболее мощных суперкомпьютерах доступна на Top500.org.

Предполагается как минимум два способа использования сети «Ангара»:

• в виде сетевых адаптеров в формате плат расширения PCI Express для кластерных систем,
• в составе суперкомпьютера «Ангара» на базе вычислительной платформы собственной разработки.

Как отдельный продукт сетевые адаптеры «Ангара» могут быть использованы для построения персональных суперкомпьютеров и кластеров среднего диапазона производительности (от 10 до 500 Tflop/s) на базе коммерческих вычислительных узлов и инфраструктуры (например, Supermicro или Tyan). При этом сеть «Ангара» может быть использована совместно с другими сетями, например Ethernet или InfiniBand.

Сетевой адаптер «Ангара» представляет собой плату расширения PCI Express (аналогично сетевым картам Ethernet), к которой подключаются от 2 до 8 кабелей для соединения с соседними узлами (передача данных между узлами может осуществляться через промежуточные узлы). Поддерживаются топологии сети от 1D до 4D-тор. Основной режим программирования для сети «Ангара» — совместное использование MPI, OpenMP и Shmem; также поддерживаются GASNet и UPC. Для поддержки Shmem и PGAS-языков на каждом узле выделяется регион памяти, доступный для прямых удалённых обращений (чтения, записи, атомарных операций) от других сетевых узлов (RDMA операции).

В составе суперкомпьютера «Ангара» ВКС является основной коммуникационной сетью, по которой передаются данные, генерируемые выполняющимися задачами (обмен данных внутри задачи), и трафик файловой системы (обмен данных вычислительных узлов с узлами ввода-вывода). Сеть «Ангара», интегрированная в состав вычислительной платформы, будет использована для построения систем среднего и высшего диапазона производительности.

Суперкомпьютеры с серийными образцами адаптеров «Ангара» предполагается использовать при решении широкого диапазона задач для нужд науки и промышленности, региональных вычислительных центров.

Главная цель — разработать отечественную сеть, способную конкурировать при использовании в рамках указанного выше набора задач с лучшими коммерчески доступными сетями (InfiniBand), при этом близкую по идеям к лучшим заказным сетям (Cray Gemini, IBM Blue Gene Torus) и эффективно поддерживающую современные модели программирования (односторонние коммуникации, PGAS).
Цели при разработке сети «Ангара»:

• эффективная поддержка односторонних коммуникаций (put/get) и PGAS-языков (как основных средств параллельного программирования);
• эффективная поддержка MPI;
• выпуск собственного чипа (для достижения высоких скоростей передачи данных и низких задержек);
• адаптивная отказоустойчивая передача пакетов;
• эффективная работа с современными процессорами и чипсетами.

Сеть задумана как отечественный аналог зарубежных заказных сетей.

Получение лучшей производительности, чем у InfiniBand, достигается за счёт меньшей универсальности (что позволяет снизить накладные расходы на передачу и обработку сетевых пакетов).

Ориентирование на односторонние коммуникации и эффективную реализацию PGAS-языков позволяет естественным образом поддержать наиболее современные модели параллельного программирования.

Сеть «Ангара» — единственная на данный момент отечественная сеть на базе СБИС (использование в коммуникационных сетях ПЛИС обычно негативно отражается на получаемых скоростях и задержках, масштабируемости, стоимости).

На данный момент для отладки программного обеспечения и основных технологических решений используется прототипный кластер из 36 узлов (тор 3×3×4) с адаптерами на базе СБИС и двухсокетными узлами с процессорами Intel Xeon E5-2660 и E5-2630.



В настоящее время в проекте занято несколько десятков человек — специалистов в области моделирования, разработки интегральных микросхем и программного обеспечения. Большинство является выпускниками МГУ, МИФИ, МИЭТ.

E-mail: hpc@nicevt.ru

Адрес: АО «НИЦЭВТ», Варшавское шоссе, 125