Графовые базы данных становятся всё более популярными для управления массивами информации, в которых высший приоритет имеют отношения между элементами данных. Однако технические вопросы, связанные с установкой, управлением и поддержкой графовой базы данных на собственной инфраструктуре, слабо связаны с решением прикладной задачи. IBM Graph — это графовая база данных, доступная как сервис на облачной платформе IBM Bluemix. Сервис IBM Graph построен на базе компонентов с открытым исходным кодом и характеризуется высокой доступностью и масштабируемостью по требованию. В данном докладе мы представим основные концепции, лежащие в основе сервиса IBM Graph, и покажем, как использовать его программные интерфейсы и графическую консоль платформы Bluemix.

Одна из ключевых целей Intel – сделать технологии обработки Больших Данных и решения задач Машинного обучения доступными гораздо более широкому кругу исследователей и разработчиков, а, соответственно, и их результаты гораздо более широкому потребителей, в том числе, не имеющих специальной глубокой подготовки в области математики и программирования. Другая ключевая задача – повышение производительности реализаций алгоритмов машинного обучении при выполнении на процессорах Intel. Библиотека Intel DAAL решает данную задачу.
В презентации будут показаны ключевые возможности и особенности использования библиотеки, приведен пример использования Intel DAAL для решения “классической” задачи распознавания рукописного текста и некоторые сравнительные результаты производительности и масштабирования.

Моделирование сложных физических процессов является важной технологической возможностью для различных компаний в областях BigData, нефтегазового сервиса, фармакологии, авто-, авиа- и машиностроения, и многих других. Широко используемым сейчас подходом для создания вычислителей, способных рассчитывать сложные модели, является создание кластерных систем, где вычислительный узел представляет собой промышленный сервер общего назначения, управляемый своей собственной ОС, как правило, из семейства GNU/Linux.

Из-за относительно небольшого количества кластерных установок не существует специализированных кластерных ОС, а GNU/Linux в кластерном варианте является крайне специфичной ОС, требующей высокой квалификации обслуживающего персонала.

Введение виртуализационного слоя, позволяющего в течение нескольких минут создавать “виртуальный кластер”, дает возможность предоставить коммерческим предприятиям и научным группам услугу “кластер по требованию”. Такие виртуальные кластеры в рамках одной OpenStack инфраструктуры являются абсолютно независимыми. Пользовательские программы в рамках таких кластеров могут изменяться так, как нужно пользователю без каких-либо согласований с кем-либо, а логические устройства, на которых находятся пользовательские данные, недоступны другим виртуальным кластерам.

В большинстве случаев виртуализация приводит к минимальным потерям вычислительной мощности (<1%), например, сравнительные тесты tNavigator от RFD и ProMAX от LandMark не показали каких-либо потерь производительности. Однако специализированные тесты сетей малой латентности показывают накладные расходы от виртуализации не более 20% на операциях синхронизации.

Наиболее известные методы вычисления авторитетности вершин графа основаны на моделях случайных блужданий. В частности, в задаче ранжирования веб страниц применяется алгоритм PageRank. Несмотря на несомненные достоинства этого алгоритма, PageRank и его аналоги не учитывают многие естественные свойства графов. Эти свойства удается учесть с помощью некоторых параметрических моделей, в которых используются веса вершин и ребер, зашитые в переходные вероятности. В докладе речь пойдет о новых оптимизационных методах обучения параметров упомянутых моделей.

Примерами являются следующие проблемы, они обсуждаются в докладе.
1) Даны n с повторениями натуральных чисел, можно ли разбить их множество на две части с одинаковыми суммами чисел из каждой части.
2) Множественное выравнивание данных последовательностей: глобальное и локальное.
3) Даны графы a и b и фиксированный список естественных операций над графами. Какова кратчайшая последовательность этих операций, преобразующая a в b.
4) Как определить/вычислить расстояние между графами.
3-4а. Большие задачи целочисленного линейного программирования (ЦЛП), решающие эти проблемы.
5) Что такое средний граф для данного набора графов.
6) Описать смену режимов в функционировании динамических систем определённых типов (важных в биологии).
6a. Конкуренция встречных потоков.
6b. Сочетание трёхмерной и одномерной диффузий.
6с. Преследование.
Во всех случаях нужно найти низкой степени полиномиальный (практически – линейный или близкий к нему) вычислительный алгоритм, который решает задачу.
Важную роль в исследовании играют программирование для суперкомпьютеров (особенно для систем с распределённой памятью) и создание/использование больших данных; а также – организация памяти вычислительного устройства и распределение промежуточных задач между вычислительными процессами. В частности, важно понижение размерности в соответствующей задаче ЦЛП. Обычно не удаётся решить проблему точным алгоритмом, поэтому большое значение приобретают моделирование, как и организация сравнения многих эвристических алгоритмов решения одной и той же проблемы.

На сегодняшний день, сообществу исследователей, занимающемуся разработкой суперкомпьютерных приложений известно множество систем высокопроизводительной обработки больших графов. Широкое распространение получили такие системы, как Parallel BGL, Pregel, Giraph и множество других. Все эти системы довольно сильно различаются по (типичному) размеру обрабатываемых задач, уровню поддержки параллелизма, набору алгоритмов и другим характеристикам. Поэтому актуальным является вопрос поиска “идеальной” системы обработки графов, которая бы решала требуемые задачи пользователей наиболее эффективно.

DVM-система предназначена для разработки параллельных программ научно-технических расчетов на языках C-DVMH и Fortran-DVMH. Эти языки используют единую модель параллельного программирования (DVMH-модель) и являются расширением стандартных языков Си и Фортран спецификациями параллелизма, оформленными в виде директив компилятору. DVMH-модель позволяет создавать эффективные параллельные программы для гетерогенных вычислительных кластеров, в узлах которых в качестве вычислительных устройств наряду с универсальными многоядерными процессорами могут использоваться ускорители (графические процессоры или сопроцессоры Intel Xeon Phi). В данном докладе будут рассмотрены новые возможности работы с нерегулярными сетками и графами, которые были реализованы в компиляторе CDVMH в последнее время. Использование разработанного расширения позволяет существенно упростить распараллеливание на кластер имеющихся приложений на нерегулярных сетках и графах.

В докладе рассматривается задача переупорядочения строк и столбцов симметричной разреженной матрицы с целью уменьшения числа ненулевых элементов в факторе Холецкого. Данная задача является NP-полной, для ее решения используются эвристические алгоритмы, основанные на применении методов теории графов. В настоящее время существует ряд распространенных библиотек для решения рассматриваемой задачи, предназначенных для систем с распределенной памятью (ParMETIS, PT-Scotch). В 2015 году вышла библиотека mt-metis, в которой реализован параллельный алгоритм для систем с общей памятью. В то же время авторами доклада была представлена библиотека с открытым исходным кодом PMORSy, также ориентированная на системы с общей памятью. В PMORSy реализован параллельный многоуровневый метод вложенных сечений. В отличие от аналогов, предложенный алгоритм использует возможности стандарта OpenMP 3.0. Основная идея распараллеливания заключается в организации и параллельной обработке очереди задач, которые могут быть решены независимо. В настоящее время разрабатывается версия PMORSy, ориентированная на системы с распределенной памятью. Используемый параллельный алгоритм близок к алгоритму, предложенному авторами PT-Scotch. В докладе будут представлены результаты вычислительных экспериментов на симметричных матрицах из коллекции университета Флориды. В сравнении с ParMETIS, PT-Scotch, mt-metis PMORSy дает близкие по числу ненулевых элементов фактора перестановки и опережает данные библиотеки по времени работы на ряде тестовых матриц.

Описывается постановка двух практических задач теории графов, которые требуется решать на кластере при ограниченном объеме памяти.

Одним из важных этапов построения бесшовных мозаик изображений, получаемых средствами дистанционного зондирования Земли (ДЗЗ), является вычисление оптимальных линий сшивки изображений. В статье рассмотрена проблема автоматического выбора оптимальной линии сшивки изображений с применением метода вычисления кратчайшего пути на графе. Предложен подход к конструированию графа из весовой функции схожести изображений и его хранению в оперативной памяти. Описана методика параллельного построения оптимальной линии с применением поиска кратчайшего пути на графе.

Существует много разных платформ параллельных вычислений, и каждая требует написания программы практически с нуля. Возможно ли порождать все эти различные реализации из единого описания алгоритма на некотором "универсальном языке"? В докладе речь пойдет о проекте такого языка. Его семантика основана на принципе управления потоком данных (dataflow). Сначала мы пишем на нем абстрактную схему алгоритма. Затем, привнося дополнительную информацию о процессе вычислений, можем получать разные конкретные программы для разных платформа. Язык и его возможности демонстрируются в докладе на примере задач SSSP (Single Source Shortest Path) и BFS (Breadth-First Search).

В докладе будут представлены результаты работ по повышению эффективности языка параллельного программирования Charm++ для решения графовых задач. Также представлен компилятор проблемно-ориентированного языка программирования Green-Marl, предназначенного для обработки статических графов, поддерживающий трансляцию программ в Charm++.