Большие притоки, малые берега

Не все данные в толстых справочниках, библио­теках и в памяти компьютеров называются большими. К ним относятся только исчисляемые цифровые данные, которые непрерывно накапливаются и не имеют простой структуры. Например, данные о заказах в интернет-магазине – это не большие данные, хотя их объем может достигать десятков гигабайт. А несколько гигабайт данных в час с записями с сенсоров в двигателе «Боинга» – это уже big data.

Чтобы обработать объем данных, растущий с каждым часом, нужно, во-первых, где-то их хранить, во-вторых, на чем-то вычислять и, наконец, с высокой скоростью передавать. Для этого нужен не просто компьютер, а суперкомпьютер – высокопроизводительная вычислительная платформа, как системный блок домашнего компьютера, только в тысячи раз мощнее и эффективнее.

Такие шкафы называются вычислительными кластерами. Обычно они состоят из одного или нескольких двухметровых металлических шкафов (стоек), в которых словно на полочках располагаются одинаковые по строению модули (узлы), объединенные в сеть. В одном таком узле находятся системная шина, отвечающая за контроль всех процессов, модули памяти, один или несколько процессоров, сетевых адаптеров на базе сверхбольшой интегральной схемы (СБИС), ускорителей, система охлаждения и другие платы и устройства.

Из кластеров тоже можно сделать сеть. Для этого есть два способа: только через сетевой адаптер или через сетевой адаптер и коммутатор. Первый способ объединяет сетевые адаптеры напрямую. Они вставляются контактами в материнскую плату узла и соединяются высокоскоростными кабелями. Второй способ – сбор данных со всех адаптеров с помощью коммутатора.

Сетевой адаптер суперкомпьютера состоит из СБИС, реализующей логику приема, отправки и маршрутизации данных (пакетов), разъемов для подключения высокоскоростных сетевых кабелей, встроенного сервисного процессора и других элементов. Во время маршрутизации происходят выбор направления движения сетевых пакетов и передача данных.

Скорость передачи данных через порт коммутатора сети «Ангара» – 75 Гбит/с. Максимальная скорость передачи по кабелю Ethernet – 100 Гбит/c. При этом выполнение команды процессора или ожидания доставки данных из памяти по сети «Ангара» занимает в 2–5 раз меньше времени, то есть имеет латентность ниже, чем у сети Ethernet. Для сравнения: оптимальная скорость подключения для серфинга в социальных сетях, в том числе онлайн игр, – 2 Мбит/с.

Еще совсем недавно в России не было инфраструктуры для обработки больших данных. «Ангара» стала пионером такого сетевого оборудования в России, оставив позади зарубежных предшественников – несколько поколений сетей InfiniBand (SDR, DDR QDR).

Платы для «Ангары» печатают подобно фотографии. Их обтравливают по заданному рисунку, удаляя лишнее медное обрамление, или же, наоборот, наращивают медь на необходимые участки, затем несколько раз покрывают пленками и специальными составами, сверлят отверстия и покрывают их стенки тонким слоем меди, проверяют на целостность каждую электрическую цепь. Затем на этапе монтажа на плату с помощью вакуумных манипуляторов крепятся и в последующем паяются резисторы, конденсаторы, транзисторы, светодиоды и другие компоненты. Корпусные изделия проходят фрезерную, токарную обработку, нанесение гальванического покрытия и порошковую покраску.

Сетевое оборудование «Ангара» используется в Объединенном институте высоких температур РАН, военном инновационном технополисе «ЭРА», АО «Центр суперкомпьютерного моделирования». Оно может применяться для различных отраслей науки, обороны и промышленности, чтобы ускорить разработку новых изделий, материалов, технологий.