Дважды в год сайт www.top500.org, посвященный высокопроизводительным вычислениям, составляет перечень пятисот самых быстрых компьютеров в мире. Список, опубликованный прошлой осенью, любопытен тем, что впервые в десятку мощнейших компьютеров попал кластер, собранный не известным производителем, а студентами и сотрудниками Политехнического института Вирджинии. К этому чуду техники сразу же приклеилось прозвище Big Mac.

Power Macintosh G5

В июне 2003 года компания Apple представила новую модель персональных компьютеров Power Macintosh на базе 64-разрядного процессора Power PC 970, разработанного совместно с IBM. Со свойственной «яблочной» фирме непринужденностью он был объявлен «самым быстрым персональным компьютером в мире». Столь смелое заявление подкреплялось сравнительными тестами производительности процессоров Power PC 970, Intel Pentium 4 и Intel Xeon. Разумеется, аналитики не преминули покритиковать способ сравнения, которым воспользовалась Apple. В конце концов, стороны сошлись на том что производительность процессора — это еще далеко не все: надо, мол, посмотреть, как поведут себя компьютеры в реальной жизни, с реальными приложениями, как проявят себя остальные компоненты — системная шина (работающая на половине частоты процессора), подсистема памяти (DDR 400), жесткие диски (ATA/133) и др. Apple представила три модификации машин (однопроцессорные, 1,6 и 1,8 ГГц, а также двухпроцессорную с частотой 2 ГГц), которые поступали в продажу постепенно¹. Естественно, что в Сети стали появляться сравнения производительности G5 и с предыдущими моделями «Маков», и с разными конфигурациями PC, включая Pentium 4, Xeon и даже Opteron/Athlon 64. Результаты этих тестов, проведенных, как правило, в «домашних» условиях, сильно отличались, что вызывало удивление, недоумение, а иногда и раздражение. Но когда на сайтах, посвященных «Макинтошам», появились сообщения, что задержки в поставках двухпроцессорных машин объясняются желанием Apple в первую очередь удовлетворить крупный заказ на суперкомпьютер, то притихли даже самые ярые критики. Какое-то время информация об этом кластере оставалась туманной: в тендере участвовали такие именитые поставщики серверных/кластерных решений, как Dell, IBM, HP и Sun, и некоторые из них требовали не разглашать детали до официального заключения контракта. В начале сентября стал известен победитель — компания Apple.

Проект

Заказчиком оказался Политехнический институт штата Вирджиния (Virginia Tech, www.vt.edu), вознамерившийся создать высокопроизводительный вычислительный центр для научных исследований в области наноэлектроники, аэродинамики, молекулярной статики, биохимии и акустики. Первостепенным критерием для института, безусловно, была стоимость. Организации вроде Министерства энергетики США могут себе позволить выложить огромную сумму за мощнейший кластер, а вот образовательное учреждение — нет. Поэтому требовалось очень высокое соотношение цены и производительности решения. Второй решающий аспект — сроки. Идея проекта возникла в марте, финансирование было открыто в апреле-мае, в июне представители института провели переговоры с Apple, а уже в конце сентября суперкомпьютер начал функционировать в отладочном режиме. Обычно постройка компьютера подобной мощности занимает от не меньше года². Собирали кластер студенты института — волонтеры³. Их задача заключалась в том, чтобы распаковать оборудование, включить его, затем, выключив, установить память и сетевую карту, потом еще раз проверить, после чего монтировать в стойку. В среднем на машину затрачивалось около двух часов.

Одним из важных требований к кластеру являлось использование 64-битной архитектуры процессоров, а также наличие высоконадежного и быстрого канала связи с сетью (кластер с самого начала задумывался как ресурс, доступный не только Политеху, но и другим организациям, которые заинтересованы в исследованиях, требующих солидных вычислительных мощностей).

«Железо»

«БигМак» (официальное название — Terascale Computing Facility, TCF) состоит из 1100 Power Macintosh G5, в каждом из которых находится по два процессора Power PC 970 с тактовой частотой 2 ГГц. Во все машины дополнительно установлено по 2 Гбайт оперативной памяти — таким образом, каждый узел кластера содержит 4 Гбайт RAM. Кроме того, 1100 винчестеров объемом 160 Гбайт дают в сумме 176 Тбайт дискового пространства. Четыре машины используются для компиляции задания и запуска задач, а одна — для управления кластером.

Компания Mellanox, изготавливающая электронику по технологии InfiniBand, разработанной консорциумом производителей серверного оборудования, поставила коммуникационные устройства и драйверы для сетевых карт. Двадцать четыре 96-портовых коммутатора InfiniBand, объединяющих машины в кластер, используют специальные медные проводники для того, чтобы обеспечить передачу данных со скоростью (теоретической) до 20 Гбит/с. Реальная же скорость составила около 700 Мбит/с. Однако после установки сетевых карт в разъем PM G5 задержки на PCI-X шине уменьшились, и скорость возросла до 870 Мбит/с. Древовидная структура соединения компьютеров в кластере позволяет любому из его участков связаться с другим участком менее чем за 10 мс. В качестве поставщика вспомогательной сетевой инфраструктуры была выбрана компания Cisco. Каждый из пяти коммутаторов Cisco 4500 содержит 240 гигабитных портов. Вспомогательная сеть используется для управления машинами, запуска вычислений и «обычного» IP-трафика. Напомним, что все модели Power Macintosh имеют встроенный сетевой адаптер со скоростью передачи данных 10/100/1000 Мбит/с. Весь набор «железа», включая компьютеры, память, основное и вспомогательное сетевое оборудование, обошелся институту в 5,2 млн. долларов (из них 1,6 миллиона стоили коммутаторы и сетевые карточки и около 180 тысяч долларов — кабели).

Институт рассматривал предложения и от других компаний. Изначально в качестве платформы для кластера предполагалось взять Itanium 2 от Intel или Opteron от AMD. Но первый вариант оказался слишком медленным, а второй — слишком дорогим, как и большинство других решений, стоимость которых не опускалась ниже 10 млн. долларов⁴. (Для сравнения: во всех PowerMac G5 установлены дорогие CD/DVD-RW приводы и видеокарты с 64 Мбайт памяти, которые в кластере не нужны; так что если бы встал вопрос о дальнейшем удешевлении проекта, то у Apple оставалось еще пространство для маневра.) Помимо Terascale Computing Facility, у института также есть кластер из четырехсот процессоров Opteron (под управлением Linux) и кластер из двадцати SGI Origin 2000. Кроме того, Вирджинский политех подключен к National Lambda Rail — фиброоптической сети протяженностью более 20 тысяч километров, которая объединяет учебные заведения и исследовательские организации, занимающиеся высокопроизводительными вычислениями.

1 В ноябре модель с процессором 1,8 ГГц была заменена моделью с двумя процессорами с той же тактовой частотой.
2 Дерек Бастиль (Derek Bastille) из суперкомпьютерного центра Арктического региона сказал, что просто поражен результатом Вирджинского политеха: центр потратил около 30 млн. долларов и два с половиной года на установку двух суперкомпьютеров от Cray и IBM.
3 В качестве вознаграждения они получали билеты на футбольные матчи. Кроме того, дополнительные затраты на сборку кластера включали порядка 600 пицц и энное количество кока-колы для 165 добровольцев.
4 Кроме того, Opteron в пике производительности выдавал в два раза меньше операций с плавающей точкой, чем PPC 970, ну а Itanium 2 проигрывал по тактовой частоте.