Все компьютеры поставлялись с предустановленой Mac OS X версии 10.2.7. В ближайшее время будет произведен апдейт системного ПО до Mac OS X 10.3 (Panther). В распределенных вычислениях используется набор библиотек для параллельных вычислений под названием MPI, разработанных в университете штата Огайо. Их портирование с Linux стало возможным благодаря UNIX-корням Mac OS X. В дальнейшем предполагается совместно с лабораториями Argonne (занимающимися разработкой новых видов оружия) портировать библиотеки MPI-2. Для компиляции задач применяется GCC 3.3, встроенный в Mac OS X, и компилятор от IBM — xlc, который генерирует более оптимальный код, чем GCC. Кроме того, планируется использовать два компилятора Fortran 90/95/77: один от IBM, второй — от NAG⁵.

Необходимое условие — высокая надежность всех составляющих кластера и возможность выполнять задачу, даже если часть узлов не функционирует. Для обеспечения безопасной работы в подобных ситуациях была создана программа Deja vu, автоматически переводящая задачу с отказавшего узла на исправный.

Производительность

«Хит-парад» пятисот мощнейших компьютеров планеты, как и год назад, возглавляет Earth Simulator Center, построенный компанией NEC из 5120 специально разработанных процессоров. На втором месте — суперкомпьютер ASCI Q из военной исследовательской лаборатории Лос-Аламос, состоящий из 8192 процессоров Alpha и построенный компанией Hewlett-Packard. Следом идет Terascale Computing Facility из 1100 PowerMac G5. Четвертое и пятое места также занимают кластерные вычислительные центры военных лабораторий, построенные на основе 2500 Pentium 4 Xeon и 1936 Itanium 2 соответственно⁶.

Отметим, что компьютеры ранжируются по реальной производительности. Например, у Earth Simulator максимальная производительность превышает 40 ТФ, хотя реально этот суперкомпьютер достиг 35,8 ТФ. ASCI Q при пиковой производительности 20,4 ТФ работает с уровнем производительности в 13,8 ТФ. «БигМак» имеет соотношение 17,6 ТФ (пиковая) против 10,3 ТФ (максимальная производительность системы). Такая высокая цифра достигается благодаря архитектурному устройству процессора Power PC 970. В каждом процессоре G5 — два блока для вычислений с плавающей точкой с двойной точностью. Каждый блок может выполнять за цикл одну смешанную операцию сложения-умножения (наиболее распространенная операцию в нумерических вычислениях). Поэтому каждый процессор может «выдать на-гора» 8 ГФ; соответственно двухпроцессорная машина может работать с производительностью около 16 ГФ. В свое время пальму первенства в операциях с плавающей точкой прочили Itanium, но, видимо, IBM с дизайном Power PC 970 все же обошла Intel. Тест LINPACK, с помощью которого вычисляют производительность машин в Тоp-500, измеряет именно работу процессора с плавающей точкой. Если взглянуть на пятое место, где обосновался кластер из почти 2 тысяч процессоров Itanium 2, то заметно, что проигрыш в максимальной/пиковой производительности, обусловлен в первую очередь разницей в тактовой частоте. Если же сравнить «БигМак» с машиной, занявшей четвертое место, то даже большее количество процессоров 3 ГГц (2500) не помогло кластеру, построенному фирмой Dell, повысить производительность.

Что же касается второго места, существует мнение, что если «БигМаку» добавить с тысчонку процессоров, то он вполне мог бы посоревноваться за «серебро» — с тремя тысячами Power PC 970 против кластера с 8 тысячами процессоров Alpha, выдающего 13,8 ТФ из 20 возможных. Безусловно, прирост производительности «БигМака» вряд ли будет пропорциональным количеству прибавленных процессоров, но он, тем не менее, должен быть существенным.

Обслуживание

Взявшись за построение суперкомпьютера, вирджинцам пришлось думать не только о кабелях и электронике, но и о специальном помещении, где нужно было уместить 1100 машин, обеспечить им рабочую среду с определенным температурным режимом и влажностью, позаботиться о пожарной безопасности, контроле доступа, электроснабжении (2 МВт), устройствах бесперебойного питания и резервном дизель-генераторе.

Современные процессоры — не только мощное вычислительное устройство, но и мощный источник тепла. Обычно в комнатах с большим количеством вычислительной техники воздух нужно обновлять три раза в час. Расчеты показали, что в случае с TCF во избежании перегрева оборудования эта цифра должна быть в шестьдесят раз выше. Было решено поставить компьютеры задними стенками друг к другу и выдувать горячий воздух, скопившийся между ними, струей охлажденного воздуха снизу. Но оказалось, что для этого поток воздуха должен поступать со скоростью около 100 км/час, и все равно останутся недостаточно охлажденные места. Волей-неволей вирджинцам пришлось обратиться за помощью в компанию Liebert (подразделение Emerson Network Power), известную своими системами охлаждения для чувствительной электроники. Решение выглядит следующим образом: между компьютерами находятся специальные «радиаторы», состоящие из медных трубок, по которым течет вода с температурой в несколько градусов выше нуля. Вода поглощает выделяемое компьютерами тепло и попадает в специальный рефрижератор, в котором она охлаждается, после чего продолжает циркулировать по системе. Стоимость подготовки помещения и строительства систем электрообеспечения и охлаждения составила 2 млн. долларов⁷.

Появления подобных кластеров стоит ожидать в самом ближайшем будущем. Интерес к кластеру из Power Mac G5 уже проявило Агентство национальной безопасности США и военные лаборатории Argonne. Поскольку «БигМак» был собран практически без помощи высококвалифицированных специалистов и наладчиков, на основе доступных «широким массам» компонентов, Вирджинский политех планирует в этом году выпустить «конструктор суперкомпьютеров» — набор документации и программного обеспечения, который позволит любой организации (с достаточным количеством финансовых ресурсов, разумеется) построить суперкомпьютер, способный занять достойное место в рейтинге www.top500.org .

5 IBM выпустила более быстрый компилятор, хотя компилятор NAGWare Fortran имеет более широкий набор функциональности, чем IBM xlf.
6 Полный список суперкомпьютеров доступен по адресу www.top500.org/list/2003/11.
7 Сейчас в Национальной лаборатории Лос-Аламос разрабатывается суперкомпьютерная система, которая могла бы уместиться в средних размеров шкафу и не требовала бы специальной системы охлаждения. В том же здании находится суперкомпьютер ASCI Q (второе место в списке), который охлаждается установкой, напоминающей миниатюрный атомный реактор.