Decommisioned CoolMUC

Als wesentliche Erweiterung der parallelen Tier-2 HPC-Infrastruktur am LRZ hat MEGWARE 2011 178 Knoten auf der Basis von Dual-Socket AMD Magny-Cours Knoten mit 8 Cores pro Sockel installiert; das Hochleistungs-Verbindungsnetzwerk basierte auf InfiniBand QDR-Technologie. Die aggregierte Spitzenleistung dieses Clusters betrug 22 TFlop/s. Dieses System diente auch als Forschungsplattform für Energieeffizienz und Kühlungstechnologien, da ein großer Teil davon auf der System Board-Ebene mit einer hohen Vorlauftemperatur (> 38 °C) wassergekühlt wurde; ein kleinerer Teil wurde durch Einsatz einer Adsorptionskältemaschine effizient luftgekühlt. Auf der Softwareseite wurde der SLURM Scheduler eingesetzt, um Benutzer-Jobs abzuarbeiten, und ParTec Parastation MPI unterstützte die Ausführung von großen parallelen, über die Rechenknoten verteilten Programmen.

CoolMUC: System Overview

Hardware
Number of nodes	183
Number of cores	2928
	AMD Opteron 6128HE
Cores per node (dual socket)	16
Hyperthreads per core	2
Core nominal frequency	2.0 GHz
Memory per node	16 GB
Bandwidth to interconnect per node	13,64 GB/s (1 Link)
Bisection bandwidth of interconnect (per island)	3.5 TB/s
Latency of interconnect	2.3 µs
Peak performance of system	22.8 TFlop/s
Infrastructure
Electric power of fully loaded system	45 kW
Percentage of waste heat to warm water	97%
Inlet temperature range for water cooling	30 … 50 °C
Temperature difference between outlet and inlet	4 … 6 °C
Software (OS and development environment)
Operating system	SLES15 SP1 Linux
MPI	Intel MPI 2019, alternatively OpenMPI
Compilers	Intel icc, icpc, ifort 2019
Performance libraries	MKL, TBB, IPP
Tools for performance and correctness analysis	Intel Cluster Tools