NHR-NORD@Göttingen Systeme “Emmy” und “Grete”

Gemeinsam mit dem Zuse-Institut Berlin (ZIB) wurde “Emmy” 2018 als HLRN-IV System angeschafft. Sie ist zusammen mit dem Berliner System “Lise” Nachfolgerin des HLRN-III Systems, welches zuvor in Hannover und Berlin betrieben wurde. Mit “Emmy” wurden die GWDG und die Universität Göttingen gemeinsam zu einem von acht NHR-Zentren in Deutschland - und somit ist “Emmy” nun formell ein NHR-System. Nichtsdestotrotz entscheidet der Wissenschaftliche Ausschuss des NHR über die Vergabe von der Hälfte der Laufzeit auf “Emmy”.

Im Jahr 2022 wurde “Emmy” durch das leistungsstarke GPU-System “Grete” ergänzt, mit dem der NHR-Standort die Unterstützung verschiedenster Anwendungsbereiche verbessert, insbesondere im Bereich der Künstlichen Intelligenz (KI).

Im Quickstart Guide finden Sie alle notwendigen Informationen, um einen Nutzerzugang zu beantragen und auf dem System zu rechnen. Bitte beachten Sie auch unsere Richtlinie zur Nutzung unserer Systeme für Ihre Forschung.

Systemüberblick

21 Racks

Die Knoten der Phase 1 sind in 10 Racks in einem luftgekühlten Bereich aufgestellt und die 11 Racks der Phase 2 werden mit einer Warmwasserdirektkühlung betrieben.

1.423 Rechenknoten

449 Rechenknoten gehören zur Phase 1 und sind mit Intel Xeon Gold 6148 SKL-SP CPU’s bestückt. Die weiteren 974 Rechenknoten der Phase 2 sind mit Xeon Platinum 9242 CLX-AP CPU’s bestückt.

111.464 CPU Kerne

Diese sind verteilt über die Phase 1 mit 17.960 Kernen und der Phase zwei mit 93.504 Kernen.

100 Gbit/s Interconnect

Ein 100 Gbit/s Intel Omni-Path Netzwerk bietet mit einer Fat-Tree Topologie niedrige Latenzen sowie hohe Bandbreiten und vereint die zwei Phasen von Emmy mit zwei 896 Port Director Switches in einer einzigen Fabric.

5,95 PetaFlop/s

Dieses Ergebnis wurde während des LINPACK Benchmarks erzielt, womit Emmy auf Platz 133 der Top 500 Liste (Stand: November 2023) und auf Platz 242 der GREEN500 Liste (Stand: November 2023) liegt.

478 TB RAM

Verteilt über alle 1.423 Knoten stehen 478 TB an Arbeitsspeicher zur Verfügung

8,4 PiB Speicher

Insgesamt stehen 8,4 PiB an Speicherkapazität auf globalen parallelen Dateisystemen zur Verfügung, wobei sich dies in 340TiB für das GPFS-basierte Home und 8,1 PiB für das Lustre-basierte Work Dateisystem aufteilt.

6,4 PiB Bandspeicher

Zur Archivierung ihrer Ergebnisse stehen den Nutzern insgesamt 6,4 PiB an Bandspeicher mit einem 120 TiB großen Festplattencache zur Verfügung.

Icons made by Freepik and phatplus

Knotenarchitekturen

Name	Anzahl Knoten	CPU & GPU	Anzahl CPU-Cores	Arbeitsspeicher [GB]	Partition
gcn1	432	2 x Xeon Gold 6148 Architektur Skylake Sockel 2 Kerne 20 Threads 2 Frequenz 2.4 GHZ HTT true	20	187	[medium40:test]
gfn1	16	2 x Xeon Gold 6148 Architektur Skylake Sockel 2 Kerne 20 Threads 2 Frequenz 2.4 GHZ HTT true	20	754	[large40]
ggpu01	1	2 x Xeon Gold 6148 Architektur Skylake Sockel 2 Kerne 20 Threads 2 Frequenz 2.4 GHZ HTT true 4 x Tesla V100-PCIE-32GB CUDA cores 5120 Tensor cores 640 RAM 32 GB	20	754	[gpu]
ggpu0x	2	2 x Xeon Gold 6248 Architektur Skylake Sockel 2 Kerne 20 Threads 2 Frequenz 2.5 GHZ HTT true 4 x Tesla V100S-PCIE-32GB CUDA cores 5120 Tensor cores 640 RAM 32 GB	20	754	[gpu]
gcn2	1004	2 x Xeon Platinum 9242 Architektur Cascade Lake Sockel 2 Kerne 48 Threads 2 Frequenz 2.3 GHZ HTT true	48	376	[standard96:test]
gfn2	16	2 x Xeon Platinum 9242 Architektur Cascade Lake Sockel 2 Kerne 48 Threads 2 Frequenz 2.3 GHZ HTT true	48	754	[large96]
gsn2	2	2 x Xeon Platinum 9242 Architektur Cascade Lake Sockel 2 Kerne 48 Threads 2 Frequenz 2.3 GHZ HTT true	48	1510	[huge96]