SCC

Cookies und Tracking helfen uns, Ihnen auf unserer Website ein besseres Erlebnis zu ermöglichen.

Der Betrieb von lokalen HPC-Ressourcen und speziell des Scientific Compute Clusters (SCC) erfolgt bei der GWDG durch die transparente Einbindung von unterschiedlichen Systemen in ein gemeinsames Betriebskonzept zur Grundversorgung der Max Planck Institute und der Universität. Dies umfasst ein einheitliches Software-Management, eine gemeinsame Batch-Management-Umgebung, systemübergreifendes Monitoring und Accounting, sowie systemübergreifende Dateisysteme. So werden Synergien durch die Integration von verschiedenen System-Generationen und Special-Purpose-Systemen (z.B. GPU-Cluster) erzielt. Die Nutzer finden eine einheitliche Umgebung auf allen HPC-Systemen vor, wobei gleichzeitig individuelle Applikationsumgebungen unterstützt werden.

Das SCC ist in Göttingen über die Zentrale am Faßberg sowie über ein modulares Rechenzentrum verteilt:

In dieser Skizze ist der Aufbau des Clusters und eine schematische Darstellung der vorhandenen Ressourcen zu sehen. Die räumliche Trennung hat auch unmittelbaren Einfluss auf die Nutzung des Systems, insbesondere der Speichernutzung. Es gibt verschiedene Rechenknoten mit unterschiedlichen Eigenschaften:

Host # Nodes CPU Cores/CPU Memory per Node [GB] GPU Partition
ampxxx 96 2x Xeon Platinum 9242 48 384   medium
dmpxxx 82 2x Broadwell Xeon E5-2650 v4 12 128   medium
Total 178   11112 47360    
dfaxxx 15 2x Broadwell Xeon E5-2650 v4 12 512   fat
dsuxxx 5 4x Haswell Xeon E5-4620 v3 10 1536   fat+
gwdexxx 1 4x Haswell Xeon E7-4809 v3 8 2048   fat+
Total 21   592 17408    
dgexxx 7 2x Broadwell Xeon E5-2650 v4 12 128 2x 1080 gpu
dgexxx 8 2x Broadwell Xeon E5-2650 v4 12 128 4x 980 gpu
dtexxx 10 2x Broadwell Xeon E5-2650 v4 12 128 2x Tesla K40m gpu
agtxxx 2 2x Xeon Gold 6252 24 384 8x Tesla V100/32 gpu
agqxxx 14 2x Xeon Gold 6242 16 192 4x Quadro RTX5000 gpu
Total 41   1144 6400 138  

Speicherstruktur des SCC

Das SCC verfügt über verschiedene Speicheroptionen. Jeder Nutzer verfügt über ein eigenes$HOME-Verzeichnis.  Hierbei handelt es sich um den allgemeinen Unix/Linux-Fileservice, der von der GWDG betrieben wird. Dieser ist von überall innerhalb des SCC erreichbar und besitzt ein Backup. Dieser Speicher ist jedoch vergleichsweise langsam. Der persönliche Speicherplatz kann auf Anfrage vergrößert werden. Hierzu schreiben Sie bitte eine formlose Mail an support@gwdg.de mit der Bitte um eine Quotaerhöhung ihres $HOME-Verzeichnisses. 

Der lokale Speicher eines Rechenknotens kann mit /local erreicht werden. Dieser wird auf dem Fassberg über sehr schnellen SSD-Speicher bereit gestellt. Auf den Knoten im MDC liegt dieser Bereich sogar im RAM. Es wird automatisch ein Verzeichnis /local/jobs/<jobid> erzeugt. Dieser Pfad wird auch als Umgebungsvariable $TMP_LOCAL exportiert. Der lokale Speicher verfügt über eine automatische Löschung von Dateien.

Über die Frontend- und Rechenknoten des modularen Rechenzentrums (amp, agq, agt, login-mdc.hpc.gwdg.de) hat man Zugriff auf das geteilte Dateisystem /scratch und über die Compute-Nodes am Faßberg (dfa, dge, dmp, dsu, dte, login-fas.hpc.gwdg.de ) hat man Zugriff auf das geteilte Dateisystem /scratch2. Die geteilten Dateisysteme /scratch und /scratch2 sind parallele BeeGFS Dateisysteme mit hoher Bandbreite. Während der Ausführung der Programme im Batch-System sind diese für gewöhnlich die beste Wahl für temporäre Daten. In keinem der beiden Dateisysteme werden Daten automatisch gelöscht oder ein Backup erstellt. Zur Sicherung wichtiger Ergebnisse steht der scc_backup-Mechanismus zur Verfügung, mit dem die Daten nachts in das Homeverzeichnis ${HOME}/scc_backup gesichert werden können. Dazu müssen die zu kopierenden Daten in scratch/scratch2 in dem Ordner /scratch(2)/${USER}/scc_backup liegen. Um sicherzustellen, dass man Zugriff auf /scratch bzw. /scratch2 hat, kann in Slurm die Option -C scratch bzw. -C scratch2 genutzt werden.  Da scratch/scratch2 unter allen Nutzern geteilt wird, empfehlen wir dringend nicht unmittelbar benötigte Daten anderweitig zu speichern. Dazu kann z.B. das Archiv genutzt werden, welches unter der Umgebungsvariablen $AHOME erreichbar ist. Bei der Nutzung des Archivs sollte stets darauf geachtet werden Ordner vor dem Verschieben (als tar-Datei) zu komprimieren. Sollte der freie Speicherplatz auf scratch/scratch2 knapp werden, werden Sie aufgefordert Dateien aus diesen Systemen zu entfernen.

Daten transferieren

Um Daten von oder zu dem $HOME-Verzeichnis bzw. von und zu SCRATCH/SCRATCH2 zu kopieren, gibt es mehrere Möglichkeiten - je nachdem von wo aus Daten transferiert werden sollen. 

Der Transferknoten transfer-fas.hpc.gwdg.de steht innerhalb des GÖNETs zur Verfügung. Dieser hat Zugriff auf das $HOME-Verzeichnis und auf /scratch2.

Der Transferknoten transfer-mdc.hpc.gwdg.de steht innerhalb des GÖNETs zur Verfügung. Dieser hat Zugriff auf das $HOME-Verzeichnis und auf /scratch.

Der Transferknoten transfer.gwdg.de ist weltweit erreichbar, hat aber nur Zugriff auf die $HOME-Verzeichnisse. 
Nähere Informationen sowie Kommandozeilenbeispiele sind in der Dokumentation zu finden.

Dienste

Informationen und Hilfestellung zur Nutzung des HPC-Angebotes für die Universität und die MPG (SCC und GöHPC-Systeme).

HPC am Campus

HPC-Systeme im Betrieb der GWDG auf dem Göttingen Campus.

Im Rahmen ihrer Aufgaben als gemeinsames Rechenzentrum der Universität Göttingen und der Max-Planck-Gesellschaft betreibt die GWDG das Scientific Compute Cluster (SCC), um allen Forschenden den Zugang zu einem lokalen HPC-System zu ermöglichen. In dieser Funktion betreibt die GWDG aber auch institutseigene HPC-Systeme im Rahmen der GöHPC-Kooperationen in einem integrierten Betriebskonzept.

Zusätzlich betreibt die GWDG zukünftig auch zwei externe Systeme, bereits jetzt den Göttinger HLRN-IV-Komplex und ab Ende 2020 den Göttinger Standort der DLR-HPC-Initiative.

Wissenschaft und Forschung

Forschung, Lehre, Ausbildung und Beratung zu HPC am Göttingen Campus.

Neben dem IT-Betriebs liegt eine der Hauptaufgabenbereiche der GWDG in Forschung und Wissenschaft. Dies wird durch die verschiedenen Projekte und die Lehrstühle von Prof. Dr. Ramin Yahyapour und Prof. Dr. Philipp Wieder unterstrichen. Auch das HPC-Team engagiert sich in der Förderung des wissenschaftlichen Nachwuchses durch die Unterstützung in der Lehre und der Betreuung von Master- und Promotionsarbeiten.

Die GWDG und insbesondere das HPC-Team stehen im engen Austausch mit den Forschenden, die auf den HPC-Systemen der GWDG rechnen. Hierdurch ergeben sich verschiedene methoden- sowie anwendungswissenschaftliche Synergien und Projekte, die unter dem Label GöHPC zusammengefasst werden.

Contact Us

 

Schreibe eine E-Mail an: hpc@gwdg.de

Oder chatte mit uns auf Rocket.Chat