SCC

Cookies und Tracking helfen uns, Ihnen auf unserer Website ein besseres Erlebnis zu ermöglichen.

Der Betrieb von lokalen HPC-Ressourcen und speziell des Scientific Compute Clusters (SCC) erfolgt bei der GWDG durch die transparente Einbindung von unterschiedlichen Systemen in ein gemeinsames Betriebskonzept zur Grundversorgung der Max Planck Institute und der Universität. Dies umfasst ein einheitliches Software-Management, eine gemeinsame Batch-Management-Umgebung, systemübergreifendes Monitoring und Accounting, sowie systemübergreifende Dateisysteme. So werden Synergien durch die Integration von verschiedenen System-Generationen und Special-Purpose-Systemen (z.B. GPU-Cluster) erzielt. Die Nutzer finden eine einheitliche Umgebung auf allen HPC-Systemen vor, wobei gleichzeitig individuelle Applikationsumgebungen unterstützt werden.

Das SCC ist in Göttingen über die Zentrale am Faßberg sowie in der ehemaligen Fernmeldezentrale verteilt:

In dieser Skizze ist der Aufbau des Clusters und eine schematische Darstellung der vorhandenen Ressourcen zu sehen. Die räumliche Trennung hat auch unmittelbaren Einfluss auf die Nutzung des Systems, insbesondere der Speichernutzung. Es gibt verschiedene Rechenknoten mit unterschiedlichen Eigenschaften:

 
 
Host CPU Number of Cores Memory per Node [GB] GPU Partition
gwdd 001-168 2x Ivy Bridge Xeon E5-2670 v2 10 64   medium
gwdd 169-176 2x Haswell Xeon E5-2650 v3 10 64   int
dmp 001-079 2x Broadwell Xeon E5-2650 v4 12 128   medium
gwda 023-048 4x Abu Dhabi Opteron 6378 16 256   fat
dfa 001-015 2x Broadwell Xeon E5-2650 v4 12 512   fat
dsu 001-005 4x Haswell Xeon E5-4620 v3 10 1536   fat+
gwde 001-001 4x Haswell Xeon E7-4809 v3 8 2048   fat+
dge 001-007 2x Broadwell Xeon E5-2650 v4 12 128 2x 1080 gpu
dge 008-015 2x Broadwell Xeon E5-2650 v4 12 128 4x 980 gpu
dte 001-010 2x Broadwell Xeon E5-2650 v4 12 128 2x Tesla K40m gpu

Speicherstruktur des SCC

Das SCC verfügt über verschiedene Speicheroptionen. Jeder Nutzer verfügt über ein eigenes$HOME-Verzeichnis.  Hierbei handelt es sich um den allgemeinen Unix/Linux-Fileservice, der von der GWDG betrieben wird. Dieser ist von überall innerhalb des SCC erreichbar und besitzt ein Backup. Dieser Speicher ist jedoch vergleichsweise langsam. Der persönliche Speicherplatz kann auf Anfrage vergrößert werden. Hierzu schreiben Sie bitte eine formlose Mail an support@gwdg.de mit der Bitte um eine Quotaerhöhung ihres $HOME-Verzeichnisses. 

Der lokale Speicher eines Rechenknotens kann mit /local erreicht werden. Dieser wird über sehr schnellen SSD-Speicher bereit gestellt. Es wird automatisch ein Verzeichnis /local/jobs/<jobid> erzeugt. Dieser Pfad wird auch als Umgebungsvariable $TMP_LOCAL exportiert. Der lokale Speicher verfügt über eine automatische Löschung von Dateien.

Über die Frontend- und Rechenknoten der alten Fernmeldezentrale (gwda, gwdd, gwde, gwdu101, gwdu102) hat man Zugriff auf das geteilte Dateisystem /scratch und über die Compute-Nodes am Faßberg (dfa, dge, dmp, dsu, dte, gwdu103 ) hat man Zugriff auf das geteilte Dateisystem /scratch2. Die geteilten Dateisysteme /scratch und /scratch2 sind parallele BeeGFS Dateisysteme mit hoher Bandbreite. Während der Ausführung der Programme im Batch-System sind diese für gewöhnlich die beste Wahl für temporäre Daten. In keinem der beiden Dateisysteme werden Daten automatisch gelöscht oder ein Backup erstellt. Zur Sicherung wichtiger Ergebnisse steht der scc_backup-Mechanismus zur Verfügung, mit dem die Daten nachts in das Homeverzeichnis ${HOME}/scc_backup gesichert werden können. Dazu müssen die zu kopierenden Daten in scratch/scratch2 in dem Ordner /scratch(2)/${USER}/scc_backup liegen. Um sicherzustellen, dass man Zugriff auf /scratch bzw. /scratch2 hat, kann in Slurm die Option -C scratch bzw. -C scratch2 genutzt werden.  Da scratch/scratch2 unter allen Nutzern geteilt wird, empfehlen wir dringend nicht unmittelbar benötigte Daten anderweitig zu speichern. Dazu kann z.B. das Archiv genutzt werden, welches unter der Umgebungsvariablen $AHOME erreichbar ist. Bei der Nutzung des Archivs sollte stets darauf geachtet werden Ordner vor dem Verschieben (als tar-Datei) zu komprimieren. Sollte der freie Speicherplatz auf scratch/scratch2 knapp werden, werden Sie aufgefordert Dateien aus diesen Systemen zu entfernen.

Daten transferieren

Um Daten von oder zu dem $HOME-Verzeichnis bzw. von und zu SCRATCH/SCRATCH2 zu kopieren, gibt es mehrere Möglichkeiten - je nachdem von wo aus Daten transferiert werden sollen. 

Der Transferknoten transfer-scc.gwdg.de steht innerhalb des GÖNETs zur Verfügung. Dieser hat Zugriff auf das $HOME-Verzeichnis und auf /scratch.

Der Transferknoten transfer.gwdg.de ist weltweit erreichbar, hat aber nur Zugriff auf die $HOME-Verzeichnisse. 
Für /scratch2 gibt es keinen dedizierten Transferknoten, stattdessen muss gwdu103.gwdg.de genutzt werden. 
Nähere Informationen sowie Kommandozeilenbeispiele sind in der Dokumentation zu finden.

Dienste

Informationen und Hilfestellung zur Nutzung des HPC-Angebotes für die Universität und die MPG (SCC und GöHPC-Systeme).

HPC am Campus

HPC-Systeme im Betrieb der GWDG auf dem Göttingen Campus.

Im Rahmen ihrer Aufgaben als gemeinsames Rechenzentrum der Universität Göttingen und der Max-Planck-Gesellschaft betreibt die GWDG das Scientific Compute Cluster (SCC), um allen Forschenden den Zugang zu einem lokalen HPC-System zu ermöglichen. In dieser Funktion betreibt die GWDG aber auch institutseigene HPC-Systeme im Rahmen der GöHPC-Kooperationen in einem integrierten Betriebskonzept.

Zusätzlich betreibt die GWDG zukünftig auch zwei externe Systeme, bereits jetzt den Göttinger HLRN-IV-Komplex und ab Ende 2020 den Göttinger Standort der DLR-HPC-Initiative.

Wissenschaft und Forschung

Forschung, Lehre, Ausbildung und Beratung zu HPC am Göttingen Campus.

Neben dem IT-Betriebs liegt eine der Hauptaufgabenbereiche der GWDG in Forschung und Wissenschaft. Dies wird durch die verschiedenen Projekte und die Lehrstühle von Prof. Dr. Ramin Yahyapour und Prof. Dr. Philipp Wieder unterstrichen. Auch das HPC-Team engagiert sich in der Förderung des wissenschaftlichen Nachwuchses durch die Unterstützung in der Lehre und der Betreuung von Master- und Promotionsarbeiten.

Die GWDG und insbesondere das HPC-Team stehen im engen Austausch mit den Forschenden, die auf den HPC-Systemen der GWDG rechnen. Hierdurch ergeben sich verschiedene methoden- sowie anwendungswissenschaftliche Synergien und Projekte, die unter dem Label GöHPC zusammengefasst werden.

Contact Us

 

Schreibe eine E-Mail an: hpc@gwdg.de

Oder chatte mit uns auf Rocket.Chat