Globale Dateisysteme

Problemverschiebung?

Gesteigerte CPU-Performance, schnelleres Netzwerk durch InfiniBand, noch mehr Kerne pro Prozessor, doch ein Engpass lässt sich so nicht vermeiden:
Der Speicherplatz
Denn folgende Fakten sind die Realität:

• Berechnungsergebnisse in TByte-Grösse sind keine Seltenheit
• Die Fileserver quellen über
• Ab einer grösseren Knotenanzahl ist die Skalierung unter NFS nicht mehr performant
• IP over InfiniBand ist keine Alternative zu nativem Zugriff

So sollte der Speicherplatz in einem oder zumindest möglichst wenigen Dateisystemen verfügbar sein, um lästiges Umkopieren zu vermeiden.
Und darüberhinaus sollte es auf jedem Clusterknoten verfügbar sein und bestehende Hochgeschwindigkeitsnetze für den Datentransport nutzen.

Die Trennung zweier Begriffe

Echte Cluster-Dateisysteme
Geht es um Dateisysteme, müssen die beiden gängigen Konzepte voneinander getrennt genannt werden.
Echte Cluster-Dateisysteme setzen den Einsatz von shared Storage voraus (SAN).
Der gleichzeitig Schreiben auf Block-Device-Ebene ist unabdingbar.
Wichtige, bekannte Cluster-Dateisysteme wie GFS2 von RedHat oder auch OCFS2 von Oracle sind mittlerweile Bestandteil des Linux-Kernels.

• Intelligente und komplexe Locking-Dienste:

Cluster-Dateisysteme stellen die Daten- und Mediadatenkonsistenz bei gleichzeitigem Schreibzugriff durch ein intelligentes Lockingsystem sicher - dem distribution locking manager (DLM).
Die Anbindung an ein SAN erfolgt über Fibre Channel, iSCSI oder InfiniBand.

Verteilte Dateisysteme
Die verteilten Dateisysteme funktionieren völlig anders.
Auf mehreren, verschiedenen Rechnern vorhandene Storage-Pools werden logisch zusammengefasst. Die so entstandenen logischen Volumes können dann den anderen Client-Rechnern bereitgestellt werden.

• Verteilte Dateisysteme sind nach einem mehrkomponentigen Client-Server-Modell aufgebaut:

Clients, die auf Speicherbereiche eines verteilten Dateisystems zugreifen wollen, stellen zunächst eine Verbindung zu einem Metadaten-Server her und werden von diesem dann zu dem eigentlichen, datentragenden Server umgeleitet, an dem der anzusprechende Speicherbereich lokal angeschlossen ist (redirection)

Komplexe Lösungen wie globale Dateisysteme sind nichts "von der Stange" - unsere Experten beraten Sie gerne.

Lustre? Ja!

Lustre in drei Sätzen
Das Lustre-Dateisystem wurde für den Einsatz in High-Performance-Compute (HPC) Clustern entwickelt.
Beim Lustre handelt es sich, ähnlich wie bei NFS oder SMB/CIFS, um ein Netzwerkdateisystem.
Im Gegensatz zu diesen ist das Lustre aber ein Clusterdateisystem, d.h. das Dateisystem kann auf mehrere Server verteilt werden.

• Die Komponenten des Lustre-Clusters
• Der Metadaten-Server (MDS), der die Lock-Mechanismen bei Dateizugriff koordiniert.
• Die eigentlichen Daten-Server, die sogenannten Object Storage Server (OSS).
• Der Management Server, der die Konfiguration und Verwaltung des Lustre-Clusters ermöglicht.

• Herausragend und flexibel
• Die einzelnen Object Storage Server können unerschiedlichste Storage-Systeme angeschlossen haben:
  Von internen Festplatten, über DAS-Systeme bis hin zu Fibre-Channel-SANs, all das kann problemlos für die Lustre-Volumes verwendet werden.
• Die in einem Lustre-Dateisystem beteiligten Maschinen kommunizieren über das speziell für Lustre entwickelte LNET-Protokoll, das neben TCP/IP auch Highspeed-Interfaces wie InfiniBand oder Myrinet unterstützt und von der hohen Bandbreite und der geringen Latenz profitiert.

Sinnvoller Einsatz

Lustre ermöglicht als verteiltes Dateisystem den gleichzeitigen Zugriff einer Rechnergruppe (in den meisten Fällen HPC-Knoten) auf ein gemeinsames Dateisystem.
Neben der hohen Performance und der sehr guten Skalierbarkeit ermöglicht allem voran der Sachverhalt des geteilten Storages eine Jobflow-Optimierung.

• Noch konkreter:

Seit Anfang 2008 arbeitet ein transtec Lustre-System im Rechenzentrum der Universität Karlsruhe.
Mit einer Bruttokapazität von 750 TB, basierend auf InfiniBand, wird das Dateisystem von mehreren Linux-Storageservern bereitgestellt, die untereinander einen HA-Cluster bilden. Der Storagebereich wird von mehreren HPC-Clustern genutzt und erreicht einen äußerst hohen Datendurchsatz.

Die Empfehlung:

Ohne redundante Hardwareausstattung sollte man Lustre derzeit noch nicht als permanenten Datenspeicher einsetzen.
Während es sich für Homeverzeichnisse nicht besonders eignet, so findet es seinen Einsatz umso mehr in schnellen Scratchbereichen wie Clusterberechnungen, was auch ein Blick auf die Top 500 zeigt.

Unser Versprechen

Wir sind für Sie da

• Von der Konzeption und Projektierung
• Über die Installation und Konfiguration
• Und die Integration in Ihre IT-Umgebung
• Bis hin zur Schulung Ihrer Anwender

Vertrauen Sie unserer jahrelangen Erfahrung in diesem Bereich und lassen Sie uns helfen, Ihre Strukturen zu optimieren.
Unsere Experten beraten Sie gerne.