Inhalt

• Schritte
• Tipps
• Warnungen

Suchen Sie eine Maschine, die Hunderte von Billionen Gleitkommaberechnungen pro Sekunde ausführen kann? Oder möchten Sie nur mit Freunden über den in Ihrem Zimmer montierten Supercomputer angeben? Der Aufbau eines Hochleistungs-Computing-Clusters oder eines Supercomputers ist eine Herausforderung, die jeder Enthusiast mit einem freien Wochenende und etwas übrig gebliebenem Geld bewältigen kann. Technisch gesehen ist ein Multiprozessor-Supercomputer ein Netzwerk von Computern, die zusammenarbeiten, um ein Problem zu lösen. In diesem Artikel wird jeder Schritt des Prozesses kurz beschrieben, wobei der Schwerpunkt auf Hardware und Software liegt.

Schritte

1. 

   Bestimmen Sie zuerst die erforderlichen Hardwarekomponenten und Ressourcen. Sie benötigen einen Kopfknoten, mindestens 12 identische Netzwerkknoten, einen Ethernet-Switch, eine Stromverteilungseinheit und ein Rack. Bestimmen Sie den erforderlichen Strom-, Kühlungs- und Platzbedarf. Entscheiden Sie auch, welche IP-Adresse Sie für Ihre privaten Netzwerke benötigen, wie Sie die Knoten benennen, welche Softwarepakete Sie installieren möchten und welche Technologie für die parallele Datenverarbeitung verwendet wird (dazu später mehr).
   • Obwohl die Hardware teuer ist, sind alle im Handbuch aufgeführten Programme kostenlos und die meisten davon sind Open Source.
   • Wenn Sie sehen möchten, wie schnell Ihr Supercomputer theoretisch sein würde, verwenden Sie dieses Tool: http://hpl-calculator.sourceforge.net/

2. 

   
   
   Erstellen Sie die Knoten. Sie müssen die Knoten bereitstellen oder vormontierte Server erwerben.
   • Wählen Sie ein Servergehäuse, das Platz, Kühlung und Stromverbrauch maximiert.
   • Sie können auch mehrere veraltete Server verwenden, deren Gesamtkosten höher sind als die Summe der Teile, aber Sie sparen trotzdem viel. Alle Prozessoren, Netzwerkadapter und Motherboards müssen identisch sein, damit das System ordnungsgemäß funktioniert. Stellen Sie sicher, dass auf jedem Knoten RAM und Speicher sowie mindestens ein optisches Laufwerk für den Kopfknoten vorhanden sind.

3. 

   
   
   Installieren Sie die Server im Rack. Beginnen Sie von unten, damit die Oberseite nicht zu schwer ist. Dazu benötigen Sie Hilfe von Ihren Freunden - dichte Server können sehr schwer sein, und es ist schwierig, sie entlang der Spuren zu führen, auf denen sie sich befinden.

4. 

   Installieren Sie den Ethernet-Switch über dem Servergehäuse. Nehmen Sie sich diese Zeit, um den Switch zu konfigurieren: Aktivieren Sie Jumbo-Frame-Größen von 9000 Byte, setzen Sie die IP-Adressen auf die im ersten Schritt festgelegte statische Adresse und deaktivieren Sie unnötige Routing-Protokolle wie SMTP-Snooping.

5. 

   
   
   Installieren Sie die Stromverteilungseinheit. Abhängig davon, wie viel Strom die Knoten bei Volllast benötigen, benötigen Sie möglicherweise 220 Volt für Hochleistungsrechnungen.

6. 

   Wenn alles installiert ist, können Sie mit dem Konfigurationsprozess beginnen. Linux ist das ideale Betriebssystem für HPC-Cluster - es ist nicht nur die ideale Umgebung für wissenschaftliches Rechnen, es kann auch kostenlos auf Hunderten oder sogar Tausenden von Knoten installiert werden. Stellen Sie sich vor, wie viel es kosten würde, Windows auf all diesen Knoten zu installieren?
   • Installieren Sie zunächst die neueste Version des Motherboard-BIOS und der Firmware, die auf allen Knoten identisch sein muss.
   • Installieren Sie Ihre Lieblingsversion von Linux auf jedem Knoten mit einer grafischen Oberfläche auf dem Hauptknoten. Beliebte Optionen sind CentOS, OpenSuse, Scientific Linux, RedHat und SLES.
   • Sie können auch Rocks Cluster Distribution verwenden. Rocks installiert nicht nur alle Tools, die für das Funktionieren des Clusters erforderlich sind, sondern verwendet auch eine hervorragende Methode, um mehrere Instanzen von sich mithilfe eines PXE-Startvorgangs und des Red Kick-Verfahrens "Kick Start" sehr schnell auf die Knoten zu verteilen.

7. 

   Installieren Sie die Messaging-Schnittstelle, die Ressourcenverwaltung und andere erforderliche Bibliotheken. Wenn Sie Rocks im vorherigen Schritt nicht installiert haben, müssen Sie die Software, die zum Aktivieren der parallelen Rechenmechanismen erforderlich ist, manuell konfigurieren.
   • Zunächst benötigen Sie ein tragbares umfangreiches Managementsystem wie den Torque Resource Manager, mit dem Sie Aufgaben auf mehrere Computer aufteilen und verteilen können.
   • Koppeln Sie das Drehmoment mit dem Maui Cluster Scheduler, um die Installation abzuschließen.
   • Als Nächstes müssen Sie die Nachrichtenübertragungsschnittstelle installieren, die erforderlich ist, damit die einzelnen Prozesse der verschiedenen Knoten dieselben Daten gemeinsam nutzen können. OpenMP ist einfach zu bedienen.
   • Vergessen Sie nicht die mathematischen Multithreading-Bibliotheken für parallele Computerprogramme. Es ist wirklich einfacher, wenn Sie Rocks installieren.

8. 

   Verbinden Sie die Computerknoten. Der Hauptknoten sendet die Aufgaben an die Knoten des Computers, die dann das Ergebnis zurücksenden und sich gegenseitig Nachrichten senden müssen. Je schneller desto besser.
   • Verwenden Sie ein privates Ethernet-Netzwerk, um alle Knoten im Cluster zu verbinden.
   • Der Hauptknoten kann auch als NFS-, PXE-, DHCP-, TFTP- und NTP-Server über das Ethernet-Netzwerk fungieren.
   • Sie müssen dieses Netzwerk von öffentlichen Netzwerken trennen, um sicherzustellen, dass die Übertragungspakete andere Netzwerke in Ihrem LAN nicht stören.

9. 

   Testen Sie den Cluster. Das Letzte, was Sie tun möchten, bevor Sie Ihren Benutzern die gesamte Rechenleistung zur Verfügung stellen, ist, ihre Leistung zu testen. Der HPL-Benchmark (High Performance Lynpack) ist eine beliebte Wahl zur Messung der Rechengeschwindigkeit des Clusters. Sie müssen es aus dem Quellcode mit allen möglichen Optimierungen kompilieren, die der Compiler für die ausgewählte Architektur anbietet.
   • Natürlich müssen Sie aus dem Quellcode mit allen möglichen Optimierungen für Ihre Plattform kompilieren. Wenn Sie beispielsweise AMD-CPUs verwenden, kompilieren Sie mit Open 64 mit einer Optimierungsstufe von -0fast.
   • Vergleichen Sie die Ergebnisse auf TOP500.org, um Ihren Cluster mit den 500 schnellsten Supercomputern der Welt zu vergleichen!

Tipps

• IPMI kann die Verwaltung eines großen Clusters vereinfachen und bietet KVM-over-IP, Remote Processing Relay und mehr.
• Suchen Sie nach InfiniBand-Netzwerkschnittstellen, um wirklich hohe Netzwerkgeschwindigkeiten zu erzielen. Die Preise sind jedoch nicht sehr erschwinglich.
• Verwenden Sie Ganglia, um die Rechenlast auf den Knoten zu überwachen.

Warnungen

• Stellen Sie sicher, dass Ihre Infrastruktur die ihnen auferlegte Last bewältigen kann.