Hilfreiche Ratschläge

So machen Sie einen Supercomputer zum Selbermachen für 2000 US-Dollar

Pin
Send
Share
Send
Send


Dieses Rezept wurde von Hewlett-Packard in Zusammenarbeit mit dem französischen National Laboratory ausprobiert. Zur großen Überraschung vieler Experten hat es geklappt! Das Ergebnis war I-Cluster, ein Cluster von 225 HP vereinfachten PCs mit dem Betriebssystem Mandrake Linux, das laut Testergebnissen in die Liste der 500 leistungsstärksten Computer der Welt aufgenommen wurde.

Im Sommer diskutierten Fachleute des HP-Labors in Grenoble in einer technischen Werkstatt von INRIA Rhone-Alps, einer örtlichen Zweigstelle des französischen Nationalen Instituts für Informatikforschung, über die Möglichkeit, „etwas Ungewöhnliches“ zu schaffen: einen Supercomputer, der ausschließlich aus Standardkomponenten wie z die in einem typischen Unternehmen weit verbreitet sind. Sie begannen mit Hunderten von HP e-PC-Computern - vereinfachte PCs mit eingeschränkter Erweiterbarkeit - und präsentierten als Ergebnis eine Konfiguration mit 225 Knoten, die nahe an den physischen Grenzen des Clusters lag.

Letzten Mittwoch stellten HP und INRIA dieses System von Journalisten vor.

Der I-Cluster verwendete eine versiegelte Version des e-PCs, dh, es konnten keine Änderungen an der Hardware vorgenommen werden. Die an dem Experiment beteiligte Netzwerkausrüstung war ebenfalls Standard. Dies bedeutet, dass im Gegensatz zu anderen Projekten von Cluster-Supercomputern die I-Cluster-Methode von Organisationen verwendet werden kann, um inaktive Rechenressourcen zu mobilisieren und Probleme zu lösen, die intensives Rechnen erfordern. "Dies sind echte Standardmaschinen, wir haben ihre Gehäuse nicht einmal geöffnet", sagt Bruno Richard, Programmmanager bei HP Labs Grenoble. Andere Cluster wie ASCI Red von Sandia National Laboratories (USA) enthalten wesentlich modifizierte Komponenten.

So erstellen Sie einen Cluster
Richard sagte, dass es gar nicht so einfach sei, einen Cluster so zu machen, wie man es tut. Es mussten Mittel zum Verteilen von Ressourcen wie Festplattenspeicher und Netzwerk-Caching-Tools für Allzweckgeräte sowie Cluster-Verwaltungs- und Programmiertools erstellt werden. "Unser früherer Cluster enthielt 12 Autos", sagt Richard. "Als es 200 waren, musste ich alles noch einmal überdenken." Beispielsweise ist es eine sehr schwierige Aufgabe, mit so vielen Computern nur Änderungen an der Software vorzunehmen. Am Ende wurden jedoch Tools erstellt, mit denen alle Computer im Cluster in etwa 12 Minuten neu installiert werden können.

Die Forscher planen, die von ihnen entwickelten Tools allen anzubieten, die daran denken, einen Supercomputer als Open-Source-Software zu bauen. Das gesamte Projekt, ohne das Netzwerkkabelsystem, kostete rund 1,5 Millionen Franken (210 Tausend US-Dollar). Die Maschinen, aus denen I-Cluster besteht, sind bereits veraltet - sie laufen auf Pentium III 733 MHz-Prozessoren und sind mit 256 MB RAM und 15 GB Festplatten ausgestattet. Diesen Monat hat HP eine schnellere Version veröffentlicht und wird bis Ende des Jahres einen e-PC-Prozessor Pentium 4 einführen.

E-PC-Knoten sind über ein Fast-Ethernet-Netzwerk verbunden. Konstruktionsmerkmale wie besonders leise Kühler und ein reduzierter Stromverbrauch, die ursprünglich für Unternehmen gedacht waren, haben sich auch in einer Supercomputer-Umgebung als nützlich erwiesen: Der Cluster arbeitet überraschend leise und benötigt nur eine herkömmliche Klimaanlage, um ihn zu kühlen. Nach Standardtests belegt I-Cluster den 385. Platz weltweit und den 15. Platz in Frankreich im Ranking der Supercomputer. Laut Richard zeigt das Experiment eine lineare Beziehung zwischen der Anzahl der Knoten und der Leistung - dies bedeutet, dass es je nach gelöstem Problem recht einfach ist, die Rechenleistung zu erhöhen und zu reduzieren.

Rund 60 Spezialistenteams auf der ganzen Welt arbeiten an dem System, von denen die eine Hälfte die für Supercomputer typischen Probleme löst und die andere sich mit der Erforschung des I-Clusters beschäftigt.

Die Arbeit geht weiter
Das Projekt zeigt, dass Standard-Computerressourcen, z. B. die inaktive Rechenleistung eines Büronetzwerks, für ernsthafte Computerarbeiten mobilisiert werden können. CAD-Entwickler, Pharmazeutika und andere Unternehmen könnten daran interessiert sein, sagt Richard, da Sie mit dieser Methode die Leerlaufkapazität von Büro-PCs erfassen und nutzen können. Gegenwärtig liegt die feste Grenze für die Clustergröße bei 256 Knoten - aufgrund der begrenzten Kapazität des Switches. Sie kann jedoch überwunden werden, wenn Sie mehrere Cluster in unmittelbarer Nähe miteinander verbinden.

Eine schwierigere Aufgabe könnte darin bestehen, dieses Modell auf eine Consumer-Umgebung mit häufig nicht genutzten Prozessoren anzuwenden, wie sie beispielsweise in Druckern und DVD-Playern verwendet werden. HP träumt von „Wolken“ von Geräten oder „virtuellen Organismen“, die die Ressourcen um den Benutzer herum erkennen und nutzen. Richard glaubt, dass die Leistungsfähigkeit des Supercomputers hier auch nützlich sein kann, um bestimmte Probleme zu lösen, z. B. um große Videodateien von einem Format in ein anderes zu konvertieren, was normalerweise bemerkenswerte Geduld erfordert.

Andere Experten warnen vor unüberwindlichen technischen Hindernissen beim Aufbau eines solchen Heimnetzwerks. Laut Brigitte Plateau, Leiterin des Parallelprojekts INRIA APACHE, ist es unwahrscheinlich, dass die Nachfrage der Verbraucher nach derartiger Rechenleistung die Bemühungen zur Schaffung eines solchen Systems rechtfertigt. "Zu diesen Zwecken werden höchstwahrscheinlich externe Dienste hinzukommen", sagte sie.

Richard von HP merkt an, dass die Verwendung von Linux - in diesem Fall Mandrake 7.0 - ein wichtiger Punkt war, da es einfach ist, geringfügige Änderungen an dieser Software vorzunehmen, die dann anderen Spezialisten frei zur Verfügung stehen. Bei der Nutzung von Windows wäre eine besondere Vereinbarung mit Microsoft zu treffen.

Laut Plateau, dessen APACHE-Projekt auch mit I-Cluster verknüpft ist, arbeitet das Labor auch mit Microsoft zusammen, um parallele Computeranwendungen auf Windows zu portieren. "Wir erreichen Vielseitigkeit, indem wir diese Technologie außerhalb der Linux-Welt verbreiten", sagt sie. "Dies ist keine wissenschaftliche, sondern eine rein technische Aufgabe."

Diskussion und Kommentare

Alexey - alexcey mail.ru
8. Oktober 2001, 20:08 Uhr
Interessant. Die Bürger arbeiten gut, sie sind sogar an solchen Projekten beteiligt. Nur scheint es mir, dass ein solches System wenig direkten praktischen Nutzen bringt. Der Nutzen ist eher wissenschaftlich - das Prinzip des Aufbaus solcher Systeme ist wichtig. Ich denke nicht, dass alles so einfach ist, wie es im Artikel geschrieben steht. Wenn alles so einfach war, dann in jedem "holupup" wie der Ukraine usw. hätten ihre eigenen Supercomputer, aber nein, nein.
Volkov
8. Oktober 2001, 20:26 Uhr
Ich mag den Satz "selbstgemachte Linux-Software". Erinnert an selbst angebauten (d. H. Im Haus angebauten) Hanf.
AT - 220220 pager.icq.com
8. Oktober 2001, 21:54 Uhr
Es gibt solche Maschinen in einem solchen "Holovup" wie der Ukraine, aber kleiner und nicht so beworben.
Und sie werden nicht für wissenschaftliche Zwecke verwendet, sondern für Echtgeldtransaktionen.

Übrigens ist das Netzwerk schon seit langem eine FAQ, und Software macht dies zu Hause. Die Neuigkeit ist keine Neuigkeit, sondern eine Werbung für einen neu zusammengebauten Computer von HP.

Zaufi
9. Oktober 2001, 01:42 Uhr
Alexey, in der Tat ist der Vorteil und nicht
wissenschaftlich. aber ein ziemlicher Haushalt: in unserem Büro
5 Maschinen (insgesamt 8 Prozessoren von 933 bis 500
P3) werden zu einem Cluster zusammengefasst (mit
Mosix'a). was früher 1,5 Stunden kompiliert hat
Shchaz spuckt in 10-15 Minuten aus. und mit -O0 gerade
hab keine zeit richtig zu rauchen :)
dafür wechselten alle gemeinsam zu einem einzigen Distrikt
(MDK8) und den Kernel (2.4.8). auf dem weg nach mosix
2.4.10 - Wir müssen wetten. -
alles ist in wenigen eingestellt / gebaut
Minuten :)
---
Eine leichte Ironie ist die Bemerkung über die Übertragung
HPshnikami all dies unter Windows. :) - wir können
cho und werde gut, aber wenn du mich quälst
Zweifel (auch wenn Sie das $$$ vergessen, das Sie brauchen
Layout für diese Software) - es wird schade
Windows-Benutzer.
Chop
9. Oktober 2001, 9:48 Uhr
Die Nachrichten sind wirklich keine Nachrichten. Mein Freund sammelte eine gute Gruppe von drei Rubeln für sich selbst: Er kaufte Mütter und Steine ​​für 5-10 Dollar pro Hundert, irgendwie verdrehte er alles zusammen und war zufrieden mit unbeschreiblichen. Übrigens macht er keine Witze, aber er hat vorher wirklich nichts anderes als echtes AIX erkannt.
Dima - kda ukrpost.net
9. Oktober 2001, 10:53 Uhr
Meine Herren, haben Sie darauf geachtet, aus welchen "veralteten" Computern dieses Geschäft besteht?

Und hier geht es um Dreifache, es gibt solche Rechenmaschinen usw.

Wir stehen vor ihnen wie ein Widder vor einem Flieder. :)

Dima
9. Oktober 2001, 11:03 Uhr
Warum sollte man eine Gruppe von Dreifachen bilden? Wenn es billiger ist als die Arbeit von Programmierern und Administratoren (!), die all dies einbringen, kaufen Sie eine gute Workstation.

Eine andere Sache ist unser Land, in dem die Arbeit der Menschen billiger ist als die Technologie.

A.K.
9. Oktober 2001, 12:47 Uhr
Wie wäre es mit Fehlertoleranz - wenn zum Beispiel von 100 Autos plötzlich 3 verdeckt sind, kann das System von unterwegs umgebaut werden?
Wenn zum Zeitpunkt dieser Perestroika noch etwas zusammengebrochen ist, kann das System dann weiter funktionieren?
Mit zunehmender Anzahl von Computern nimmt der Datenverkehr innerhalb des Clusters zu (alle in das System eingegebenen Informationen sollten aus Gründen der Fehlertoleranz auf mehr als einem Computer gespeichert werden).
Wir brauchen spezielle Protokolle, die es reduzieren.
Remik
9. Oktober 2001, 21:00 Uhr
Cool! Und Linux = Windows 95 ist wahr, aber nicht höher! Erhaltene Linuxoids!
Chop
9. Oktober 2001, 21:24 Uhr
Remik'a verstand nicht.
Alexey - alexcey mail.ru
10. Oktober 2001, 22:02 Uhr
Nach AT:
Wenn es kein Geheimnis ist, wo oder zumindest für welche Operationen benötigen Sie Cluster in der Ukraine für Barausgleiche?
Ich verstehe, dass der Ton der Frage etwas ironisch ist, aber im Allgemeinen komme ich selbst aus der Ukraine (Odessa) und habe das Recht, "wirklich nett" zu kritisieren und "holopup" zu nennen. Und um herauszufinden, was ich wirklich will. Letztendlich kann in ihrem Heimatland nicht alles so schlimm sein, Cluster sind noch am Leben und vor allem Menschen, die sie wirklich brauchen.
eXOR
11. Oktober 2001, 11:43 Uhr
2 Remik:
, -)). Nun, wie kann man mit solchem ​​Geschwätz keine Emotionen ausdrücken?
Dima
12. Oktober 2001, 10:19 Uhr
2zAUFI

Und die "Befehlszeilenbenutzer" tun mir leid.
Ich selbst berühre die Maus unter Windows selten - ich bin es gewohnt, mit der Tastatur und dem Kopf zu arbeiten und nicht mit den Augen. Es ist sowohl schneller als auch effizienter. Aber sofort konnte ich niemandem das beibringen :(

glasig
12. Oktober 2001 15:03 Uhr
Nein, die CLI hat noch nicht alle Möglichkeiten ausgeschöpft :) Ich verspreche es Ihnen - in maximal 60 Jahren :) Sekretäre drucken "$ Ich möchte einen normalen Brief schreiben." Es ist natürlich per Spracheingabe möglich, aber um das Gespräch mit niemandem zu stören. Und du wirst nur Ästheten haben,)

2Zaufi: je nachdem was geraucht wird :)

Igor - ikazatchkov ft2001.rsm.nl
15. Oktober 2001, 00:15 Uhr
CHOP: Kann ich den Freund kontaktieren, der den Cluster "Drei Rubel" gebaut hat, um Erfahrungen auszutauschen? Ich wäre sehr dankbar für die Antwort auf meine Adresse: [email protected]
mumu
15. Oktober 2001, 03:52 Uhr
Ich auch, Supercomputer.
Dann entfaltet sich .NET in vollen Zügen - das wird wirklich Macht! Auch ich, "Wolke" und "Organismen". Und von Linux ist überhaupt keine Rede - sie werden für immer und ewig beschämt sein!
Amen.
viv
15. Oktober 2001, 14:20 Uhr
ceteris paribus. NET wird merklich hinter der Feuerrate zurückbleiben - bis zu 98% der Nutzleistung werden durch die Verbreitung von Viren verbraucht, plus 1,5% für das Versenden von Virusnachrichten. Bleibt bei der Stärke von einem halben Prozent, was uns zur vollständigen Gleichheit von .NET auf QuadCPU * 20GHz-Knoten und Linux auf 386SX25 führen wird
mumu
16. Oktober 2001, 04:26 Uhr
Was für ein Unsinn. Es sei denn, Virenschreiber haben 98% des Geldes.
.NET - 100% geschützt vor Viren, Hackern und Crackern!
Chkaloff
16. Oktober 2001, 10:36 Uhr
2 vIv:
> ceteris paribus .NET wird auffallen
> Feuerrate rückläufig - bis zu 98% nützlich
> Brutviren verbrauchen Strom.
Er hat es erfunden, oder wer hat es sich ausgedacht?
Wissen Sie überhaupt etwas über .NET?
Mauhuur - Hexenmeister skeptik.net
16. Oktober 2001, 23:36 Uhr
mumu lamera: .NET hat nichts zu tun
zu parallel rechnen, also rauchen.

2 glassy: in zwanzig jahren wirst du deine gedanken lenken,)
Guinea und CLI in Figur werden nicht benötigt.

Supercomputer von Paspberry Pi

Jede Komponente (Knoten) ist, wie bereits erwähnt, ein separater Raspberry Pi Modell B Minicomputer mit den folgenden Eigenschaften: 700-MHz-ARM11-Prozessor, separater Videocore IV-Grafikkern, 512 MB RAM, zwei USB-Ports und ein 10/100-Port BaseT Ethernet.

Der Experimentator mochte die Leistung von 700 Megahertz nicht sofort, so dass die Frequenz ohne Konsequenzen (auf den ersten Blick) auf Gigahertz angehoben wurde.

Alle Raspberry Pi arbeiteten als Knoten im Slave-Modus (Slaves). Für den Masterknoten verwendeten wir einen Samsung Chromebook Series 3-Computer mit einem 1,7-GHz-Dual-Core-Prozessor - ARM Cortex-A15.

Linux für Supercomputer

Welche Linux-Distribution wurde gewählt? Wahrscheinlich fragt jetzt jeder Linux-Leser, der diesen Artikel liest. War Pidora wirklich bevorzugt? Oder vielleicht Ubuntu? Nein, Arch Linux wurde ausgewählt - wegen der Geschwindigkeit und der geringen Größe des Images (nur 150 MB).

Das Hauptproblem, das während des Betriebs dieses Geräts festgestellt wurde, war die häufige Beschädigung von SD-Speicherkarten. Sobald der Experimentator die Stromversorgung des Systems abgeschaltet hat, ohne auf das ordnungsgemäße Abmelden der Dateisysteme zu warten, erhielt er eine Reihe von beschädigten Dateien, die dann für eine lange Zeit wiederhergestellt werden mussten. Vielleicht hängt dieses Problem mit dem Übertakten von Prozessoren zusammen.

Test für den High Performance Linpack (HPL) Supercomputer

Der Experimentator vergaß nicht, die Leistung zu messen. Hierfür wurde der Standard High Performance Linpack (HPL) Test gewählt, auf dessen Basis aktuell eine Liste der 500 leistungsstärksten Supercomputer der Welt erstellt wird. Der Heimcluster zeigte ein Ergebnis von 10,13 Gigaflops. So war der Super500 nicht im Top500 enthalten, erwies sich aber als fünfmal leistungsstärker als der legendäre Cray-2-Supercomputer von 1985. Und was am wichtigsten ist - der Erfinder hat gut gespart, weil nur ein Server-Motherboard ihn dreimal so viel beanspruchen würde.

Angara: die zweite Generation

Die Roselektronika-Holding, die Teil der Rostec State Corporation ist, hat die zweite Generation des Angara-Kommunikationsnetzes geschaffen, mit dem herkömmliche Computer in Supercomputersysteme integriert werden sollen. Im neuen "Hangar" habe sich die Datenübertragungsrate zwischen angeschlossenen Rechnern gegenüber der ersten Generation verdreifacht, was die Berechnungen deutlich beschleunigen dürfte, so die Autoren des Projektberichts.

Mit der zweiten Generation von Angara können Sie Cluster von Servern und Workstations mit herkömmlichen Kupfer- oder optischen Kabeln erstellen. Die Entwickler behaupten, dass "jeder geschulte Benutzer" die Maschinen auf diese Weise verbinden kann. Die Kommunikationsverzögerung beim Datenaustausch zwischen Knoten wurde auf 0,85 μs reduziert.

Das Angara wird vom Forschungszentrum für elektronische Computertechnologie entwickelt, das Teil der Roselectronics ist. Roselectronics selbst vereint mehr als 160 Unternehmen und wissenschaftliche Organisationen der Radioelektronik-Industrie, deren Gesamtumsatz 180 Milliarden Rubel übersteigt.

Anwendungsmöglichkeiten

Jeder Computer mit Unterstützung für den PCI-Express-Bus in Höhe von „mehreren Einheiten bis Zehntausenden“ kann an Angara angeschlossen werden, die Autoren des Projektberichts auf der Rostec-Website. So können alle Computer in einem Unternehmen oder einer Institution „zu Hause“ zu einem einzigen Computercluster zusammengefasst werden.

Dieser Cluster kann komplexe wissenschaftliche, industrielle und technische Berechnungen durchführen sowie als Grundlage für ein Rechenzentrum oder einen Hardware-Software-Komplex für die Arbeit mit Big Data verwendet werden. Die Entwickler behaupten, das System sei fehlertolerant genug, um in der Luftfahrt eingesetzt zu werden.

Nach Ekaterina Baranova, Communications Director von Rostec, Supercomputing-Computing ist in Russland mittlerweile sehr gefragt - es wird für wissenschaftliche Forschung, Schulung neuronaler Netze, Modellierung der Eigenschaften industrieller Produkte usw. benötigt. Gleichzeitig ist die Verwendung eines Supercomputers teuer, da der Bau und die Wartung solcher Computer teuer sind.

„Unsere Entwicklung löst dieses Problem, indem beispielsweise kleine Labors und Konstruktionsbüros die Rechenleistung ihrer Arbeitsplätze in einem einzigen Cluster zusammenfassen und die erforderlichen Berechnungen selbst durchführen können“, erklärt Baranova. Sie glaubt, dass Angara die Entwicklung der Supercomputertechnologie in Russland vorantreiben wird, auf die nicht mehr als 3% der Supercomputer der Welt entfallen.

Supercomputer in Russland

Unter den Top 500 der leistungsstärksten Supercomputer der Welt, von denen 51 im Juni 2018 veröffentlicht wurden, befanden sich vier russische Supercomputer. Auf dem 72. Platz liegt das Lomonosov-2-System mit einer angegebenen Spitzenleistung von 4,9468 Petaflops und einer maximalen Leistung beim Linpack-Test von 2,478 Petaflops. In der vorherigen Ausgabe des im November 2017 veröffentlichten Ratings belegte dieses System 63 Zeilen.

Am Juni 172 wurde der Roshydromet-Supercomputer mit einer Spitzenleistung von 1.293 Petaflops und einer maximalen Leistung von 1.2003 Petaflops auf Linpack lokalisiert. Lomonosov rangiert mit einer Spitzenleistung von 1.7002 Petaflops und einem Maximum von 901,9 Teraflops bei Linpack auf Rang 326. In Zeile 458 befindet sich der Computer des nationalen Forschungszentrums des Kurchatov-Instituts mit einer Spitzenleistung von 1,2684 Petaflops und einer maximalen Leistung auf dem Linpack von 755,5 Teraflops.

Wir erinnern daran, dass in den fünfzigsten Top 500, die im November 2017 veröffentlicht wurden, drei russische Supercomputer vorgestellt wurden, wie in der vorherigen Version des Ratings, obwohl im November 2016 fünf russische Supercomputer auf der Liste standen. Drei Systeme in den Ratings für 2017 - dies ist der niedrigste Indikator seit November 2006, als es nur zwei inländische Supercomputer in den Top 500 gab.

Gleichzeitig wurde im April 2018 die 28. Ausgabe der Liste der 50 leistungsstärksten Computer in der GUS veröffentlicht. Из рейтинга следует, что всего за полгода суммарная мощность систем из Топ-50 выросла почти на треть, при этом список пополнился девятью совершенно новыми суперкомпьютерами, и семь систем из списка прошли масштабное обновление. Эти показатели, по данным составителей Топ-50, являются рекордом за последние шесть лет.

Pin
Send
Share
Send
Send