GPU Monster

Kaufempfehlungen, Hardwaretips, Softwareprobleme, Overclocking, Technikfragen ohne Bezug zu DC.
Nachricht
Autor
Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

GPU Monster

#1 Ungelesener Beitrag von Michael H.W. Weber » 11.01.2014 18:13

Nach langem Hin und Her spiele mit dem Gedanken, mir eine Maschine zusammenzuschustern, die 4 PCIe Grafikkarten beherbergt. Da stellen sich einige Fragen:

Zum einen müßte ich wissen, wie wichtig die PCIe-Anbindung mit 16 Lanes für effizientes Rechnen ist? Ich konnte auch kein Brett finden, dass 4x PCI 3.0 mit 4x x16 Lanes bietet (ich wollte einen i7 oder aber einen Xeon draufnageln).
Hat die Verschaltung der GraKas à la SLI etc. für das Rechnen überhaupt Vorteile?

Wenn, dann möchte ich mir sozusagen als Flaggschiff eine AMD R9 290X zulegen. Desweiteren habe ich noch zwei ältere MSI GTX9800er und dann soll noch eine leistungsstarke NVIDA GraKa dazukommen. Vermuteter Verbrauch unter Vollast: 1kW.

Wie sieht das mit den Netzteilen aus: Ich bin ein BeQuiet-Freund, frage mich monentan aber, ob ich an den gängigen Netzteilen überhaupt genug Anschlüsse für die Extrastromzuführungen für 4 PCIe Grafikkarten habe?

Da ich seit Jahren nur Onboard-Grafikchips nutze, habe ich von diesem Thema eher wenig Ahnung.

Ich möchte das Ganze wenn dann auch als Bastelprojekt im [hsmr] angehen, will heißen, ein eigenes Holzgehäuse herstellen, aus dem oben die Karten heraussragen.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: GPU Monster

#2 Ungelesener Beitrag von Dunuin » 11.01.2014 19:43

Mal ein paar Überlegungen:

1.) SLI/Crossfire bringt für DC nichts, bremst aber auch nicht sonderlich. Wäre aber was wenn du damit auch zocken willst.

2.) Für SLI/Crossfire sollten das möglichst die gleichen GPUs sein. So ein bischen kann das abweichen, da musst dich informieren was kombinierbar ist und was nicht, aber die sollten schon gleich schnell sein, damit die sich nicht gegenseitig ausbremsen

3.) Bei 1kw solltest du ein 2kw NEtzteil nutzen, damit das möglichst effizient ist. Gibt aber eigentlich nur bis 1,5kw. Solltest dich mal im Serverbereich umgucken oder gucken ob du nur 750Watt schlucken willst, damit du ein Platimax 1500W mit 80+ Platin nehmen kannst.

4.) Denk an die Kühlung!!! Bei 4 GraKas auf dem Mainboard sitzen die alle dicht an dicht. Da hast du also nur 2 Optionen. Wasserkühlung oder Lüfter welche die Luft innen anziehen und hinten aus dem Gehäuse herausblasen, was aber unglaublich laut ist, wenn es die Karten richtig kühlen soll. Die normalen Topblower kannst da nicht nehmen, da die sich gegenseitig den Luftstrom blockieren und die bereits beheizte Luft dann wieder und wieder durch den Kühler gepustet wird.

5.) Beim Netzteil auf die Schienen achten. Wenn 1500W drauf steht heißt das nicht das man da an jedem Stecker auch genug Strom ziehen darf. Beim Singlerail ist die Lastenverteilung egal, wenn du kein Singlerail hast musst du gucken das du die Grakas sinnvoll an die jeweiligen Schienen verteilst.

6.) Ich würde kein AMD und Nvidia Mischbetrieb machen. Das gab schon oft genug Probleme mit den Treibern. Hatte ich auch letztens. Da wollte meine Geforce keine Apps mit OpenCL mehr berechnen. Problem war der AMD-Chipsatztreiber fürs Mainboard der auch die Treiber für die Radeon Onboard-GPU beherbergt. Nutze den Rechner jetzt ohne Chipsatztreiber, da sich die Radeon- und Nvidia-Treiber einfach nicht vertragen.

7.) Deine CPU muss auch 4 GPUs versorgen können. Mit einem i7 wird das nichts. Da hast ja nur einen echten Kern pro GPU und damit kannst du keine Highend-Karten versorgen. Da solltest du wirklich über z.B. einen Dual-Opteron-Board nachdenken. AMD macht ja nicht gerade die flottesten und effizientesten CPUs, aber das Bulldowser-Design ist klasse zum versorgen von GPUs, da deren Schweachstelle FP ist, was ja deine GPUs super können und machen sollen.
Den Phenom II 955 und die HD5770 kennst ja. Bei mir musste ich 8 POEM-WUs gleichzeitig mit je 0,5CPU laufen lassen, um die 5770 auslasten zu können. Bei Albert und Gammaray bekomme ich die GTS450 (gleich schnell wie die 5770) nur zu 50% ausgelastet, wenn ich an 4 WUs parallel rechne und denen jeweils eine ganze GPU gebe.
Kannst dir ja ausrechnen was du da an CPU-Leistung brauchst, um 4 dicke Grafikkarten auslasten zu können. Die R290X hat auf dem Papier mehr als das 4fache an Rechenleistung deiner 5770.

8.) Speicheranbindung und PCIe-Bandbreite sind nicht für alle Projekte wichtig, aber für manche. Bei POEM scheint das z.B. einer der begrenzenden Faktoren zu sein. Speicheranbindung würde auch wieder für Serverboard sprechen.

9.) 2 kleinere GPUs mit der Gesamtleistung einer großen GPU haben das schlechtere Stromkosten-Leistung-Verhältnis. Viele kleine GPUs im Rechner sind da also eher suboptimal. Das macht also eher Sinn wenn du dann auch wirklich mehrere von den Flagschiffen einbaust.

Frag doch mal Bommer wegen seinem Server. Wenn ich das richtig sehe bekommst da immerhin 3 GPUs rein (zwei über 8x und eine über 16x).
Bild

JagDoc
Vereinsmitglied
Vereinsmitglied
Beiträge: 244
Registriert: 03.12.2011 12:05

Re: GPU Monster

#3 Ungelesener Beitrag von JagDoc » 11.01.2014 20:21

Michael H.W. Weber hat geschrieben:Nach langem Hin und Her spiele mit dem Gedanken, mir eine Maschine zusammenzuschustern, die 4 PCIe Grafikkarten beherbergt. Da stellen sich einige Fragen:

Zum einen müßte ich wissen, wie wichtig die PCIe-Anbindung mit 16 Lanes für effizientes Rechnen ist? Ich konnte auch kein Brett finden, dass 4x PCI 3.0 mit 4x x16 Lanes bietet (ich wollte einen i7 oder aber einen Xeon draufnageln).

Michael.
Ich würde dir ein S2011 System empfehlen, mit i7-3820, -3930, -4820 oder -4930 oder Xeon.
Die haben "Maximale Anzahl der PCI-Express-Lanes 40"

z.B. dieses Board : MSI X79A-GD45 Plus
"Drei der fünf PCI-Express-x16-Steckplätze entsprechen dem PCIe-3.0-Standard und sind mit 16/16/8 Lanes angebunden. Die anderen beiden PCIe-x16-Slots sind PCIe-2.0-Slots und laufen nur mit jeweils einer Lane."

Ich hatte es mal getestet auf einem MSI X79A-D45 (8D) mit i7-3930k und 2 bzw 3 HD7750 mit Poem.

2 x HD7750@900MHz mit je 6 WUs, GPU-Load 97%, CPU-Load 50%, Laufzeit 32min, 1580k/Tag.

3 x HD7750@900MHz mit je 6 WUs, GPU-Load 94%, CPU-Load 75%
Laufzeit GPU 0 + GPU 1 ca 36min
Laufzeit GPU 2 ca 41min
gibt ca 2mio/Tag.

Die Karten laufen mit PCIe 16/16/8 Lanes.
Da sieht man wie die 3. Karte mit 8 Lanes nachläßt.

Die Angaben für den i7-4770K (S1150):
"PCI-Express-Version 3.0
PCI-Express-Konfigurationen ? Up to 1x16, 2x8, 1x8/2x4
Maximale Anzahl der PCI-Express-Lanes 16"

cu JagDoc
Bild

Eric
Block-Bunkerer
Block-Bunkerer
Beiträge: 1355
Registriert: 07.05.2013 09:24

Re: GPU Monster

#4 Ungelesener Beitrag von Eric » 11.01.2014 20:44

Das Mainboard MSI X79A-D45 (8D) mit i7-3930k habe ich im Einsatz. Als Grafikkarte eine Radeon 7850. Bei Poem war mit 6 Wu das Punktemaximum von 1 Mio am Tag. 5 wu waren rd. 750k.
Bild

Benutzeravatar
heikosch
Task-Killer
Task-Killer
Beiträge: 732
Registriert: 30.03.2012 17:42
Wohnort: Essen

Re: GPU Monster

#5 Ungelesener Beitrag von heikosch » 11.01.2014 21:58

Noch ein Tipp zum Einsatz von mehreren Grakas. Unbedingt auf die Abmessungen achten!

Leistungsfähige Grakas benötigen 2 Slots, meistens außen, aber zumindest innen für den Kühlkörper und den/die Lüfter.

Ich habe ein Asus Sabertooth X79 und kann den unteren PCIe-Steckplatz nicht für eine 3. Graka nutzen, da der PCIe-Steckplatz genau auf dem letzten Slot meines NZXT Phatom big-Gehäuses endet. Eine Doppelslot-Graka würde rein mechanisch mit dem Netzteilgehäuse kollidieren. Vielleicht bastle ich mir noch mal eine Graka mit passendem Lüfter, aber ein Standardmodell ist einfach etwas zu "dick" und der Lüfter dürfte, da er direkt gegen auf dem Netzteilgehäuse aufsitzt einen guten "Sound" erzeugen.

Mein Enermax Platimax 1000W-Netzteil hätte mit seinem Single-Rail-Design hingegen kein Problem die 3. Graka zu versorgen.

Heiko
Bild Bild
Bild

Tim
Vereinsmitglied
Vereinsmitglied
Beiträge: 902
Registriert: 05.04.2013 16:22
Wohnort: Hamburg

Re: GPU Monster

#6 Ungelesener Beitrag von Tim » 11.01.2014 22:25

Bei der R9 290x musst du auch darauf achten, dass die allein unter Volllast bis zu 400W schluckt.

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: GPU Monster

#7 Ungelesener Beitrag von Michael H.W. Weber » 11.01.2014 22:29

Jo, da kommen ja schon eine Menge interessanter Dinge zusammen. Das Problem mit der Treibermischung von NVIDIA/AMD hatte ich bislang z.B. übersehen...

Was die Kühlung / Platzprobleme betrifft, da habt ihr einen der beiden Gründe, weshalb ich selbst ein Gehäuse basteln möchte. Der andere ist, das es ja auch Spass machen und nach was aussehen soll.

Bezüglich des Netzteils interssiert mich auch die Frage, ob man mit mehreren Netzteilen arbeiten kann? Ich hatte da mal vor ein paar Jahren wegen eines Multiboardbetriebs an einem Netzteil recherchiert. Da gibt es diese "power good" Leitung, die dem Netzteil meldet, ob es auf dem Mutterbrett irgendein Problem gibt. Wenn man das unverändert lässt, so soll angeblich aufgrund des nie zeitidentischen Startens mehrerer Boards an einem Netzteil sich dieses aus Sicherheitsgründen wieder selbst abschalten.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: GPU Monster

#8 Ungelesener Beitrag von Michael H.W. Weber » 11.01.2014 22:30

Tim hat geschrieben:Bei der R9 290x musst du auch darauf achten, dass die allein unter Volllast bis zu 400W schluckt.
Hmm, mir waren bislang unter Vollast "nur" 250 W bekannt.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Tim
Vereinsmitglied
Vereinsmitglied
Beiträge: 902
Registriert: 05.04.2013 16:22
Wohnort: Hamburg

Re: GPU Monster

#9 Ungelesener Beitrag von Tim » 11.01.2014 22:31


Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: GPU Monster

#10 Ungelesener Beitrag von Michael H.W. Weber » 11.01.2014 22:35

Hohohohoho, das sind ja Gangster. Die 250 W sind also der "average"-Wert. 8)
Ich bräuchte also noch ein Kraftwerk...
Das "power good" Problem muss also gelöst werden...

Michael.

P.S.: Meine Infos stammen hier her.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
heikosch
Task-Killer
Task-Killer
Beiträge: 732
Registriert: 30.03.2012 17:42
Wohnort: Essen

Re: GPU Monster

#11 Ungelesener Beitrag von heikosch » 12.01.2014 00:14

Wenn diese speziellen R9 290x im OC-Modus tatsächlich bis zu 350-400W ziehen, dann wirst Du bei 3-4 Stück eh auf das Gehäuse verzichten müssen. Die Teile blasen ein großen Teil der Abwärme in das Gehäuse und so viel warme Luft wirst Du dort nur schwer abtransportieren können. Und eine Wakü dürfte wohl aus Kostengründen kaum in Frage kommen.

Ich bin mir auch nicht so sicher, ob man von den Teilen überhaupt mehrere nebeneinander setzen sollte. Wenn ich mir die 3 Lüfter pro Graka so ansehe, die bei Montage nebeneinander jeweils direkt auf die Platine der nächste Graka blasen, dann könnte das sehr warm und vermutlich auch laut werden.

Heiko
Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: GPU Monster

#12 Ungelesener Beitrag von Michael H.W. Weber » 12.01.2014 00:24

So ist es.

XFX hat ein anderes Kühldesign "angedroht", mit nur 2 Lüftern, ca. 20°C niederigerer Temperatur und zudem (!) ca. 30 dB leiser. Ich will es erst hören und fühlen, bevor ich es glaube... 8)

Wobei ich mir keine vier R9 290X Karten werde leisten können und daher ja urspünglich ein Kartenmischsystem angedacht hatte (3 vorhanden plus eine nagelneue). Da ich aber inzwischen stark vermute, dass selbst zwei Karten desselben Chipherstellers (aber unterschiedliche Modelle) sich treibertechnisch ins Gehege kommen, muss ich da wohl generell umdenken.

Evt. sind stapelbare Mini-ITX-Boards da eine Lösung. Wirft aber meine Gehäuseüberlegungen über den Haufen.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Antworten

Zurück zu „Hardware, Software, Technik, Betriebssysteme“