GPU Monster

Kaufempfehlungen, Hardwaretips, Softwareprobleme, Overclocking, Technikfragen ohne Bezug zu DC.
Nachricht
Autor
Tim
Vereinsmitglied
Vereinsmitglied
Beiträge: 902
Registriert: 05.04.2013 16:22
Wohnort: Hamburg

Re: GPU Monster

#13 Ungelesener Beitrag von Tim » 12.01.2014 00:36

Bild das zur Crossfirekompatibilität (ist schon etwas älter)

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: GPU Monster

#14 Ungelesener Beitrag von Dunuin » 12.01.2014 02:04

Ich denke nicht das man Netzteile mischen sollte. Die Dinger jagen 125A bei 12V durch die Leitungen und die Spannung schwank je nach Last im vorgegebenen Rahmen, was bis zu +-0,6V auf der 12V Leitung sind. Kann mir nicht vorstellen, dass das stabil läuft, wenn das Mainboard am einen Netzteil im Worst Case mit 11,4V und die Grafikkarte mit 12,6V läuft und beide über einen gemeinsamen Datenbus kommunizieren. Lass da lieber die Finger von.

Also eigentlich hast du nur 2 Optionen:

1.) sündhaft teures Servermainboard und da dann 3 GPUs drauf
2.) 2 normale Mainboards und dann je 2 GPUs drauf

Ich wäre da dann auch eher freund von Variante 2. Da hast du es mit Mischbetrieb einfacher, hast keine Probleme ein passendes Netzteil zu bekommen und du kriegst auch wirklich 4 GPUs unter ohne das da die Lanes zu stark gedrosselt werden müssen.

Ist in beiden Fällen jedenfalls ein sehr teurer Spaß.

Holzgehäuse solltest aber von innen auch wenigstens mit Stahl auskleiden. Geht ja auch um EMV sprich Faradayscher Käfig. NEtzteile solltest du immer so bei rund 50% ihrer Leistungsfähigkeit laufen lassen, wenn du lange was von denen haben willst und die Energieeffizienz gut sein soll.
Bild

Benutzeravatar
Norman
Vereinsmitglied
Vereinsmitglied
Beiträge: 2188
Registriert: 20.03.2003 14:34
Wohnort: Saarland
Kontaktdaten:

Re: GPU Monster

#15 Ungelesener Beitrag von Norman » 12.01.2014 02:27

das problem mit den dicken dual-slot high-end karten kenne ich..
da ist wirklich nur noch ein spalt frei um luft zu saugen die dann halbwegs gut nach außen abtransportiert worden ist.
die saugen natürlich die komplette heisse abluft der anderen karten mit an.
meine lösung war ein "verlängerungskabel" für den pcie-slot mit molex-stecker und außerhalb des gehäuses auf einem gebastelten "gestell" die karten betrieben.
entweder lässt man das gehäuse dabei offen oder schneidet sich die schlitze für die verlängerung in die verkleidung.
wer das nötige kleingeld hat kann natürlich ne wakü nehmen :D

meine erfahrungen zeigen dass nicht unbedingt die cpu der begrenzende faktor ist sondern der bus-/ramtakt.
auf meinem i7 z.b. hab ich 3 grakas für einstein oder poem am laufen gehabt und das funktionierte ganz gut ohne viel cpu-last.
bei mersenne.org mit mfaktc/mfakto haben die apps null prozent cpu-auslastung da der sieve komplett durch die gpu vorgenommen wird.
jetzt schalte ich 1-2 cpu anwendungem von rnaworld oder poem oder sonstwas hinzu und dann sinkt der gpu-load ab in den keller bis fast nix.
trotz höchster übertaktung keine chance.

ich würde auf jedenfall auf extrem schnellen ramtakt und speicher, extrem schnellen bus und speicheranbindung und höhen cpu-takt setzen.
das ganze hab ich auf einem xeon 1650v2 (hexacore) ebenfalls getestet aber da er nicht übertaktbar ist und der ecc-speicher leider auch nicht gerade schnell ist wars das auch schon wieder :)

Netzteile würde ich ebenfalls bequiet! platinum nehmen oder enermax die noch bei sehr hoher auslastung trotzdem effizient genug sind. 80% auslastung sollte das max. sein.
(p.s. mein bequiet! bronze halt jetzt schon 5 jahre durch unter übelster last :D)
1500w sollten es allerdings dann schon sein wenn man sie richtig rannehmen will und evtl. noch übertakten will. das restsystem will auch noch versorgt sein.
diverse adapter und kabel sind für paar euro zu haben und man kann die schienen bei einem modularen netzteil so anschliessen dass mehrere phasen/schienen unterschiedlich belastet werden.
nur bei so einem monsterteil ist das im endeffekt egal :D
mehrere unterschiedliche netzteile würde ich nur bedingt empfehlen.
ein netzteil z.b. könnte man nehmen und per pci-e verlängerung mit molex anschluss nehmen und den 6-pin dort anschliessen und der andere 6-pin an dem systemnetzteil.
das ginge. die last ist dann ziemlich ausgeglichen. nur ist das ein ziemlicher kabelsalat.
wen's nicht stört ok ;)

Norman

Benutzeravatar
Dunuin
Vereinsmitglied
Vereinsmitglied
Beiträge: 1743
Registriert: 23.03.2011 12:59
Wohnort: Hamburg

Re: GPU Monster

#16 Ungelesener Beitrag von Dunuin » 12.01.2014 02:59

meine lösung war ein "verlängerungskabel" für den pcie-slot mit molex-stecker und außerhalb des gehäuses auf einem gebastelten "gestell" die karten betrieben.
Stelle ich mir auch heikel vor. Schon mal überlegt warum beim USB-Kabel die Datenleitungen verdrillt und abgeschirmt sind?
Mit der Länge muss man auch aufpassen. Für schnelle Datenbusse müssen die Leitungen so kurz wie möglich sein. Daher werden die RAM-Slots ja auch immer direkt neben der CPU verbaut und nicht sonst wo auf dem Mainboard, wo die vielleicht weniger den CPU-Kühler stören würden.
Bild

Benutzeravatar
Norman
Vereinsmitglied
Vereinsmitglied
Beiträge: 2188
Registriert: 20.03.2003 14:34
Wohnort: Saarland
Kontaktdaten:

Re: GPU Monster

#17 Ungelesener Beitrag von Norman » 12.01.2014 04:12

jo das sind die direkten busanschlüsse und da ist der kürzeste weg der beste.
... bei 15-20cm ist da maximum bei den pcie-verlängerungen aber funktioniert bis jetzt 1a ;)
die peripherie nimmt das nicht ganz so eng, da z.b. ein 2m langes usb-kabel hier genau den dursatz bietet wie das 50cm mini-teil ;)
das sind ja auch andere frequenzen und und und.

Norman

Benutzeravatar
ClaudiusD
Vereinsmitglied
Vereinsmitglied
Beiträge: 1296
Registriert: 29.01.2013 16:52
Wohnort: Wien

Re: GPU Monster

#18 Ungelesener Beitrag von ClaudiusD » 12.01.2014 08:30

Für extra starke Netzteile würde ich nurnoch Superflower, Enermax und Lepa empfehlen. Von Lepa gibts zurzeit das stärkste: Homepage und hier der Preis.

Ich würde dennoch Superflower nehmen. Warum? Die Superflower sind nicht unbekannt dafür, auch bei hoher Auslastung noch enorm effizient und stabil zu sein! obligatorischer Link zu Geizhals

Wenn du jetzt auch noch sparen willst, würde ich das EVGA Supernova G2 in 1000W oder 1300W nehmen. Beide haben eins gemeinsam: Sie sind im Herzen Superflower-Netzteile und können die gesamte Wattangabe auf der 12V Schiene alleine (!) abgeben - ideal für enthusiastische Aufbauten mit 4 GPUs. Testbericht zum 1300er. Das G2 1000W Netzteil besitze ich selbst und bin mehr als zufrieden ;) Preise...

Ich benötige nicht soviel Watt, da ich "nur" 2 Highend Karten reinbauen will und ein bisschen Peripherie. Mein Verbrauch wird so bei 700W liegen, da ist das EVGA mit 1000W völlig ausreichend. Die übliche Effizienzstrategie (50% Auslastung = ideal) gilt ja hier nicht, da Superflower einer der wenigen Firmen ist, die den Zertifikatswahnsinn nicht komplett mitmachen. Die Testungen sind nämlich etwas unsauber. Wem das Problem bei den Netzteilzertifikaten (80plus ...) noch nicht bewusst ist, hier was zum Lesen. Zum Weiterlesen: Link 1 Link 2 Link 3.

Also das 80plus Siegel seh ich als groben Richtwert. Wenn man genau weiß wieviel man verbraucht, kann man nach der Auslastung suchen (zb 70%) und dann hoffen, dass ein unabhängiger Test von dem Netzteil auch eine schöne Tabelle mit Messwerten hat. So kam für mich nurnoch Superflower (EVGA) am Schluss raus, da bei ungefähr 70% Auslastung viele Netzteile (weil der 80plus-Test das nicht fordert) einen Knick nach unten haben (daher auch die altgediegene 50% Auslastung = am effizientesten-Aussage).

Achso :D Das EVGA G2 1000W hat Platz für 3 große Karten (jeweils 2*8pin Stecker). Bei der 1300W Ausführung ebenso. Nur die 1500W Ausführung (die ist aber nicht von Superflower, sondern von Etasis - die machen eher für die Industrie Netzteile) für horrende 400? hat 4 Anschlüsse für 2*8Pin GPUs.

Soviel erstmal nur zum Thema Netzteil ;)
Bild

Benutzeravatar
heikosch
Task-Killer
Task-Killer
Beiträge: 732
Registriert: 30.03.2012 17:42
Wohnort: Essen

Re: GPU Monster

#19 Ungelesener Beitrag von heikosch » 12.01.2014 11:00

Norman hat geschrieben:meine erfahrungen zeigen dass nicht unbedingt die cpu der begrenzende faktor ist sondern der bus-/ramtakt.
auf meinem i7 z.b. hab ich 3 grakas für einstein oder poem am laufen gehabt und das funktionierte ganz gut ohne viel cpu-last.
bei mersenne.org mit mfaktc/mfakto haben die apps null prozent cpu-auslastung da der sieve komplett durch die gpu vorgenommen wird.
jetzt schalte ich 1-2 cpu anwendungem von rnaworld oder poem oder sonstwas hinzu und dann sinkt der gpu-load ab in den keller bis fast nix.
trotz höchster übertaktung keine chance.

ich würde auf jedenfall auf extrem schnellen ramtakt und speicher, extrem schnellen bus und speicheranbindung und höhen cpu-takt setzen.
das ganze hab ich auf einem xeon 1650v2 (hexacore) ebenfalls getestet aber da er nicht übertaktbar ist und der ecc-speicher leider auch nicht gerade schnell ist wars das auch schon wieder :)Norman
Am Bustakt würde ich möglichst nicht herumschrauben. Damit kann man sehr merkwürdige Instabilitäten produzieren. Mit Sockel 2011 hast Du eine sehr gute RAM-Anbindung und wenn Du nicht über den Bustakt sondern den freien CPU-Multiplikator übertaktest auch keinen Bedarf teure OC-RAMs einzusetzen.

Das OC der CPU hat erst einmal keinen Einfluss auf die Verteilung der CPU-Leistung auf die Prozesse, das macht das Betriebssystem. Das Hauptproblem bei so vielen CPU-intensiven Prozessen dürfte es tatsächlich sein die Rechenzeit so zu verteilen, dass die für die Punktzahl relevanten GPU-Prozesse immer genügend CPU-Leistung bekommen. Ich habe bei mir daher mit dem Tool SetPriority den GPU-Prozessen von F@H eine höhere Basispriorität zugeordnet und trotzdem bei BOINC 100% CPU eingestellt. Idealerweise würde man natürlich für die GPUs Kerne CPU-Leistung "frei lassen". War bei mir aber nicht nötig, da interessanterweise die GPU-Prozesse sich im Schnitt mit einem halben (virtuellen) Kern zufrieden geben, temporär benötigen sie immer mal wieder einen ganzen Kern, aber das scheint die Priorisierung der CPU-Leistung für die Prozesse gut zu verteilen. Ich weiß nicht, ob man das auf BOINC-GPU-Projekte verallgemeinern kann, aber vielleicht geht es ja auch dort.

Heiko

PS: Meine aktuellen Erfahrungen basieren auf einem 3930K mit 2 Grakas (GTX 780 und GTX 680). Alles übertaktet.
Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: GPU Monster

#20 Ungelesener Beitrag von Michael H.W. Weber » 12.01.2014 11:56

Vieleicht könnten wir hier noch ein paar Infos zusammentragem, was ihr so an Systemen betreibt und vielleicht auch, wo man ein paar nützliche "guides" zum Thema GPU-DC im Netz findet?
Das bisherige hat mir schon sehr geholfen - vielen Dank dafür. :D

Ehrlich gesagt kann ich mir nicht so recht vorstellen, dass ich an einem i7-4770K / Socket 1150 keine 4 GraKas ausfahren kann.
Die Idee von Norman, GraKas mit Verlängerungskabeln sozusagen räuumlich von den PCIe-Slots zu entkoppeln finde ich SEHR interressant. Hast Du da mal ein paar Bilder / Details zu den Steckern?
Dunuin hat geschrieben:Ich denke nicht das man Netzteile mischen sollte. Die Dinger jagen 125A bei 12V durch die Leitungen und die Spannung schwank je nach Last im vorgegebenen Rahmen, was bis zu +-0,6V auf der 12V Leitung sind. Kann mir nicht vorstellen, dass das stabil läuft, wenn das Mainboard am einen Netzteil im Worst Case mit 11,4V und die Grafikkarte mit 12,6V läuft und beide über einen gemeinsamen Datenbus kommunizieren. Lass da lieber die Finger von.
Ist durchaus ein zu berücksichtigender Punkt.
Ich wäre trotzdem an einer Lösung der "power good" Problematik interessiert, falls Du dazu etwas weißt.
Dunuin hat geschrieben: 1.) sündhaft teures Servermainboard und da dann 3 GPUs drauf
Ein Severboard, das überhaupt annehmbare Möglichkeiten eines High-End GraKa-Betriebs - geschweige denn von mehreren - bietet, müßtest Du mir dann aber mal zeigen...
Es gibt da ein, zwei Bretter von ASUS, die scheinen mir aber keine echten Serverboards zu sein.
Dunuin hat geschrieben:2.) 2 normale Mainboards und dann je 2 GPUs drauf
Ja, daher hatte ich ja einen vierer Array von mehreren Mini-ITX-Boards mit je einer PCI2 x16 GraKa angedacht. Da hat man dann natürlich auch noch massig CPU Power - bloss gehen da die Kosten hoch...
Dunuin hat geschrieben:Holzgehäuse solltest aber von innen auch wenigstens mit Stahl auskleiden. Geht ja auch um EMV sprich Faradayscher Käfig. NEtzteile solltest du immer so bei rund 50% ihrer Leistungsfähigkeit laufen lassen, wenn du lange was von denen haben willst und die Energieeffizienz gut sein soll.
Ja klar. Zur Auskleidung wüßte ich gerne mal, ob da ein Stahlnetz reicht (Maschenweite?) oder ob eigentlich durchgehende Bleche vorgeschrieben sind?

@Tim: Die Grafik verstehe ich jetzt nicht so ganz. CrossFire scheint für GPU-DC doch ohnehin unwichtig zu sein oder?

Michael.

P.S.: Wer (wie ich) auf passive GraKas steht: Diese rechnet wohl am meisten weg.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Tim
Vereinsmitglied
Vereinsmitglied
Beiträge: 902
Registriert: 05.04.2013 16:22
Wohnort: Hamburg

Re: GPU Monster

#21 Ungelesener Beitrag von Tim » 12.01.2014 12:02

Michael H.W. Weber hat geschrieben:[...]
Wobei ich mir keine vier R9 290X Karten werde leisten können und daher ja urspünglich ein Kartenmischsystem angedacht hatte (3 vorhanden plus eine nagelneue). Da ich aber inzwischen stark vermute, dass selbst zwei Karten desselben Chipherstellers (aber unterschiedliche Modelle) sich treibertechnisch ins Gehege kommen, muss ich da wohl generell umdenken.[...]
Ich denke wenn die Karten im Crossfire laufen, dass sich dann auch die Treiber im Singlebetrieb nicht gegenseitig stören sollten. Deshalb die Grafik.

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 21014
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: GPU Monster

#22 Ungelesener Beitrag von Michael H.W. Weber » 12.01.2014 12:05

Ah, jetzt! :D
Gibt es da noch eine aktuellere?

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Tim
Vereinsmitglied
Vereinsmitglied
Beiträge: 902
Registriert: 05.04.2013 16:22
Wohnort: Hamburg

Re: GPU Monster

#23 Ungelesener Beitrag von Tim » 12.01.2014 12:10

Bis auf diese Meldung habe ich noch nichts neueres finden können.

Benutzeravatar
heikosch
Task-Killer
Task-Killer
Beiträge: 732
Registriert: 30.03.2012 17:42
Wohnort: Essen

Re: GPU Monster

#24 Ungelesener Beitrag von heikosch » 12.01.2014 12:56

Bei F@H gibt es einige Leute, die 3-4 Grakas mit einem Board betreiben. Angeblich soll es zumindest aktuell für F@H nicht so wichtig sein wie viele PCIe-Lanes genutzt werden. Bei nur 4 anstatt 16 Lanes soll der Leistungsverlust sich im einstelligen Prozentbereich bewegen. Vor einigen Jahren habe ich aber auch schon von schlechterer Leistung (bis zu 50%) bei nur 8 anstatt 16 Lanes gehört. Möglicherweise liegt dies am Wechsel von Core 15 auf Core 17, der dafür aber viel mehr CPU-Leistung benötigt als Core 15.

Die parallele Verwendung von 2 Netzteilen sollte möglich sein: http://www.planet3dnow.de/vbulletin/sho ... n-moeglich

Ich denke auch, dass ein i7-4770K keine Probleme haben dürfte mit seinen 8 virtuellen Threads 4 Grakas zu betreuen.

Heiko
Bild Bild
Bild

Antworten

Zurück zu „Hardware, Software, Technik, Betriebssysteme“