DCP selbst erstellen?

[FiVo PAT]

ne war nen 8core mit 16threads. :) das war glaub ich nen trailer von ronin wenn mich nicht alles täuscht. 720p

 

naja gut, das ist richtig, aber im hauptrechner ne intel cpu und in der renderfarm amd, weiss ned ob das sinn macht, zumindest dann die amd langsamer sind, macht das bis 20 min denk ich nicht viel zeitunterschied.

 

aber heute werd ich das mal testen, hab noch nen alten amd rumstehen, den häng ich mal mit ins netzwerk.

[stefan2]

Rendernotes brachten nicht so richtig viel, ich hatte zu meinem 8 Kern noch 2 x 8 core Server per Gigabit Netzwerk eingebunden, aber der Bringer war das nicht, da sind wohl noch andere Bremsen drin, wie der Plattenzugriff, und Netzwerk, was noch optimiert werden müßte. Wesentlich mehr, als x core Bretter, dürfte GPU Unterstützung bringen, oder halt was anderes, als der open Jpeg...

 

Stefan

[FiVo PAT]

hi stefan, hast du den benchtest gemacht?

was hast du für ein system?

 

ja hab gefragt ob gpu support möglich ist,evtl kann man das ja einbinden.

glaub mit cuda wäre das relativ einfach möglich glaub ich!

 

ich test heut noch mal mit anderen settings, evtl holt man 1-2 frames raus, aber für kurze trailer oder so bringt das nichts. ehr für langfilme von 90min.+

 

pat

[carstenk]

Hängt immer vom Gesamtsystem ab - je langsamer die Einzelmaschinen sind, desto mehr bringen die Netzwerknodes. Je schneller die Maschinen sind, desto geringer ist der relative Gewinn. DVD-o-matic verschickt unkomprimierte Bitmaps an die Netzwerknodes für das J2k, es macht ohnehin schon nur mit Gigabit Sinn, und wenn die Maschinen dann schon jede 3-6fps komprimieren können und somit auch unkomprimiert annehmen können/müssen, ist das Netzwerk halt sehr schnell am Anschlag und dann der Flaschenhals.

 

- Carsten

[FiVo PAT]

ja, da hast du recht carsten, glaub das ein dual mobo mit 2 cpu´s mehr bringt als die renderfarm.mit 4 x 8 kernen.

wie ist das mit dual lan, input output?

mit der netzwerk geschuichte kenn ich mich zu wenig aus :P

ich frag mal mein spezl der is soein netzwerkadmin oder so.

 

hab noch nen altes dual mobo 1366 rumliegen, werd mal schauen das ich 2 xeons bekomme mit 6x 3,06ghz und dann mir ein neuen rechner baue und das dann mal da teste. :) dürfte nicht mehr als 500 kosten denk ich.

[carstenk]

Die maßgebliche Last sind die unkomprimierten Bitmaps, die an die Rendernodes verschickt werden.

 

Wenn man mit so einem Cluster in halbwegs interessante Bereiche kommen will, sind das ab 10-15fps, das sind schon mehr, als ein Gigabit-Lan bei mindestens 6MByte pro Bild unterbringen kann. Dazu kommt noch der Kommunikationsoverhead und das Abliefern der (recht kleinen) j2c. Das sättigt sich also sehr schnell. Also wird man mit 6-8 core Systemen schon keine großen Vorteile mehr über Rendernodes mit DCP-o-matic erzielen können, einfach weil so viele fps das Netzwerk sättigen werden.

 

 

Aber genau deswegen war ich so an möglichst vielen Benchmarks interessiert, um mal die geeigneten Optimierungspunkte rauszukriegen. Ein günstiges Dual-CPU Board mit zwei 'SweetSpot' CPUs wie AMD oder eben bezahlbare XEONs dürfte am besten liegen.

 

- Carsten

[FiVo PAT]

also die bulldozer sind nicht dualfähig auf einem mobo.

glaub eine günstigere variante stellt dann ein quad mobo mit opterons dar, aber in wie weit die dann leistungstechnisch gegenüber einem dual mobo mit xeons sind weiß ich nicht, glaube das die xeons da aber schneller sind, da diese ja ht können, und somit genausoviele threads bearbeiten wie die opterons.

eine ssd sollte dann schon verbaut sein, und auch ddr mit mind.1600er takt.

 

 

hab gerade mal geschaut, die 1366 cpu´s mit 2,66 GHZ kosten a 180Euro, relativ günstig :) dann noch der ram denk mal das da 12GB vorerst reichen werden. dann komm ich auf ungefähr 450euro.

mit den xeons kann man auch cutten, die AMDs brauchen aber mehr Watt bei last als die xeons.

 

man könnte aber das source file im netzwerk auf nem nas liegen haben, oder auf jedem rechner haben, und dann nur die j2c zu mxf schreiben, so mach ich das wenn ich mit ae render (TFF,oder DPX) der überspringt dann einfach die frames, die schon vorhanden sind.

 

pat

[cinefan25]

cinefan25,

habe ich auch ausprobiert, bin allerdings mit der qualität nicht zu frieden.

welche settings hast du da?

premiere voreinstellung und einstellung bei fnord j2c?

 

vg pat

 

eigentlich verwende ich immer die Standardeinstellungen für "Digital Cinema".

 

Hier ein Screenshot von meiner Flat-Vorgabe:

[FiVo PAT]

eigentlich verwende ich immer die Standardeinstellungen für "Digital Cinema".

 

 

 

Ah,cool, ich vergleich das mal, aber meine projekteinstellungen sind glaub ich etwas anders.

 

Danke sehr

Pat

[cinefan25]

Ah,cool, ich vergleich das mal, aber meine projekteinstellungen sind glaub ich etwas anders.

 

Danke sehr

Pat

Ja, tu das :) Also mit unserer Christie CP2210 und Doremi 2k4 sieht das immer sehr gut aus.

[stefan2]

hi stefan, hast du den benchtest gemacht?

was hast du für ein system?

 

ja hab gefragt ob gpu support möglich ist,evtl kann man das ja einbinden.

glaub mit cuda wäre das relativ einfach möglich glaub ich!

 

ich test heut noch mal mit anderen settings, evtl holt man 1-2 frames raus, aber für kurze trailer oder so bringt das nichts. ehr für langfilme von 90min.+

 

pat

 

Hallo.

 

Den Benchmarktest habe ich bisher nicht gemacht, da fehlte die Zeit.

Als Hauptrechner diente ein AMD 8350 board / 16 GB mit Windows 8.

Die Rendernodes waren Standard Server mit 2 x Xeon e5530 4 core (glaube 2.4 GHz), 1g GB RAM. Laufen mit Ubuntu 13.4. Nichts herausragendes, aber wie ihr schon schreibt, die Netzwerklast müßte da über schnellere Schnittstellen gehen... da ist irgendwann ein Engpaß, der den Zugewinn relativiert. Und schneller Plattenzugriff ist auch ein Faktor, eine SSD muß ich da noch einmal hinzubringen.

 

Gruß

 

Stefan

[FiVo PAT]

Hallo.

 

Den Benchmarktest habe ich bisher nicht gemacht, da fehlte die Zeit.

Als Hauptrechner diente ein AMD 8350 board / 16 GB mit Windows 8.

Die Rendernodes waren Standard Server mit 2 x Xeon e5530 4 core (glaube 2.4 GHz), 1g GB RAM. Laufen mit Ubuntu 13.4. Nichts herausragendes, aber wie ihr schon schreibt, die Netzwerklast müßte da über schnellere Schnittstellen gehen... da ist irgendwann ein Engpaß, der den Zugewinn relativiert. Und schneller Plattenzugriff ist auch ein Faktor, eine SSD muß ich da noch einmal hinzubringen.

 

Gruß

 

Stefan

 

Ah ok, aber ich glaube das dein AMD nicht viel mehr an fps bringt als der bei den benchmarks. http://carlh.net/software/dvdomatic/benchmarks/fps.php

kannst ja mal vergleichen, mit dem bei den bench und mit deinem. http://carlh.net/software/dvdomatic/benchmarks/input.php?id=1

 

zum encoden brauchen die nicht viel ram, ich habe 64GB z.zt, bei dvd-o-matic nutz ich 4GB bei AE brauch ich dann schon alles.

 

Aber mit cuda dürfte aber es eine spürbare steigerung geben, leider habe ich da keine ahnung von dem programmieren.

 

 

pat

[FiVo PAT]

So hab mal meine cpu auf4,5GHz getaktet, macht bei dem sintel um die 10 min aus.

 

http://carlh.net/software/dvdomatic/benchmarks/fps.php

 

pat

[carstenk]

Nicht schlecht...

 

Preislich etwa auf gleichem Niveau läge wohl ein Dual-4core CPU Mainboard. Da dürfte wohl der Sweetspot liegen, 4-8 Kerne.

 

 

- Carsten

[FiVo PAT]

also bei einem dual quadcore hast du mit ht 16threads, dann kommt es aber wieder auf den takt an.

denke mal das sich das der 1366 mit 2qc cpus xeon e5500 a 3ghz am preisgünstigste alternative darstellt, knapp400euro mit turbo kommt man auf 3,4ghz, und leichtes oc auf ca 3,8-4ghz im idle mit 2 h100 als kühlung.

 

ich denke ich werde aber die six cores nehme mit 2,9ghz und im turbo 3,33 + oc kommt man dann auf ca 3,5ghz a 24threads

 

werde ich nächsten monat mir mal zulegen ;) 12gb ram dürften reichen und zur not auch nur h60´s als gehäuse muss mir nen biertragel dienen ;p

 

pat

[FiVo PAT]

Hallo,

ende november gibt es neue benchmark tests von mir, habe mich entschieden ein dual xeon E5 2690 setup zu bauen, mit einem asus Z9 P -D8 ws 64gb ram und 480gb ssd. macht dann 32Kerne a2.9GHZ im turbo 3,8Ghz.

 

Wer dann mein aktuelles setup möchte kann sich ja melden.

z.zt intel dx79sr + i7 3930K und ein Corsair Carbage 400R + 1000watt NT von ocz 80+gold (ram und grafikkarten behalte ich) ohne cpu kühler und festplatten.

 

cheers

[FiVo PAT]

So hab meine WS FERTIG :)

 

den sintel hab ich in ca 32min fertig gehabt.

allerdings läut die WS nur mit 35-55% auslastung habe es auch mit unterschiedlichsten thread einstellungen probiert.

der bunny trailer 32sec in ca. 28sec - 1min immer anders.

 

Verbaut sind 2x intel xeon 2687W

ssd 512GB samsung 840pro

ssd 120 kingston als VRAM

ssd 240GB intel für Programme und Write

 

desweiteren 2x3TB WD RED im Raid als Backup

und meine anderen 8TB in einem Netzwerk server ( kommt noch)

 

als kühlung habe ich 2 corsair H80i und als Grafikleistung meine 2GTX 680

 

Ram konnte ich meine 64GB nutzen, und musste zum glück keine ECC Rams kaufen.

 

Wer interesse an meiner alten Hardware hat kann sich gerne melden. - i7 3930K 6core/12 threads - MB Intel DX79SR Corsair H100i - Case Corsair Carbide 400R - NT: Corsair HX 1000

 

https://www.dropbox.com/sh/rouh6ssjmmpkpas/HR_ZeYFwqt/42.jpg

[carstenk]

Hmm, nimm's mit Humor, aber das ist 'enttäuschend'. Wenn ich richtig rechne, komme ich da auf ca. 10-12fps im Schnitt. Von einer 16core/32threads Maschine hätte ich mir mehr erhofft. Theoretisch käme man damit also auf etwas über 20fps bei hypothetischer Vollauslastung.

 

Wahrscheinlich skaliert die Parallelisierung bei vielen Cores nicht mehr linear. Wenn ich das richtig verstehe, dann wird NUR das Enkodieren einzelner Frames nach J2k auf mehrere threads verteilt. Der Prä- und Postprocessor läuft nicht multithreaded. Das hat dann natürlich Limits, wenn dieser Teil sich daher nicht weiter beschleunigen lässt und die verteilten J2k Encoder darauf warten müssen.

 

Könnte also sein, dass gegenwärtig eine 8coreHT CPU das ökonomische Limit für eine DVD-o-matic optimierte Maschine ist. Schneller geht dann nur noch über mehr Takt.

 

Du könntest mal spaßeshalber versuchen, den Sintel in 2 parallel laufenden Instanzen zu konvertieren. Eventuell schaffst Du über beide Instanzen in Summe deutlich mehr fps und Auslastung, auch wenn das natürlich sinnlos ist, aber es würde die Hypothese stützen.

Die Platten sollten da noch locker mitkommen, Input (und Output sowieso) ist beim Sintel ja komprimiert.

 

Und wenn Du Lust am Rumprobieren hast - Stichwort Netzwerksättigung, setz doch dein vorheriges Setup mal als Netzwerkrenderer zusätzlich zum Neuen ein und berichte mal, wie die Sintel Performance über zwei Maschinen aussieht. Ich hatte ja schonmal gemutmaßt, dass das Netzwerk ab etwa 10-12fps gesättigt ist und das Verwenden von Netzwerknodes bei so schnellen Maschinen daher kaum noch Sinn macht. Ausserdem dürfte auch hier der 'Masterprozess' genau wie bei deinem Einzelmaschinenbenchmark wieder der Flaschenhals sein, der die vielen J2k encoderthreads ausbremst.

 

Mal über den Daumen extrapoliert - ein 2h DCP zu rechnen dürfte auf einer single 8core/16thread CPU Maschine dann noch etwa 4-5h dauern.

 

Hast Du mal DCP-o-matic statt DVD-o-matic probiert? Vielleicht gibts damit noch maßgebliche Abweichungen nach oben oder unten.

 

- Carsten

[FiVo PAT]

Hi, also mich würde das jetzt interresieren wie lange du für den sintel brauchst. carsten!

 

bin mit Carl in kontakt, teste das programm mit dem sintel trl.

 

hat sich einiges rausgestellt, in den logs.

 

es liegt nicht an der dual cpu config, sonder im programm.

mit 16/18 threads ist es genau so schnell wie mit 24/32 thrads, bei 48/64threads langsamer!

 

 

selbst bei opendcp nutz es die 32 kerne nicht aus, das hängt bei 30-50% manchmal geht die cpu auslastung auf 95% meiste zeit aber auf 60-70% in open dcp benötige ich für 21300frames genau 28min um in j2c zu konvertieren.

 

werd mal das dcpc testen wie das von der performance ist!

 

habe mit der alten version von dcp und DVD omatic für ein 150min ftr knapp 4,5h gebraucht.

 

für .mov traier mit 2-3 min ca 4-5min.

 

ich halt euch auf den laufenden.

[FiVo PAT]

ok dcpc hat sich vorerst auch erledigt, da man da auch erst in einzelbild umwandeln muss und es können nur max.16 threads ausgewählt werden.

test es trotzdem mal mit dem sintel trailer

[carstenk]

Bei DCPC gabs in der neuen Version ja eine Änderung, kein ImageMagick mehr in der Pipeline. Wäre zumindest mal interessant, die Encoding Leistung mal zu benchmarken, auch wenn noch OpenJPEG dahinter steht.

 

Ansonsten, ja Carl ist dran, das Verhalten bei sehr vielen Kernen noch zu optimieren, in der neuen Beta geht ja wohl schon etwas mehr, da hast Du ihm ja offensichtlich schon Zahlen geliefert. Deine Maschine ist für ihn ja jetzt quasi Testumgebung für sehr viele Cores. ;-)

 

- Carsten

[FiVo PAT]

habe mir dcpc mal runtergeladen, jedoch hab ich seitdem ein problem mit aftereffects, das stürzt immer ab, habe es wieder deinstalliert, und jetzt stürzt auch after effects nicht mehr ab.

bei dcpc werden aber nur 16 threads unterstützt.

 

habe jetzt von dcpomatic die 1.62.3 aber das läuft nicht durch und stürzt ab.

 

bei der letzten version der 1.60 sind die fps/s bei 24 threads genausoviel wie bei 32 oder mehr threads.

 

ich glaube auch das,wenn mehr cores in einem pc sind, sich das anders verhält als wenn man das über netzwerk macht.

 

habe auch mal 48/64threads getestet, leider sind da die fps weniger.

 

an den platten liegt es schonmal nicht, da ich 3 ssd´s habe.

 

die benchs kannst du bei dcpomatic anschauen.

 

 

 

mal schauen was bei den tests rauskommt, habe auch mitbekommen, das die cpuauslastung immer noch nicht permanent bei 100% liegt!

 

wie schauts jetzt mal mit deinem bench aus vom sintel Carsten?

[carstenk]

Ich habe überhaupt keine benchmarkingwürdige Maschine, habe bisher bei richtigen Jobs halt lange warten können, und ansonsten an verschiedenen Konfigurationen mit vielen Netzwerkclients gebastelt. Bevor ich was Richtiges kaufe interessiert mich halt der Performance/Kosten Sweetspot einer Einzelmaschine.

 

- Carsten

[FiVo PAT]

Hmm, nimm's mit Humor, aber das ist 'enttäuschend'. Wenn ich richtig rechne, komme ich da auf ca. 10-12fps im Schnitt. Von einer 16core/32threads Maschine hätte ich mir mehr erhofft. Theoretisch käme man damit also auf etwas über 20fps bei hypothetischer Vollauslastung.

 

- Carsten

 

Achso, dachte weil du geschrieben hast das du auf 10-12fps kommst, würde mich das mal interessieren.

 

Ich bau mir noch ein system zusammen, mit einem xeon oder mit nem 4930K/4960x das sind dann 6/12 core aber dafür mit höherem Takt, zwischen 4.3Ghz - 5Ghz mal sehen was da dann geht.

 

Wird aber noch etwas dauern, denke aber das diese konfig für welche die den rechner nur für das nehmen, und nicht für C4D oder andere sachen am sinnvollsten und preis/leistung technisch am besten sein wird.

 

 

PAT

[carstenk]

Achso, neh, das bezog sich nicht auf ne eigene Maschine.

 

- Carsten