[Chris]

Hallo an alle,

Mein PC hat zur Verfügung 24 threads 2 x 2TB NVMe und 64 GB RAM
Welche Einstellung und wieviel Plots könnte gleichzeitig durchgeführt werden.
Ich experimentiere und komme auf 12 pro Tag, dabei läuft der CPU auf ca. 100% der RAM nur ca. 50%.
Für eure Unterstützung wäre ich dankbar.

[Daniel]

Ohne weitere Angaben zum System schwierig, wenn der Prozessor immer auf 100% läuft dann ist das natürlich dein Problem.
In der ersten Phase werden mehrere Kerne benutzt in den anderen nur 1, daher brauchst du im optimalfall nicht nur multi core leistung sondern eben auch single core leistung.

[Chris]

So sieht mein System aus,
CPU : AMD Ryzen 9 3900X 12-Core
Win 10 Pro 64
ich habe leider noch nicht die richtige Einstellung gefunden.

[Dirk]

Mach mal diesen Versuch hier:

Starte 2 oder 3 Plots gleichzeitig mit 4GB pro Plot und 3 oder 4 Threads pro Plot.
Wenn die so zu ca. 35% fertig sind, schau mal ins jeweilige Log wieviel Sekunden die erste Phase gebraucht hat, und wenn er komplett fertig ist, wie lange der komplette Plot bei denen gedauert hat.

Phase 1 frisst Threads ohne Ende….aber mit diesem Versuch habe ich herausgefunden wie lange ich warten muss, bis ich einen neuen Plot starten kann…jetzt mache ich 29 parallel, mit einigen Minuten Versatz (ca. 150-180minuten solltest Du wohl einplanen).
Dadurch kann ich das auf 1TB SSD mit 64GB RAM und 10 Kernen fahren….pro Plot braucht er etwas mehr als 5 Stunden und durch den Versatz sind nie mehr als 3 Gleichzeitig auf der SSD am werkeln, und ich habe immer die maximale Anzahl an Threads für einen Plot zur Verfügung…

Aber wichtig, Du solltest wirklich erst die Dauer der einzelnen 4 Phasen und die des Kopierens anschauen und zur Not etwas mit den Zeiten rumspielen

[Chris]

Vielen dank schon mal, ich werde es gleich ausprobieren, 29 Plots die du Schafts sind Super.
Ist dein CPU auch voll ausgelastet 95% – 100% bei mir ja, dafür der Ram mit max. 50% ?

Das mit denn Zeiten ist verstehe ich noch nicht so ganz leider. hier ist ein Log zusammengefasst von mir, ich verstehe nicht warum alle Plots bei 31% Stoppen und in ca. 1,5 bis 2,5 Std wieder Starten.

Starting plotting progress into temporary dirs: F:\ and F:\
Plot size is: 32
Buffer size is: 6000MiB
Using 128 buckets
Using 4 threads of stripe size 65536

Starting phase 1/4: Forward Propagation into tmp files… Thu May 13 10:40:03 2021
Computing table 1

F1 complete, time: 191.65 seconds. CPU (153.66%) Thu May 13 10:43:15 2021
Computing table 2

Forward propagation table time: 1705.678 seconds. CPU (211.970%) Thu May 13 11:11:40 2021
Computing table 3

Forward propagation table time: 2380.838 seconds. CPU (181.540%) Thu May 13 11:51:21 2021
Computing table 4

Forward propagation table time: 2686.377 seconds. CPU (178.810%) Thu May 13 12:36:08 2021
Computing table 5

Forward propagation table time: 2647.061 seconds. CPU (179.090%) Thu May 13 13:20:15 2021
Computing table 6

Forward propagation table time: 2348.040 seconds. CPU (188.750%) Thu May 13 13:59:23 2021
Computing table 7

Forward propagation table time: 1910.967 seconds. CPU (195.110%) Thu May 13 14:31:14 2021
Time for phase 1 = 13870.654 seconds. CPU (186.990%) Thu May 13 14:31:14 2021

Starting phase 2/4: Backpropagation into tmp files… Thu May 13 14:31:14 2021
Backpropagating on table 7
scanned table 7
scanned time = 34.322 seconds. CPU (91.410%) Thu May 13 14:31:49 2021
sorting table 7
Backpropagating on table 6
scanned table 6
scanned time = 286.136 seconds. CPU (99.220%) Thu May 13 14:39:25 2021
sorting table 6
sort time = 817.929 seconds. CPU (99.890%) Thu May 13 14:53:03 2021
Backpropagating on table 5
scanned table 5
scanned time = 215.122 seconds. CPU (99.960%) Thu May 13 14:56:39 2021
sorting table 5
sort time = 758.775 seconds. CPU (99.910%) Thu May 13 15:09:17 2021
Backpropagating on table 4
scanned table 4
scanned time = 212.714 seconds. CPU (99.920%) Thu May 13 15:12:50 2021
sorting table 4
sort time = 738.069 seconds. CPU (99.920%) Thu May 13 15:25:08 2021
Backpropagating on table 3
scanned table 3
scanned time = 221.218 seconds. CPU (99.870%) Thu May 13 15:28:50 2021
sorting table 3
sort time = 737.507 seconds. CPU (99.930%) Thu May 13 15:41:07 2021
Backpropagating on table 2
scanned table 2
scanned time = 219.360 seconds. CPU (99.970%) Thu May 13 15:44:47 2021
sorting table 2

[Chris]

So jetzt bin ich etwas schlauer,

Plot 1

Phase 1 3,20 Std.
Phase 2 1,74 Std.
Phase 3 2,61 Std.
Phase 4 0,23 Std.

wenn ich das richtig verstanden habe ca. 200 Minuten Versatz Plotten in meinen fall oder?
Die frage ist wie Veiel Threads und Ram pro Plot ich habe 64GB RAM und 24 Threads zur Verfügung.

[Autor]

Beiträge