- Dieses Thema hat 21 Antworten und 4 Teilnehmer, und wurde zuletzt aktualisiert vor 3 Jahren, 6 Monaten von Oldmichl.
- AutorBeiträge
- 10. Mai 2021 um 08:23 Uhr #1359OldmichlTeilnehmer
Irgendwann sollte es dann so oder ähnlich aussehen:
https://drive.google.com/file/d/1cFT_cI1_NxhNorFENpejtCziGLRWGRlW/view?usp=sharing
und die 10 Minuten (bitte auch die Zeit bei 100% und dem rüberkopieren mit einberechnen) sind mMn um einiges zu kurz:
https://drive.google.com/file/d/1ISSnWiRDHf4cx4DWfkVrFWDP3zc8mNSE/view?usp=sharing
10. Mai 2021 um 14:19 Uhr #1410switchportTeilnehmerMahlzeit,
der Testplot ist jetzt durch. Der hat auf die Minute genau 5h30min gedauert, wobei auf Phase1 und Phase3 jeweils auch fast exakt 2h entfallen. Wenn man der Theorie folgt und seinem System immer nur einen Phase1-Job zumuten will, müsste man ein Delay von 2h definieren. Das macht die Sache aber in Summe sehr zeitaufwendig. Mir ist auch aufgefallen, dass man im Taskmanager die Plattenzugriffe wie bei einem Sägezahnsignal sieht, obwohl die CPU vollen Zugriff auf die M.2-SSD sowie den RAM hat. Da die M.2 mit 3000MB/s schreiben können sollte, wundert mich diese zyklische Schreibrate und ich frage mich, ob hier ggf. irgendwelche Zugriffsmodi auf BIOS-Ebene zu optimieren sind.Mir ist jetzt aber nicht klar, ob und wie lang man die Verzögerung setzt. Mach ich alles wie bisher parallel und plotte 6 Files zur gleichen Zeit, dann brauche ich 7h40min für alle 6. Schick wäre es, wenn man die jetzt erreichten 5h30min auf eine Menge Plots parallelisieren könnte. Geplottet habe ich den Test übrigens mit 10GB-RAM und 5-Threads, die 6 parallelen Plots liefen auf 4GB-RAM und 4-Threads.
Der Switchport
10. Mai 2021 um 15:00 Uhr #1411OldmichlTeilnehmerMhh…jetzt gehts mir so, dass ich nicht durchblicke, sorry. Entweder wir schreiben aneinander vorbei oder es passt nicht zum Threadkontext. Bin gerade ein wenig verwirrt 😉
Bei dem von mir praktiziertem System ist der Zeitaufwand fast Null. Einmalig beim erstellen 250 Min (ich bleib mal bei 50 Min Abstand, 6 Plots) und ab und an „nachfüllen“ wo man auf 10 Minuten schafft und da tippt man noch langsam und wartet auch ab, ob der Plot der Warteschlange hinzugefügt wurde. Phase 1 nur mit 1 Plot zu besetzen ist bei 6 Plots nicht möglich. 100% / 6 = 16,67% (ok die % dauern nicht alle gleich lang, aber so genau gehts auch gar nicht). Also es befinden sich wenn man eine neue Warteschlange bildet mindestens 2 Plots in Phase 1. Können durch die Endloswiederholungen aber auch 3 Plots drinnen sein, ist aber nicht schlimm. Wichtig ist die generelle Verteilung mMn.
Die SSDs schaffen doch nur „bis zu“ von den Herstellerangaben, die brauchen auch mal wieder Pause wenn der Cache voll ist, die sich in niedrigerer Schreibgeschwindigkeit bemerkbar macht, oder?10. Mai 2021 um 15:16 Uhr #1412OldmichlTeilnehmerIch muss mich selbst revidieren:
Mein damaliger Einzelplot brauchte nicht 4,5 Stunden sondern 5h 9 Min, wenn ich meine Sauklaue richtig lese. Sorry.
Die 6 Plots mit knapp über 6 Stunden sind allerdings richtig. Hab jetzt nochmal rumgefummelt, im Moment sieht es so aus, als könnte ich sogar auf oder knapp unter 6 Stunden kommen, mal sehen.10. Mai 2021 um 15:19 Uhr #1413Alex M.TeilnehmerGenau, wenn der Cache voll ist, sinkt die Schreibgeschwindigkeit (bei billigen SSDs auf ein paar Hundert MB/s).
- Diese Antwort wurde geändert vor 3 Jahren, 6 Monaten von Alex M..
10. Mai 2021 um 21:17 Uhr #1448switchportTeilnehmerNene…das passt schon. Ich bin immer noch bei den Plots und der Verzögerung. Ich habe heute nur mal einen Test gemacht um zu sehen, was man meiner Hardware zumuten kann, wenn man das mit eine Menge X an Queues zeitversetzt startet. Das System von dir habe ich jetzt verstanden. Mal schauen, was morgen früh passiert ist und wie das läuft. Schade ist, dass man diese Queue-Steuerung nicht per CLI hinbekommt.
Der Switchport
11. Mai 2021 um 07:10 Uhr #1470OldmichlGastWie gesagt es gibt Scripts und Manager, die ich aber nicht nutze. Hier ist mir eine potentielle Fehlerquelle (evtl. auch wegen eigener Unfähigkeit) es nicht wert gegenüber das lächerliche Maß an „Arbeit“. Vielleicht befasse ich mich in Zukunft noch mit Scripts, ist ja auch für andere Anwendungen interessant, mal sehen.
- AutorBeiträge
- Du musst angemeldet sein, um auf dieses Thema antworten zu können.