• Dieses Thema hat 21 Antworten und 4 Teilnehmer, und wurde zuletzt aktualisiert vor 3 Jahren von Oldmichl.
Ansicht von 7 Beiträgen - 16 bis 22 (von insgesamt 22)
  • Autor
    Beiträge
  • #1359
    Oldmichl
    Teilnehmer

    Irgendwann sollte es dann so oder ähnlich aussehen:

    https://drive.google.com/file/d/1cFT_cI1_NxhNorFENpejtCziGLRWGRlW/view?usp=sharing

    und die 10 Minuten (bitte auch die Zeit bei 100% und dem rüberkopieren mit einberechnen) sind mMn um einiges zu kurz:

    https://drive.google.com/file/d/1ISSnWiRDHf4cx4DWfkVrFWDP3zc8mNSE/view?usp=sharing

    #1410
    switchport
    Teilnehmer

    Mahlzeit,
    der Testplot ist jetzt durch. Der hat auf die Minute genau 5h30min gedauert, wobei auf Phase1 und Phase3 jeweils auch fast exakt 2h entfallen. Wenn man der Theorie folgt und seinem System immer nur einen Phase1-Job zumuten will, müsste man ein Delay von 2h definieren. Das macht die Sache aber in Summe sehr zeitaufwendig. Mir ist auch aufgefallen, dass man im Taskmanager die Plattenzugriffe wie bei einem Sägezahnsignal sieht, obwohl die CPU vollen Zugriff auf die M.2-SSD sowie den RAM hat. Da die M.2 mit 3000MB/s schreiben können sollte, wundert mich diese zyklische Schreibrate und ich frage mich, ob hier ggf. irgendwelche Zugriffsmodi auf BIOS-Ebene zu optimieren sind.

    Mir ist jetzt aber nicht klar, ob und wie lang man die Verzögerung setzt. Mach ich alles wie bisher parallel und plotte 6 Files zur gleichen Zeit, dann brauche ich 7h40min für alle 6. Schick wäre es, wenn man die jetzt erreichten 5h30min auf eine Menge Plots parallelisieren könnte. Geplottet habe ich den Test übrigens mit 10GB-RAM und 5-Threads, die 6 parallelen Plots liefen auf 4GB-RAM und 4-Threads.

    Der Switchport

    #1411
    Oldmichl
    Teilnehmer

    Mhh…jetzt gehts mir so, dass ich nicht durchblicke, sorry. Entweder wir schreiben aneinander vorbei oder es passt nicht zum Threadkontext. Bin gerade ein wenig verwirrt 😉

    Bei dem von mir praktiziertem System ist der Zeitaufwand fast Null. Einmalig beim erstellen 250 Min (ich bleib mal bei 50 Min Abstand, 6 Plots) und ab und an „nachfüllen“ wo man auf 10 Minuten schafft und da tippt man noch langsam und wartet auch ab, ob der Plot der Warteschlange hinzugefügt wurde. Phase 1 nur mit 1 Plot zu besetzen ist bei 6 Plots nicht möglich. 100% / 6 = 16,67% (ok die % dauern nicht alle gleich lang, aber so genau gehts auch gar nicht). Also es befinden sich wenn man eine neue Warteschlange bildet mindestens 2 Plots in Phase 1. Können durch die Endloswiederholungen aber auch 3 Plots drinnen sein, ist aber nicht schlimm. Wichtig ist die generelle Verteilung mMn.
    Die SSDs schaffen doch nur „bis zu“ von den Herstellerangaben, die brauchen auch mal wieder Pause wenn der Cache voll ist, die sich in niedrigerer Schreibgeschwindigkeit bemerkbar macht, oder?

    #1412
    Oldmichl
    Teilnehmer

    Ich muss mich selbst revidieren:
    Mein damaliger Einzelplot brauchte nicht 4,5 Stunden sondern 5h 9 Min, wenn ich meine Sauklaue richtig lese. Sorry.
    Die 6 Plots mit knapp über 6 Stunden sind allerdings richtig. Hab jetzt nochmal rumgefummelt, im Moment sieht es so aus, als könnte ich sogar auf oder knapp unter 6 Stunden kommen, mal sehen.

    #1413
    Alex M.
    Teilnehmer

    Genau, wenn der Cache voll ist, sinkt die Schreibgeschwindigkeit (bei billigen SSDs auf ein paar Hundert MB/s).

    • Diese Antwort wurde geändert vor 3 Jahren von Alex M..
    #1448
    switchport
    Teilnehmer

    Nene…das passt schon. Ich bin immer noch bei den Plots und der Verzögerung. Ich habe heute nur mal einen Test gemacht um zu sehen, was man meiner Hardware zumuten kann, wenn man das mit eine Menge X an Queues zeitversetzt startet. Das System von dir habe ich jetzt verstanden. Mal schauen, was morgen früh passiert ist und wie das läuft. Schade ist, dass man diese Queue-Steuerung nicht per CLI hinbekommt.

    Der Switchport

    #1470
    Oldmichl
    Gast

    Wie gesagt es gibt Scripts und Manager, die ich aber nicht nutze. Hier ist mir eine potentielle Fehlerquelle (evtl. auch wegen eigener Unfähigkeit) es nicht wert gegenüber das lächerliche Maß an „Arbeit“. Vielleicht befasse ich mich in Zukunft noch mit Scripts, ist ja auch für andere Anwendungen interessant, mal sehen.

Ansicht von 7 Beiträgen - 16 bis 22 (von insgesamt 22)
  • Du musst angemeldet sein, um auf dieses Thema antworten zu können.