- Dieses Thema hat 21 Antworten und 4 Teilnehmer, und wurde zuletzt aktualisiert vor 3 Jahren, 2 Monaten von
.
- Beiträge
Hallo in die Runde,
beim Plotten kann man ja eine Verzögerung angeben, wie lange Pause gemacht werden soll, bis der nächste Plot beginnt. Das hilft mir nicht wirklich weiter, denn ich will gerne parallel plotten, jedoch sollen die Plots im Abstand von 10min starten. Da hilft mir der Wert in Verzögerung nicht weiter. Geht das irgendwie doch zu definieren?Der Switchport
Jo, da hab ich auch lange gebraucht das zu kapieren. Liest sich teils in den Foren anders als es ist. Beim Parallel-Plotting KEINESFALLS parallel plotten anklicken, sondern eine Warteschlange erstellen. Wichtig, eine Bezeichnung rein. Mein Setup läuft nun so: Plot erstellt, Bezeichnung 1, das ganze 3x wiederholt. Nach 50 Minuten (das ist der Abstand, den ich wünsche) neuen Plot erstellt, Bezeichnung 2, 3x wiederholt usw. bis deine maximalen parallelen Plots erreicht sind. Wichtig, immer wieder die richtige Bezeichnung bei der Wiederholung eingeben. Somit hab z.b. ich 6 zeitlich versetzte, parallele Ports am laufen und durch die Wiederholungen (ich sag mal Zyklen) 24 Stunden abgedeckt. Kann natürlich auch vor den Ablauf der Zeit neue in die Warteschlange (unter der entsprechenden Bezeichnung) hinzusetzen.
Hab halt beim 1. Erstellen alle 50 Minuten eine neue Warteschlange erstellen müssen, dafür kann ich jetzt entspannt pennen oder zur Arbeit fahren.
P.S.
Ich kenne dein System zwar nicht, aber überdenke bitte die 10 Minuten, die kommen mir sehr unrealistisch vor.Da stehe ich nun irgendwie auf dem Schlauch wie Du es machst, oder erklärt hast sorry.
Wenn du sagen wir mal 6 Plots zeitgleich machen möchtest und z.B. weißt einer braucht 7 Stunden, wieso startest Du dann nicht 6 einzelne Plotvorgänge mit sagen wir mal einem Zeitversatz von 50 Minuten und stellst diese auf z.B. 30 Plots ein. Würde es dann nicht nur beim ersten mal immer 50 Minuten Wartezeit kosten und im Anschluss würdest Du Tage Ruhe haben?
Also nur als Beispiel:
Montag 0:00Uhr Start von Plot 1 parallel und Wiederholung 20x HDD1
Montag 0:00Uhr Start von Plot 2 parallel und Wiederholung 20x HDD2
Montag 0:50Uhr Start von Plot 3 parallel und Wiederholung 20x HDD1
Montag 0:50Uhr Start von Plot 4 parallel und Wiederholung 20x HDD2
Montag 1:40Uhr Start von Plot 5 parallel und Wiederholung 20x HDD1
Montag 1:40Uhr Start von Plot 6 parallel und Wiederholung 20x HDD2Habe ich da nun einen Denkfehler oder wäre das nicht das Gleiche wie Du es nun hast, nur dass Du bei 7 Stunden pro Plot somit 20*7 also 140 Stunden Ruhe hättest?
Nun musst Du doch alle 7 Stunden oder so wieder neue einstellen oder bin ich gerade falsch gewickelt?
Wie gesagt, ich hab das auch erst vorgestern nacht geschnallt, dass ich überhaupt mehrere so laufen lassen kann. Und ich glaub gerne, dass meine Erklärung etwas schwierig ist, sorry mir fällt im Moment nicht ein, wie ich es anders sagen soll. Aber ich probiers gleich noch mal. Vielleicht ist deine Methode auch besser, obwohl ich mich ebenfalls gerade ein wenig schwer zu sie zu kapieren XD.
Irgendwie hab ich bei deinem Beispiel ja immer 2 Plots gleichzeitig am starten, das will ich ja nicht, sie sollen ja den zeitlichen Abstand halten.
Nö, ich muss nicht alle 6 Stunden neue einstellen, denn ich hab ja noch 3 in der Warteschleife. Ich könnt aber auch 654873215 hinzufügen, wenns der Client verträgt. Ich hab halt mal 1 am Start und 3 zur Wiederholung weil das bei mir á 6 Stunden genau 1 Tag ist. Klaro musste ich die 5×50 Minuten warten, aber so lange der Client läuft brauch ich das nicht mehr. Ich kann (bei diesem Beispiel) jederzeit neue Plots der Warteschlange hinzufügen. (Was ja je Plot wieder 6 Stunden Freiheit bedeutet).
Vielleicht ist es ein wenig übersichtlicher wenn später mal meine 2. Antwort mit den Bildern dazu freigegeben werden.Äh…ich sag mal wie ich es gestern gemacht habe:
Samstag, 15:50 Plot erstellt, Bezeichnung 1, der auch gleich zu plotten begann. 3 weitere erstellt mit der Bezeichnung 1, die nun in die Warteschlange liefen
Samstg, 16:40 Plot erstellt, Bezeichnung 2, der ebenfalls dann gleich zu plotten begann. 3 weitere erstellt mit der Bezeichnung 2…blablabla
.
.
.
Samstag, 20:00 Plot erstellt, Bezeichnung 6, der dann ebenso….lalaHeute morgen, bevor ich zur Arbeit fuhr, war ich mir aber nicht sicher, ob der PC nicht doch ein wenig schneller sei, also hab ich noch auf die schnelle bei 1 einen Plot hinzugefügt, der in die Warteschlange lief. Vorsichtshalber bei Plot 2 auch. Als ich nun von der Arbeit wieder nach Hause kam, hab ich dann wieder bei jeder Bezeichnung 4 (ok, bei 1 und 2 reichten 3 Wiederholungen, so flott ist er leider auch nicht) Wiederholungen in die Warteschlange gestellt und hab nun wieder 1 Tag Ruhe. Kommen halt pro Warteschlangenslot ca. 6 Stunden hinzu. 10 Minuten tippen und der Tag ist voll. Jederzeit, egal wann, Hauptsache es ist noch keiner abgelaufen, dass würde ja Zeitverlust bedeuten. Und 4 sind halt 24 Stunden, könnte aber auch 10 reinstellen und somit 60 Stunden voll machen (falls der Client das packt, einen hat er mir schon „unterschlagen“, also beim erstellen immer warten, bis er den zuletzt hinzugefügten anzeigt).
Einziges Problem (dass man aber sowieso immer hat) Clientabsturz, Stromausfall, PC-Crash ect…Nebenbei umgeht man so nicht nur die Spitzen bei der CPU/RAM Auslastung, sondern verringert auch die SSD Auslastung…naja minimal und hat nicht das Problem wenn alle Plots gleichzeitig fertig werden, alle auf meine Externe schreiben wollen. Wenn man natürlich die mehrere dran hängen hat, kann man sie auf verschiedene kopieren, aber auch dies belastet den RAM stark. Sieht man dann auf dem Link zu dem Blatt mit den Auslastungskurven deutlicher, der Post muss aber erst vom Moderator freigeschaltet werden…
Ah, ich glaub ich habs was du meintest. Aber tust du dich dann nicht hart INNERHALB der 140 Stunden neue Plots hinzuzufügen? So bist du ja schon fast gezwungen zu warten bis der erste die 140 Stunden beendet hat und GENAU DANN einen neuen erstellen, wenn du keinen Zeitverlust haben möchtest, oder?
Kann aber auch sein, dass ichs immer noch nicht ganz peile 😉
…also das muß ich mal sacken lassen oder warten, bis der sonntägliche Rotwein wieder aus der Blutbahn raus ist. Allein der Umstand, beim parallelen Plotten das „Parallel Plotten“ NICHT zu aktivieren, wirkt für mich wie Voodoo.
Die 10min Delay rühren daher, dass ich am Ende den Kopiervorgang des fertigen Plots nicht künstlich einbremsen will. Ich plotte 6 Plots parallel. 3 Plots nutzen den Zwischenspeicher D: und 3 Plots den Zwischenspeicher E:. Das finale Verzeichnis zum Farmen ist dann für Alle das Laufwerk F:.
Da ich alle 6 Plots quasi innerhalb 60sec starte und sie somit auch alle etwas zur gleichen Zeit enden, drücken sich diese 6 Dateien gemeinsam via SATA auf die F-Platte. Der Kopiervorgang eines Plots dauert dabei ~8min und lastet die Schreibrate der Spindel zu 100% aus. Ich wollte jetzt 10min Delay, damit am Ende eben mind. 10min Abstand zwischen diesen Kopierjobs Pause ist und ich den SATA-Port nicht in die Sättigung treibe.
Was Du da konfiguriert hast, klingt natürlich extrem spannend. Wenn ich es richtig verstanden habe, ist das quasi ein endloser Rotationsjob. Das hat natürlich den Charme, dass man nicht – wie ich – jede Runde 6fach-Plotten per Hand anstoßen muß. Vielleicht kannst Du mal einen Screenshot machen – oder zwei – damit mir das klarer wird. Ich raff’s nämlich echt noch nicht.
Der Switchport
Und nochmal ich, weil mir nochmal was eingefallen ist:
Ihr braucht aber nicht glauben, dass Phase 1 (0 – 30%) nicht trotzdem ärgerlich,
Phase 2 (31 & 32%) voll zum kotzen,
Phase 3 (33 – 99%) relativ angenehm
und Phase 4 (100%) extrem nervig sind. Phase 4 war eigentlich nur geil als ich jeweils 2 kurzzeitig wegen Platzmangel auf die System-SSD und auf meinen Stick der recht flott ist verschoben habe. Aber 4 Plots kann man ja kaum als Massenspeicher bezeichnen 🙂 🙂 🙂
Trotzdem ist es schneller als zeitgleich und wesentlich schneller als nur 1 Plot jeweils (eh klar). Bei zeitgleich staut sich in Phase 4 sowieso alles und auch Phase 1 und 2 dauern gefühlt länger. Bissl blöd ist, dass die Plots nicht alle gleich schnell sind, so kann es durchaus sein, dass ich nach einiger Zeit Anpassungen vornehmen muss.
Als ich 6 Plots gleichzeitig anwarf brauchten die ca. 7 Stunden, oder sogar noch n bissl länger. Durch diese Art sinds halt ein wenig über 6 Stunden (bin so bei 20,5 – 20,8 Plots von gestern auf heute). Leider sind die anderen Externen nur halb so schnell im schreiben, darum werde ich diese (fast) gleichmäßig beschreiben. Plot 1 und 4 werden auf die 1. HDD geschrieben und die restlichen 4 eben auf die restlichen 4 HDDs verteilt. Somit hat HDD 1 locker genug Zeit um sich nicht „selbst in die Quere“ zu kommen.
Und da sind wir wieder was, was mich am Client stört: warum kann ich meine 4608 MB RAM nicht fix einstellen und muss die immer neu eintippen? Warum kann ich D: – also meine Plotting-SSD nicht für immer im Verzeichnis angezeigt lassen? Warum muss ich das Zielverzeichnis immer neu eingeben und kann es nicht den Plotbezeichnungen zuweisen?
Ok, ist jetzt nicht so, dass man sich ein Bein ausreißt, aber nervt schon irgendwie…
So, ich glaub das wars vorerst, gn8
P.S. Ich hasse 31% 😉Doch nicht gn8, weil du gepostet hast, während ich geschrieben habe.
Screenie wird wie gesagt vom Mod freigeschaltet (oder auch nicht)Über das Parallel plotten, wo ich bei meiner Methode dann NICHT anklicke bin ich ja auch fast eine Woche gestolpert. Wie gesagt, evtl. sind andere Methoden besser, aber ich empfinde diese schon als sehr angenehm (und effektiv).
Genau, das 6-fach von Hand anstoßen hat mich auch so angekotzt, ich wollte ja wieder in Ruhe pennen und arbeiten – abgesehen davon, dass ich teils über 12h aus dem Haus bin, was eine immense Leerlaufzeit wäre.Bei deiner jetzigen – oder 10 Minütigen Methode ballerst du halt in Phase 1 voll auf die CPU ein und auch noch gut in Phase 2. Auch den Ram belastest du in Phase 1 sehr stark. Ich denke halt dies alles verzögert den Plottingvorgang, evlt. zieht sich das dann sogar in Phase 3 rein. Um wieviel müssen dir aber die Profis hier sagen, dass kann ich nicht beurteilen. Bei mir wars halt ca. eine Stunde länger, aber da hatte ich auch keine 10 Min Abstand. Trotzdem halte ich den für zu kurz. Das einmalige Warten um nen Plot erst später zu starten reißt es mMn nicht raus, wenn dafür das Plotting allgemein schneller geht (ok, bei einem Zyklus vielleicht nicht, aber wenn der ein paar Tage durchläuft…)
Ja, könnte man so sagen, dass es ein endloser Rotationsjob ist. Man muss halt – egal wann, Hauptsache vor Ablauf des Plots bzw. der ganzen Plotbezeichnung – immer mal „nachfüllen“ was aber extrem entspannt ist.
Beim Parallel-Plotten fängt ein Plot an und die anderen ziehen nach der von dir eingestellten Zeit nach. Dies ist aber eigentlich unerwünscht. Sie sollen ja anfangen wenn dieser Plot fertig ist bzw. diese Plotbezeichnung (quasi diese „Plotwarteschlange“). Warum? Weil ich ja sonst nach Parallel-Plotting genau dann wieder neue Plots starten muss, wenn die ablaufen…und da kann ich grad im Bett liegen oder arbeiten. Ist zwar besser als händisch alle paar Stunden rum zu fummeln, aber trotzdem nicht ideal.
Langsam raucht mir aber auch der Kopf und ich gleich jetzt wirklich mein Schlafdefizit aus, was sich angesammelt hat.
GN8Morgäähhnn,
also um kurz und bündig den Unterschied zwischen parallel plotting anklicken und nicht zu erklären:
Angeklickt:
1. Man hat bei JEDEM seiner Plots pro Queue eine Zeitverzögerung – nämlich die wo man eingegeben hat. Das ist aber unerwünscht, der nächste Plot soll anfangen, wenn der aktuelle fertig ist. Gibt man keine Zeitverzögerung ein starten alle gleichzeitig, genauso be…scheiden.2. Wenn der Queue fertig ist muss man am PC sitzen um einen neuen zu erstellen. Erstellt man früher, überlastet man das System, erstellt man später hat man wieder einen Zeitverlust.
Nicht angeklickt:
Zu 1. Ich habe EINMAL eine Zeitverzögerung, (die Zeit nehme ich mir aber gerne) nämlich in meinem Beispiel 250 Min (6 Queues, 50 Min Verzögert). Das wars dann auch schon, der neue Plot startet wenn der alte fertig ist innerhalb dieses Queues, wovon ich ja 6 am laufen habe. Also einmalig nen Wecker hinstellen und alle 50 Min einen neuen Queue starten. Nachfüllen ist jederzeit vor Ablauf des letzten Plots innerhalb dieser Warteschlange möglich (eigentlich auch später, aber dann: Zeitverlust). Unendlich, so lange es keine Crashs gibt. ACHTUNG: die 50 Minuten sind eine Variable. Manche nehmen mehr, manche weniger. Ich denke durch mein System bin ich ziemlich nah am Optimum dran. Meistens wird aber so zwischen 60 und 90 Minuten geraten, manche sind natürlich auch schneller. Wenn ich zu lange einstelle dann kann es aber passieren, dass Queue 1 und 6 wieder ungefähr gleichzeitigen Plottfortschritt haben.Zu 2. Mir total egal, wann ich „nachfülle“. Hab ich für 24 Stunden aufgereiht, muss ich halt innerhalb der 24 Stunden (ab den allerersten Plot) nachsetzen. Mach ich mehr, hätt ich mehr Zeit, mach ich weniger…naja dann müsst ich halt schneller wieder ran. Im Vollsuff möchte ich jetzt auch nicht unbedingt neue Plots hinzufügen, es ist zwar eigentlich simpel, wenn man erstmal „umgedacht“ hat, aber kann ein wenig unübersichtlich sein. Das umdenken kommt davon, dass ich praktisch erstmal eine Warteschlange erstelle und dann ganz simpel nach 50 Minuten eine weitere erstelle. Damit dies klappt müssen diese benannt sein und nicht alle „deffault“ heißen. Ob die verschiedenen Queues „1“, „HarryPlotter“, „machhinne“ oder „1do4nything4Plot“ heißen ist total egal. Allerdings würde ich mich bei der Benennung kurz halten, da man diese des öfteren beim „nachfüllen“ schreibt. Im Prinzip ist es echt nicht schwierig, man muss sich nur erst bewußt werden, dass im Client Parallel-Plotting nur dazu da ist, wenn ich schnell 10 Plots raushauen will, aber kein Dauerplotter bin. Und man muss ein wenig die Sache von der anderen Seite her betrachten bzw. ein wenig umdenken. Ich tat mich z. B. gestern gedanklich schwer mir die andere Methode geistig vor Augen zu führen. Ist Anfangs ein bissl so, als ob man das Bild betrachtet, dass einmal die wunderschöne Frau und einmal die alte Hexe zeigt, je nachdem wie man es sich ansieht. Und manchmal tut man sich auch hier bei längerer Betrachtung schwer wenn man wieder umswitchen will…
Vielleicht hab ichs jetzt ein bissl besser erklärt…Moin,
ich glaube fest daran, dass „drüber schlafen“ hilft. Wo ich jedoch trotzdem noch Verständnisprobleme habe, sind diese 50min, die Du ansetzt. Diese 50min sind die Zeitspanne, die bei Dir Phase 1 dauert, richtig? Der Zeitversatz soll gewährleisten, dass man die Schreibrate für den Plottspeicher optimal nutzt und sich nicht mehrere Plotvorgänge gleichzeitig um die Schreib-Bandbreite „streiten“ müssen.Kann man das so sagen?
Der Switchport
Jaein. Zum einen hast du natürlich völlig Recht, ich will nicht, dass gleichzeitig geschrieben wird. Zum anderen will ich aber auch nicht, dass 6 Plots gleichzeitig in Phase 1 (und auch in Phase 2 noch) auf die CPU eindreschen. Ähh…mir fällt gerade nicht ein wie ich auf die 50 Min gekommen bin. Wie gesagt die meisten nehmen etwas mehr, vielleicht wären 60 Min auch besser, aber meine SSD schreibt ja (laut Herstellerangaben, die bezweifelt werden dürfen) mit bis zu 6400 MB/S. Und es soll ja durchgehend gleichmäßig „verteilt“ werden. 100% : 6 wären also ein Abstand von 16,66% (den ich aktuell aber auch nicht habe).
Mein Plotstand ist aktuell in %: 94, 65, 31, 31, 20 und 13. Meine gehassten 31% gleichzeitig hatte ich gestern nicht, aber er plottet ja leider nicht jeden Plot gleich schnell. Somit verschiebt sich das mit der Zeit auch. Ich müsste praktisch mit den 50 Minuten noch herumspielen und austangieren, was aber dann wahrscheinlich mehr Zeit in Anspruch nimmt, als wenn ich das System laufen lasse. Irgendwann muss ich eh mal ein Update machen ect. dann fängt das Spiel von vorne an. So Plot 3 hat sich bequemt auf 32% zu springen, während Plot 4 noch 31% hat. Und die 2 Prozentzahlen brauchen ja ewig und 3 Tage, also ist hier auch ein (wenn auch bissl zu kleiner) Abstand vorhanden. Bissl dumm ist, dass die Prozente unterschiedlich lang dauern, was manchmal die Berechnungen erschwert.Man könnte natürlich auch Scripts oder die gerade erschienen Plotmanager benutzen, was ich aber nicht machen werde. Mit Scripts kenn ich mich überhaupt nicht aus und nen Manager um mir noch ne potentielle Fehlerquelle zu holen…nee nicht wirklich. Noch dazu in diesem jungen Entwicklungsstadium. 10 Min Arbeit am Tag kann ich verkraften…
P.S. Plot 3 38%, Plot 4 immer noch 31%, kann also mit meiner Wahl von 50 Min einigermaßen zufrieden sein.
Moin,
meine 6 „parallelen“ Plots waren jetzt nach 7h42min fertig, wobei meine Plotdrives leider nur SATA-SSD’s sind. Ich habe bisher noch nie einen einzigen Plot erzeugt, um den dann mal messtechnisch als Referenz herzunehmen. Das tut er jetzt gerade und mal schauen, wie lange der Vorgang braucht, wenn sich kein zweiter Plott um die Ressourcen streitet. Um ein Update auf schnelle M.2-NVMe’s werde ich aber wohl nicht herumkommen, wenn es signifikant schneller gehen soll. Gibt es da hier Vergleiche, was das gegenüber SATA in der Praxis (nicht auf dem Typenblatt) ausmacht?Der Switchport
Ich hab anfangs mal einen einzigen laufen lassen, der brauchte ca. 4,5 Std. Die 6 zeitlich versetzt knapp über 6 Stunden und wenn die zeitgleich wären über 7 – 7,5 Std fällig, evtl. sogar mehr. Zumindest hast du den Vorteil dass sie auf 2 SSDs aufgeteilt sind. Ich muss aber trotzdem nachjustieren, wenn auch nicht vom System her, sondern von der Threadanzahl. Ich hab immer 2 genommen und damit liegt die Hälfte meiner CPU brach. Ich glaube ich war da ein wenig zu übervorsichtig. Und Phase 1 dauert ja gerne mal 3+ Stunden, mit mehr Threads kriegt man diese gehasste Phase vielleicht noch ein wenig runter. Naja, bin halt noch in der Lernphase…
- Du musst angemeldet sein, um auf dieses Thema antworten zu können.