Willkommen Gast.
Um die volle Funktionalität des Forums nutzen zu können,
müssen Sie sich einloggen oder registrieren.
Haben Sie Ihre Aktivierungs E-Mail übersehen?

 
Erweiterte Suche

31.108 Beiträge in 6.473 Themen- von 6.478 Mitglieder - Neuestes Mitglied: Frideborg

21-10-2019 14:35:12
JOOM::GALLERY::FORUMJoomGallery 2.x ACLMigrationMigration großer Galerie dauert extrem lange
Seiten: [1] 2
Drucken
Autor Thema: Migration großer Galerie dauert extrem lange  (Gelesen 8376 mal)
0 Mitglieder und 1 Gast betrachten dieses Thema.
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« am: 20-04-2014 11:34:45 »

Hallo ihr lieben und frohe Ostern, sm_smile

ich bin gerade dabei meine Jommla von der 1.5.26 auf die 2.5.19 zu aktualisieren

Alte Galerie = V1.5.7.5
Neue Galerie = V2.1.5 stable build 20140208
Migrationsscript = file_migrationmvc2acl_v1_0_beta2

Die alte Galerie beinhaltet 1442 Kategorien mit 96.535 Bildern.

Jetzt läuft die Migration bereits schon seit 37 Stunden und es sind erst ca. 46.000 Bilder migriert.

Im Log File sehe ich, dass anfänglich über 60 Bilder pro Step migriert wurden und sich die Anzahl auf 2-4 Bilder pro Step von 60 Sec. minimiert hat.
Es kann also noch mehrere Tage dauern bis die Migration fertig ist (falls mein Server das bis zum Ende mit macht oder mein Browser so lange offen bleibt)

In einem anderen Thread zum Internal Server Error habe ich gelesen das jemand die Bereiche im Script auskommentiert hat in dem die Bilder Kopiert werden und nur noch die DB Änderungen durchgeführt wurden. anschließend hat er die Bilder von Hand verschoben.

Jetzt meine Frage, währe das eine alternative für mich so vorzugehen,
Sind die Verzeichnispfade zu den Bildern gleich geblieben so das die Bilder der alten Galerie entspr. verschoben werden können?

LG aus Hamburg
Kai

Gespeichert
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #1 am: 20-04-2014 15:58:45 »

Ich noch mal, sm_smile

Sie Migration wird immer langsamer und der Server schneckt auch immer mehr vor sich hin.
Ich denke in den nächsten Stunden ist das ganze so langsam, dass er pro Step nicht mal mehr ein Bild migrieren wird. :-(
 
Die Pfade der Galerie scheinen gleich geblieben zu sein, die kann ich ja via Konsole verschieben, kann mir von euch jemand sagen, welchen Bereich vom Script ich auskommentieren muss, damit der Schritt des Kopiervorganges übersprungen wird und nur die Datenbanktabellen aktualisiert werden?

LG Kai
Gespeichert
MrMusic
Global Moderator
Hero Member
*****
Offline Offline

Beiträge: 1.515



« Antworten #2 am: 23-04-2014 13:44:35 »

Hi,

ist die Migration durchgelaufen?
Es empfiehlt sich, solche größeren Aktionen mit Hilfe von xamp lokal auf dem heimischen Rechner zu machen. Dort kann einen niemand ausbremsen  Grin
Gespeichert

Ab sofort gibt es den Support für die JoomGallery hier: forum.joomgalleryfriends.net
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #3 am: 24-04-2014 18:01:04 »

Moinsen,
leider nicht :-(

Am fünften Tag war Kabel Deutschland hier weil die Messerte nicht okay waren und die haben hier eine neue Multimedia Dose eingebaut.
Dabei haben sie die Verbindung gekappt. < Tolle Wurst sm_wink

Dann habe ich die Backups wieder eingespielt und das ganze neu gestartet. Leider ist das Script dann gestern früh um 4:22h abgebrochen und ich fange wieder von vorne an....

Xamp... Klar, hab ich vorher schon versucht... leider sind die Verzeichnis Pfade zu lang für Windows und ich bekomme nicht mal das Backup entpackt *kotz*

Derzeit spiele ich das Backup wieder neu ein und starte einen neuen Versuch.

Da die Pfade der alten und der neuen Galerie übereinstimmen, währe es ne geile Sache die Möglichkeit zu haben die ganze Kopierarie zu übergehen und nur die DB - Änderungen durchlaufen zu lassen...

Ich bin weiterhin für jeden Tipp Dankbar sm_smile

LG
Kai
 
« Letzte Änderung: 24-04-2014 18:06:49 von posty_hh » Gespeichert
MrMusic
Global Moderator
Hero Member
*****
Offline Offline

Beiträge: 1.515



« Antworten #4 am: 25-04-2014 15:21:22 »

Ich habe es nicht getestet, aber was passiert denn wenn du die ganzen Bilder (nur die .jpg) aus den Ordnern löscht?
Vielleicht werden die Datenbankeinträge trotzdem angelegt und du könntest nachher die Bilder wieder per ftp rüberkopieren?
 
Gespeichert

Ab sofort gibt es den Support für die JoomGallery hier: forum.joomgalleryfriends.net
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #5 am: 25-04-2014 19:06:25 »

Das kann ich gerne noch mal probieren,
hab das Script jetzt schon 2 Tage neu gestartet, seit Kabel Deutschland hier war, läuft das Script auch nicht mer über mehrere Tage durch und stoppt wenn ich morgens ne Zwangstrennung mit neuer IP bekomme.
Die Zeit vom Abbruch stimmt mit dem neuen Einwählen des Routers überein.  Angry

Was ich schon probiert hatte, war, dass ich die ganzen Bilder im Vorwege schon in die Verzeichnisse Kopiert hatte, so hab ich in einem Tag schon mal ca. 33.000 Bilder geschafft.

Werd das mal probieren und n Feedback hier abgeben.

Weiß jemand wie das Migrationsscript das Kopieren erledigt? Läuft der Kopiervorgang über den Server oder werden die Bilder erst runtergeladen und neu hochgeschuppst?
Meine Idee währe sonst das Script im Büro zu starten und meinen Rechner nicht runter zu fahren (feste IP) das würde ich aber nur machen wenn ich den Traffic nicht überreize... sm_wink

Greetz & Beatz sowie ein Happy Weekend
Kai 
 
Gespeichert
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #6 am: 11-05-2014 02:54:40 »

Hey Leute,

ich könnte bald durchtickern....

hab es mit allen Möglichkeiten noch nicht hin bekommen...

ich weiß nicht wie oft ich jetzt die Backups zurück gespielt und neu angefangen habe....

Jetzt läuft das Script wieder seit 3 Tagen und hat gerade mal 54.000 Bilder migriert (30.000 am ersten Tag und es wird immer langsamer) aktuell 2-3 Bilder pro Step...

Ich hatte mal eine Page mit über 60.000 Besuchern im Tagesdurchschnitt und spitzen von über 175.000. Jetzt bin ich seit über 7 Monaten offline....



Gespeichert
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #7 am: 11-05-2014 03:23:21 »

2014-05-08T22:33:00+00:00   INFO   Image successfully migrated: 58 Title: Veritas Beach Club 22-06-2006_26
2014-05-08T22:33:00+00:00   INFO   Image successfully migrated: 59 Title: Veritas Beach Club 22-06-2006_27
2014-05-08T22:33:01+00:00   INFO   Image successfully migrated: 60 Title: Veritas Beach Club 22-06-2006_28
2014-05-08T22:33:01+00:00   INFO   Image successfully migrated: 61 Title: Veritas Beach Club 22-06-2006_29
2014-05-08T22:33:01+00:00   INFO   Image successfully migrated: 62 Title: Veritas Beach Club 22-06-2006_30
2014-05-08T22:33:01+00:00   INFO   Image successfully migrated: 63 Title: Veritas Beach Club 22-06-2006_31
2014-05-08T22:33:02+00:00   INFO   Image successfully migrated: 64 Title: Veritas Beach Club 22-06-2006_32
2014-05-08T22:33:02+00:00   INFO   Image successfully migrated: 65 Title: Veritas Beach Club 22-06-2006_33
2014-05-08T22:33:03+00:00   INFO   Image successfully migrated: 66 Title: Veritas Beach Club 22-06-2006_34
2014-05-08T22:33:03+00:00   INFO   Image successfully migrated: 67 Title: Veritas Beach Club 22-06-2006_35
2014-05-08T22:33:04+00:00   INFO   Image successfully migrated: 68 Title: Veritas Beach Club 22-06-2006_36
2014-05-08T22:33:04+00:00   INFO   Image successfully migrated: 69 Title: Veritas Beach Club 22-06-2006_37
2014-05-08T22:33:04+00:00   INFO   Image successfully migrated: 70 Title: Veritas Beach Club 22-06-2006_38
2014-05-08T22:33:05+00:00   INFO   Image successfully migrated: 71 Title: Veritas Beach Club 22-06-2006_39
2014-05-08T22:33:05+00:00   INFO   Image successfully migrated: 72 Title: Veritas Beach Club 22-06-2006_40
2014-05-08T22:33:05+00:00   INFO   Image successfully migrated: 73 Title: Veritas Beach Club 22-06-2006_41
2014-05-08T22:33:06+00:00   INFO   Image successfully migrated: 74 Title: Veritas Beach Club 22-06-2006_42
2014-05-08T22:33:06+00:00   INFO   Image successfully migrated: 75 Title: Veritas Beach Club 22-06-2006_43
2014-05-08T22:33:06+00:00   INFO   Image successfully migrated: 76 Title: Veritas Beach Club 22-06-2006_44
2014-05-08T22:33:06+00:00   INFO   Image successfully migrated: 77 Title: Veritas Beach Club 22-06-2006_45
2014-05-08T22:33:07+00:00   INFO   Image successfully migrated: 78 Title: Veritas Beach Club 22-06-2006_46
2014-05-08T22:33:07+00:00   INFO   Image successfully migrated: 79 Title: Veritas Beach Club 22-06-2006_47
2014-05-08T22:33:07+00:00   INFO   Image successfully migrated: 80 Title: Veritas Beach Club 22-06-2006_48
2014-05-08T22:33:07+00:00   INFO   Image successfully migrated: 81 Title: Veritas Beach Club 22-06-2006_49
2014-05-08T22:33:08+00:00   INFO   Image successfully migrated: 82 Title: Veritas Beach Club 22-06-2006_50
2014-05-08T22:33:08+00:00   INFO   Image successfully migrated: 83 Title: Veritas Beach Club 22-06-2006_51
2014-05-08T22:33:08+00:00   INFO   Image successfully migrated: 84 Title: Veritas Beach Club 22-06-2006_52
2014-05-08T22:33:09+00:00   INFO   Image successfully migrated: 85 Title: Sunset I - Veritas Beach Club - 04-07-2009_1
2014-05-08T22:33:09+00:00   INFO   Image successfully migrated: 86 Title: Sunset I - Veritas Beach Club - 04-07-2009_2
2014-05-08T22:33:09+00:00   INFO   Image successfully migrated: 87 Title: Sunset I - Veritas Beach Club - 04-07-2009_3
2014-05-08T22:33:09+00:00   INFO   Image successfully migrated: 88 Title: Sunset I - Veritas Beach Club - 04-07-2009_4
2014-05-08T22:33:09+00:00   INFO   Image successfully migrated: 89 Title: Sunset I - Veritas Beach Club - 04-07-2009_5
2014-05-08T22:33:10+00:00   INFO   Image successfully migrated: 90 Title: Sunset I - Veritas Beach Club - 04-07-2009_6
2014-05-08T22:33:10+00:00   INFO   Image successfully migrated: 91 Title: Sunset I - Veritas Beach Club - 04-07-2009_7
2014-05-08T22:33:10+00:00   INFO   Image successfully migrated: 92 Title: Sunset I - Veritas Beach Club - 04-07-2009_8
2014-05-08T22:33:10+00:00   INFO   Image successfully migrated: 93 Title: Sunset I - Veritas Beach Club - 04-07-2009_9
2014-05-08T22:33:11+00:00   INFO   Image successfully migrated: 94 Title: Sunset I - Veritas Beach Club - 04-07-2009_10
2014-05-08T22:33:11+00:00   INFO   Image successfully migrated: 95 Title: Sunset I - Veritas Beach Club - 04-07-2009_11
2014-05-08T22:33:11+00:00   INFO   Image successfully migrated: 96 Title: Sunset I - Veritas Beach Club - 04-07-2009_12
2014-05-08T22:33:11+00:00   INFO   Image successfully migrated: 97 Title: Sunset I - Veritas Beach Club - 04-07-2009_13
2014-05-08T22:33:12+00:00   INFO   Image successfully migrated: 98 Title: Sunset I - Veritas Beach Club - 04-07-2009_14
2014-05-08T22:33:12+00:00   INFO   Image successfully migrated: 99 Title: Sunset I - Veritas Beach Club - 04-07-2009_15
2014-05-08T22:33:12+00:00   INFO   Image successfully migrated: 100 Title: Sunset I - Veritas Beach Club - 04-07-2009_16
2014-05-08T22:33:12+00:00   INFO   Image successfully migrated: 101 Title: Sunset I - Veritas Beach Club - 04-07-2009_17
2014-05-08T22:33:13+00:00   INFO   Image successfully migrated: 102 Title: Sunset I - Veritas Beach Club - 04-07-2009_18
2014-05-08T22:33:13+00:00   INFO   Image successfully migrated: 103 Title: Sunset I - Veritas Beach Club - 04-07-2009_19
2014-05-08T22:33:13+00:00   INFO   Image successfully migrated: 104 Title: Sunset I - Veritas Beach Club - 04-07-2009_20
2014-05-08T22:33:14+00:00   INFO   Image successfully migrated: 105 Title: Sunset I - Veritas Beach Club - 04-07-2009_21
2014-05-08T22:33:14+00:00   INFO   Image successfully migrated: 106 Title: Sunset I - Veritas Beach Club - 04-07-2009_22
2014-05-08T22:33:14+00:00   INFO   Image successfully migrated: 107 Title: Sunset I - Veritas Beach Club - 04-07-2009_23
2014-05-08T22:33:15+00:00   INFO   Image successfully migrated: 108 Title: Sunset I - Veritas Beach Club - 04-07-2009_24
2014-05-08T22:33:15+00:00   INFO   Image successfully migrated: 109 Title: Sunset I - Veritas Beach Club - 04-07-2009_25
2014-05-08T22:33:15+00:00   INFO   Image successfully migrated: 110 Title: Sunset I - Veritas Beach Club - 04-07-2009_26
2014-05-08T22:33:16+00:00   INFO   Image successfully migrated: 111 Title: Sunset I - Veritas Beach Club - 04-07-2009_27
2014-05-08T22:33:16+00:00   INFO   Image successfully migrated: 112 Title: Sunset I - Veritas Beach Club - 04-07-2009_28
2014-05-08T22:33:17+00:00   INFO   Image successfully migrated: 113 Title: Sunset I - Veritas Beach Club - 04-07-2009_29
2014-05-08T22:33:17+00:00   INFO   Image successfully migrated: 114 Title: Sunset I - Veritas Beach Club - 04-07-2009_30
2014-05-08T22:33:19+00:00   INFO   Image successfully migrated: 115 Title: Sunset I - Veritas Beach Club - 04-07-2009_31
2014-05-08T22:33:19+00:00   INFO   Image successfully migrated: 116 Title: Sunset I - Veritas Beach Club - 04-07-2009_32
2014-05-08T22:33:20+00:00   INFO   Image successfully migrated: 117 Title: Sunset I - Veritas Beach Club - 04-07-2009_33


Das waren die Anfänge 61 Bilder pro Step...  jetzt sieht das so aus:

2014-05-11T01:19:19+00:00   INFO   *****************************
2014-05-11T01:19:19+00:00   INFO   Migration Step started
2014-05-11T01:19:33+00:00   INFO   Image successfully migrated: 55707 Title: Tunnel 17.02.1012 Tunnel Beasts_43
2014-05-11T01:19:41+00:00   INFO   Image successfully migrated: 55708 Title: Tunnel 17.02.1012 Tunnel Beasts_44
2014-05-11T01:19:41+00:00   INFO   Refresh to continue the migration
2014-05-11T01:19:41+00:00   INFO   *****************************
2014-05-11T01:19:41+00:00   INFO   Migration Step started
2014-05-11T01:19:54+00:00   INFO   Image successfully migrated: 55709 Title: Tunnel 17.02.1012 Tunnel Beasts_45
2014-05-11T01:20:13+00:00   INFO   Image successfully migrated: 55710 Title: Tunnel 17.02.1012 Tunnel Beasts_46



Und es fehlen noch über 40.000 Bilder....  Sad

Gespeichert
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #8 am: 13-05-2014 19:42:05 »

Ich habe es nicht getestet, aber was passiert denn wenn du die ganzen Bilder (nur die .jpg) aus den Ordnern löscht?
Vielleicht werden die Datenbankeinträge trotzdem angelegt und du könntest nachher die Bilder wieder per ftp rüberkopieren?
 

Das klappt leider nicht... (Error das die original Bilder nicht da sind)

Derzeit läuft das Script noch weiter und 72,650 Bilder sind Migriert. 

Für zukünftige Migrations-Scripts währe es evtl. klasse die Möglichkeit zu geben das die Bilder bereits im neuen Pfad liegen und nur die DB Änderungen durchgeführt werden müssen.

Dann Stimmt die Angabe der Script Laufzeit nicht... ich habe dem Server die Maximalle Laufzeit von PHP Scripts von 240Sec. geheben.

2014-05-08T22:27:40+00:00   INFO   max. execution time: 240 seconds
2014-05-08T22:27:40+00:00   INFO   calculated refresh time: 192 seconds

Die Steps laufen aber alle ca. 20 Sec.

Bei 2 Bildern pro Step sind das 6 Bilder die Minute und etwas über 8600 Bilder alle 24h.
Das entspricht 10 Tage für 86.000 Bilder (finde ich ein wenig heavie).

Serverseitig sieht alles soweit auch Okay aus:

top - 19:28:53 up 4 days, 19:03,  2 users,  load average: 2.52, 2.58, 2.60
Tasks: 143 total,   1 running, 142 sleeping,   0 stopped,   0 zombie
Cpu(s): 16.0%us,  1.9%sy,  0.0%ni, 42.7%id, 39.4%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   4021100k total,  3866128k used,   154972k free,   537572k buffers
Swap:  4194288k total,     6184k used,  4188104k free,  1785516k cached

Seit dem 25.04.2014, 06:51 Uhr hatte ich zum glück auch keine Zwangstrennung mehr (was machen die Leute die alle 24h eine neue IP vom Provider bekommen?)

Ich kann derzeit nur Beeten das ich keine Zwangstrennung bekomme bis das Script (rein rechnerisch) in 3-4 Tagen fertig ist und nicht vorher abbricht.

 

Gespeichert
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #9 am: 15-05-2014 21:22:49 »

Wie sollte es auch anders sein... Heute morgen stand mein Rechner im Anmeldebildschirm, nach 7 Tagen hat er übernacht einen Reeboot gemacht und das Script ist natürlich abgebrochen.
78.000 Bilder hat er geschafft und ich durfte wieder die Backups einspielen.

Dann hab ich die migration mit meinem Tablet gestartet, leider ist das nach 1200 bildern un den Standby gegangen und ich hab das Backup erneut zurück gespielt.

Langsam bin ich mit meinem Latein am Ende.

Gibt es denn keinen hier der mir helfen kann? 
Gespeichert
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #10 am: 15-05-2014 21:54:31 »

Evtl. liegt die Lösung in folgemdem Beitrag "Große Galerie - Script stoppt ohne Fehlermeldung" aber hierz benötige ich Unterstützung.
Gespeichert
MrMusic
Global Moderator
Hero Member
*****
Offline Offline

Beiträge: 1.515



« Antworten #11 am: 16-05-2014 12:37:15 »

Hi,

es ist sehr ungewöhnlich, dass bei dir die Migration solange dauert.
Z.B. ist hier zu lesen das ein User 50000 Bilder in einer Stunde migriert hat. Auch die bisherigen Erfahrungen zeigen dass es nicht so lange dauern dürfte.
Ich würde an deiner Stelle mal den Server überprüfen...
Die Dateien und die Datenbank liegen doch alle auf dem selben Server?
Gespeichert

Ab sofort gibt es den Support für die JoomGallery hier: forum.joomgalleryfriends.net
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #12 am: 16-05-2014 17:43:11 »

Die Daten liegen auf der gleichen URL und gleiche DB.
Ich habe den Server auch schon neu installiert, statt Suse 12 hab ich dann CentOs 6 genommen.

top - 19:28:53 up 4 days, 19:03,  2 users,  load average: 2.52, 2.58, 2.60
Tasks: 143 total,   1 running, 142 sleeping,   0 stopped,   0 zombie
Cpu(s): 16.0%us,  1.9%sy,  0.0%ni, 42.7%id, 39.4%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   4021100k total,  3866128k used,   154972k free,   537572k buffers
Swap:  4194288k total,     6184k used,  4188104k free,  1785516k cached

Die SQL Datenbankauslastung liegt auch nur bei ca. 33%

Unter dem Thema ist evtl. die Lösung:
http://www.forum.joomgallery.net/index.php/topic,5147.0.html


Da benötige ich aber auch noch mal Hilfe

THX noch mal
Kai
Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #13 am: 16-05-2014 21:58:02 »

Hi,

ich habe die Datei leider gerade nicht da, es müsste dort aber noch andere Zeilen geben, die für das Verschieben von Dateien zuständig sind.

Unabhängig davon bin ich mir aber nicht sicher, ob wirklich das Verschieben der Dateien für den Zeitverlust verantwortlich ist. Änderungen am Dateisystem sind normalerweise nicht davon abhängig, wie viel zuvor schon verändert wurde (zumindest nicht in diesem Ausmaß).
Viel wahrscheinlicher ist meiner Meinung nach ein Problem in der Datenbank. Wird zum Beispiel kein Index verwendet, können Datenbankabfragen sehr langsam werden, je voller sie werden.

Könntest du bitte mal einen kompletten Datenbankexport von der ursprünglichen Installation und von der neuen Installation (Zustand nach einem Abbruch) an deinen nächsten Post anhängen?

Gruß
Chraneco
Gespeichert

Der Sprecher
posty_hh
Newbie
*
Offline Offline

Beiträge: 26


« Antworten #14 am: 17-05-2014 12:52:08 »

Das kann jetzt unter Umständen wieder 6-7 Tage dauern,
aktuell ist er wieder bei 2-3 Bildern pro Step und hat ca. 48.000 Bilder migriert. Die meißten Abbrüche wurden durch Zwangstrennung (Provider), Reboot des Rechners über Nacht nach 7T etc. hervorgerufen. Mit ganz viel Glück könnte unter Umständen das Sript durchlaufen wenn nicht irgend ein Umstand die Verbindung trennt.
Gespeichert
Seiten: [1] 2
Drucken
Gehe zu:  

HOSTED BY SCHWARZKÜNSTLER ®

PROTECTED BY  ZB BLOCK  AND Project Honey Pot
Theme orange-lt created by panic

Bad Behavior has blocked 3212 access attempts in the last 7 days.

mouth