JOOM::GALLERY::FORUM

Archiv => Gelöste Themen: Migration => Thema gestartet von: Defender am 25-06-2009 02:30:26



Titel: Migration bei über 100.000 Bildern...
Beitrag von: Defender am 25-06-2009 02:30:26
Hey,

nach 3 Jahren Ponygallery-Einsatz und nun auch gleichzeitiger Support-Einstellung ist es soweit, heute Nacht wird Flash-Arts auf die Joomgallery migriert.
Interessant ist dabei, dass wir über 100.000 Bilder migrieren. (Wir haben knapp 11.700 User)

Da das ganze fast ein Marathon ist, hier der Ablauf:

1) Migrationsvorbereitungen (Rund 500 Orphans entfernen)
2) Migration von PonyGallery ML 2.5.1 auf JoomGallery 1.0.0 unter J1.0
3) Installation der JoomGallery 1.0.0 unter J1.5
4) Import der Daten/DB von J1.0 zu J1.5
5) JoomGallery 1.0.0 auf aktuelle JoomGallery 1.5.x updaten
6) Hoffentlich freuen ;-)

Ich bin sehr gespannt, ob alles reibungslos klappt.

Start: 02:12 Uhr
Ende: ???

Ich geh erstmal schlafen und melde mich morgen Vormittag wieder :)

Viele Grüße
Thomas


Titel: Re: Migration bei über 100.000 Bildern...
Beitrag von: Claudia E. am 25-06-2009 08:40:50
Hallo Defender,

ich hoffe, du kannst Erfolg melden? :-)


Titel: Re: Migration bei über 100.000 Bildern...
Beitrag von: Defender am 25-06-2009 11:31:06
Guten morgen,

seit 9 Stunden läuft nun die Migration. Ich hoffe das Tool ist nicht hängengeblieben, aber die "Eieruhr" läuft noch...

Edit 1: Ich schaue mir gerade die Ordner-Struktur an. Ich denke das Script arbeitet sich Aufsteigend der Ordner ID´s hoch. Nach ewigen Suchen (Wir haben folgendes Ordner-System: Jahr (2006-2009)-> Monat (Jan-Dez) -> Event) habe ich gesehen, dass das Script bei ID 64 ist. Wir haben ca. 1100 Ordner und im Ordner mit der ID 65 passiert nichts mehr. Scheint so, als wäre er stehen geblieben  ::)

Edit 2: Habe mir die migration.ponytojoom.txt angeschaut. Leider kann ich diese nicht öffnen, da die Datei 3 GB groß ist. (3.173 MB) Letztes Änderungsdatum war heute um 04:25. Die Zeit könnte ein Hinweis auf einen Script-Abbruch sein.

Edit 3: Ergebnisloser Abbruch nach 12 Stunden :( Das Script hat nach nur 64 Ordnern aufgehört. Ich habe inzwischen ein komplettes Backup eingespielt, damit die Seite wieder online gehen kann. Ich werde nun wahrscheinlich den anderen Weg gehen und die Daten/DB auf die J1.5 mitnehmen, um dort die portierte Version zu installieren und damit dann weiter zu migrieren. Dann muss ich immerhin die Webseite nicht offline schalten. Ich rechne aber schon damit, dass es diesmal vllt. wieder nicht klappt... ::)

Edit 4:
Nun sind es genau 24 Stunden nach meinem ersten Versuch. Ich habe inzwischen alle Bilder (23GB) auf unserem neuem Server mit J1.5 geladen und die portierte Pony installiert. Nun möchte ich in die JoomGallery migrieren und hoffe es klappt diesmal. Mal schauen, ich starte die Migration nun...

"Migration successfully ended"  :-) Über 100.000 Bilder (Gesamtanzahl Bilder in allen Kategorien: 105.626) wurden erfolgreich migriert. Ich konnte direkt von der portierten Pony in die JoomGallery 1.5.0.2 migrieren. 1 Stunden und 20 Minuten hat das Migrations-Script gebraucht.

Danke für diese gut durchdachte Komponente, nach 3 Jahren PonyGallery werde ich mich nun mit der JoomGallery vergnügen.
Benjamin hat mir damals ein Cron-Script für die PonyGallery geschrieben, welches die Kategorie Bilder alle x-Minuten austauscht (Randomimages for Ponygallery ML Categories via Cronjob) Wäre super, wenn wir dies auf die neue JoomGallery übertragen könnten. Aber dazu starte ich einen neuen Thread.

Ich wünsche ein schönes Wochenende!

Viele Grüße
Thomas


Titel: Re: Migration bei über 100.000 Bildern...
Beitrag von: aHa am 26-06-2009 17:36:58
Hallo Thomas,
vielen Dank für Deinen Migrationsreport und Glückwunsch zu dem Erfolg.
Welche Größe hat die 'migration.ponytojoom.txt'?

Gruß
Andreas


Titel: Re: Migration bei über 100.000 Bildern...
Beitrag von: Defender am 27-06-2009 20:12:36
Hey Andreas,

danke :-) Die Größe der 'migration.ponytojoom.txt' beträgt knapp 4,3 GB.

Gruß Thomas