Willkommen Gast.
Um die volle Funktionalität des Forums nutzen zu können,
müssen Sie sich einloggen oder registrieren.
Haben Sie Ihre Aktivierungs E-Mail übersehen?

 
Erweiterte Suche

31.110 Beiträge in 6.475 Themen- von 6.477 Mitglieder - Neuestes Mitglied: Frideborg

31-03-2020 09:33:51
JOOM::GALLERY::FORUMArchivJoomGallery 1.5 MVCMigrationMigration Fremdskript
Seiten: [1]
Drucken
Autor Thema: Migration Fremdskript  (Gelesen 7914 mal)
0 Mitglieder und 1 Gast betrachten dieses Thema.
ChrisDoT
Newbie
*
Offline Offline

Beiträge: 13


« am: 21-05-2010 02:56:59 »


Benutze:
Version 1.5.5 BETA2 Build 20100425

Import in db tables erfolgreich:
177 Kategorien
24,405 Bilder

Sonstiges:
Sämtliche Ordner mit Inhalten sind angelegt
adminbereich sieht sauber aus, alle Bilder und Kategorien zu sehen.

Problem:
muss leider sämtliche Thumbnails neu konvertieren
Wartungsmanager versagt leider -.- (er läuft und läuft und läuft aber kommt nicht zum ende)
Bildermanager versagt leider -.- (die Anzeige ALLER Bilder läuft ins leere bzw. weiße Seite mit 0,0 Inhalt)

Also entweder Server oder Skript wird zu sehr beansprucht, oder beides!?

Wie kann ich dem Abhilfe schaffen?
Ich denke mit 1000 oder 2000 Bildern dürfte das Skript/Server kein Problem haben. Dann müsste ich nicht alle 177 Kategorien einzeln aufrufen, alle Bilder markieren, um dann alle Bilder aus der Kategorie neu zu konvertieren.

PHP.ini kann ich editieren, folgendes habe ich bereits probiert bzw. raufgesetzt:

  max_execution_time = "180"
  memory_limit = "90M"

Wär um jeden Ratschlag dankbar.

Grüße
Chris


Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #1 am: 21-05-2010 11:15:49 »

Hi,

wie lange hast du ungefähr gewartet, bis du den Wartungsmanager abgebrochen hast?

Die Anzeige sämtlicher Bilder im Bildermanager wird bei einer so großen Anzahl wohl nicht möglich sein. Allein die HTML-Ausgabe bestünde aus einer riesigen Datenmenge.

Im Moment ist es leider nicht so einfach, den Bildermanager dazu zu bringen 1000 oder auch 2000 Bilder anzuzeigen, da die Pagination von Joomla verwendet wird. Für die Zukunft wäre es vielleicht gut, wenn wir noch einen Button einbauen, mit dem man sämtliche Bilder für eine bestimmte Aufgabe auswählen kann, ohne dass alle angezeigt werden.

In der Zwischenzeit könntest du Versuchen per FireBug den Inhalt der DropDownBox der Pagination zu verändern, sodass statt der Zahl 5 zum Beispiel 1000 mit dem Formular abgeschickt wird. Das sollte funktionieren.

Wichtig wäre mir die Antwort auf meine erste Frage, da, soweit ich weiß, bis jetzt noch niemand den Wartungsmanager mit so vielen Bildern und Kategorien ausprobiert hat. Wir würden uns deshalb sehr über weitere Tests diesbezüglich freuen.

Gruß
Chraneco
Gespeichert

Der Sprecher
ChrisDoT
Newbie
*
Offline Offline

Beiträge: 13


« Antworten #2 am: 21-05-2010 12:14:59 »

Hi,

Wartungsmanager:
mittlerweile erhalte ich nach ca. 2 Minuten einen 500-Fehler
zuvor hab ich gefühlte 10 Minuten gewartet, jedenfalls hat mich joomla dann (standardmäßig) ausgeloggt

Der Tipp mit Firebug und der Pagination hat geklappt, selbst bei 750 neu zu konvertierenden Bildern erhalte ich einen 500-Fehler.

joomgallery_maintenance ist übrigens leer.

hab meinen hoster mal gebeten das nachzuspielen um herauszufinden wo es hakt.

php.ini
session.gc_maxlifetime      = 1440
Definiert die Anzahl der Sekunden, nach denen Daten als "Müll" ("garbage") betrachtet und entsorgt werden sollen

  max_execution_time = "720"
  memory_limit = "90M"
  session.cache_expire = "720"

Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #3 am: 21-05-2010 12:25:35 »

Hi,

dann bin ich mal sehr auf die Antwort des Hosters gespannt, er kann uns vielleicht viel dazu sagen, besonders wodurch ein Fehler 500 zustande kommt.

An session.gc_maxlifetime sollten wir eigentlich nicht herankommen.

Die Galerie ist so programmiert, dass sie kurz vor einem Abbruch wegen max_execution_time selbst einen Refresh ausführt. Der bei dir eingestellte Wert ist inzwischen so groß, dass die Galerie gar nicht mehr dazu kommt, diesen Refresh auszuführen, bevor Joomla die Session automatisch beendet. Teste es mal bitte mit max_execution_time = 60. Dann führt die Galerie jedes Mal vor Ablauf dieser 60 Sekunden einen Refresh aus, wodurch dann ein Abbruch durch Ausloggen von Joomla und vielleicht auch ein Abbruch durch einen Fehler 500 verhindert wird.

Gruß
Chraneco
Gespeichert

Der Sprecher
ChrisDoT
Newbie
*
Offline Offline

Beiträge: 13


« Antworten #4 am: 21-05-2010 12:35:30 »

ok... Wartungsmanager prüft seit genau 10 Minuten, ohne Abbruch... aber auch bislang ohne Ergebnis.
joomgallery_maintenance ist immernoch leer.
Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #5 am: 21-05-2010 12:42:24 »

Hi,

die Spannung steigt sm_smile

Es werden nur gefundene Probleme in die Tabelle #__joomgallery_maintenance eingetragen. Das bedeutet, dass bis jetzt wohl noch alles in Ordnung ist.

Gruß
Chraneco
Gespeichert

Der Sprecher
ChrisDoT
Newbie
*
Offline Offline

Beiträge: 13


« Antworten #6 am: 21-05-2010 12:50:08 »

nach 15 Minuten hat er mich nun rausgeworfen, musste mich neu im backend anmelden.
so steht es auch in meiner joomla konfig, Gültigkeit der Sitzung (Session) 15 Minuten.
Macht jetzt keinen sinn den wert auf 30 min. zu setzen oder? Wo liegen da eure erfahrungswerte?

maintenance table ist immernoch leer.
werden die daten "on the fly" geschrieben oder erst gesammelt und irgendwann am ende geschrieben?

bleibt auch abzuwarten was der hoster dazu sagt
Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #7 am: 21-05-2010 14:08:58 »

Hi,

ja, sie werden on the fly in die Tabelle geschrieben.

Erfahrungswerte haben wir leider noch keine, da du der erste bist, der die Funktion mit so vielen Bildern testet und seine Erfahrungen mit uns teilt.

Ich kann mir eigentlich nicht erklären, wie es mit der Joomla-Session zusammenhängen könnte.
Wenn du uns einen Gefallen tun möchtest, kannst du den Wert gerne mal hochsetzen und es noch einmal testen.

Die Antwort des Hosters interessiert mich auch sehr.

Gruß
Chraneco
Gespeichert

Der Sprecher
ChrisDoT
Newbie
*
Offline Offline

Beiträge: 13


« Antworten #8 am: 21-05-2010 14:50:06 »

ok
also ein problem hab ich mir selbst gestrickt
im ordner thumbnails hatte ich die originalbilder einfach hineinkopiert, da konnte also auch kein fehler gefunden werden
hier wäre es evtl. anzudenken, im wartungsmanager die abmessungen der thumbs zu prüfen? wie dem auch sei

session time out von joomla hab ich mal hochgesetzt.
inzwischen hat auch der hoster geantwortet:

Zitat:
In unserem System sind weitere Domainlimits aktiv, um vor Serverüberlastungen vorzubeugen. Diese betragen in Ihrem Tarif 60 CPU Sekunden und 70 MB RAM. Wir haben diese für die Domain soeben auf 600 CPU Sekunden und 700 MB RAM erhöht.

Hab jetzt mal den Thumbordner geleert und vor ca. 10 min. den wartungsmanager gestartet.

meine überlegung:
- dem wartungsmanager ein Statusfenster verpassen (was tu ich gerade)
- begrenzund der überprüfung des dateisystems bzw. der db, auf den bereich der ausgewählt ist (Bilder, Kategorien, Waisen... etc.)
Im Moment wird ja ALLES überprüft.
- ein Limit bzw. die Möglichkeit den Wartungsmanager in Teilschritten auszuführen, wo er evtl. im Anschluss wieder weitermachen kann (da wo es sinn macht z.B. bei Bildern.. mit 24.000 Kommentaren wird wohl niemand so schnell auftauchen)

nach ca. 20 min. hat er nun einen "umleitungsfehler" entdeckt..

177 Einträge sind inzwischen in der maint-table. nur kann ich die probleme nicht bereinigen/lösen, weil sie mir nicht angezeigt werden. denke das hängt damit zusammen das das skript nie richtig beendet worden ist? Das sind die 177 fehlenden Thumbnail-Ordner...
Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #9 am: 21-05-2010 16:05:44 »

Hi,

vielen Dank für den ausführlichen Bericht!

Der Algorithmus ist sicher noch verbesserungsfähig, wir werden daran auch noch arbeiten.

Im Moment scheint aber der Umleitungsfehler noch ein Hauptproblem darzustellen. Dieser wird wahrscheinlich vom Browser ausgegeben und nicht vom Server.
Der Refresher der Galerie sieht auch eine solche Situation vor, allerdings muss zur Änderung eine Datei bearbeitet werden ('administrator/components/com_joomgallery/helpers/refresher.php'). In der Funktion 'refresh' müsste eine Überprüfung stattfinden, ob bereits der 15 Refresh durchgeführt wird (ich kann mir die Datei im Moment leider nicht ansehen, da ich nicht zu Hause bin). Diese Zahl müsste verringert werden, vielleicht kann der Algorithmus seine Arbeit dann erledigen.

Gruß
Chraneco
Gespeichert

Der Sprecher
ChrisDoT
Newbie
*
Offline Offline

Beiträge: 13


« Antworten #10 am: 21-05-2010 16:19:32 »

da der bb-tag code hier scheinbar ohne funktion ist...


nur der auszug aus der besagten datei:

  /**
   * Make a redirect
   *
   * @access  public
   * @param   string  $action Redirect to continue or end
   * @return  void
   * @since   1.5.5
   */
  function refresh($task = null, $msg = null, $type = null, $controller = null)
  {
 .......
    if($this->counter > 8 ) // hier den Wert von 15 auf 8 reduziert
    {
      $this->_interruptRefreshing($task, $controller);
    }
    else
    {
      $this->_mainframe->setUserState('joom.refresh.counter', $this->counter + 1);
    }
 .......

lief von 16:12:15... bis irgendwann kurz vor 16:30

Fehler: Umleitungsfehler
Die aufgerufene Website leitet die Anfrage so um, dass sie nie beendet werden kann.

« Letzte Änderung: 21-05-2010 16:31:21 von ChrisDoT » Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #11 am: 21-05-2010 18:03:08 »

Hi,

den Code müsstest du mit 'code=php' und '/code' in eckigen Klammern einfügen können. Leider scheint im Forum zur Zeit ein JavaScript-Fehler aufzutreten, wir kümmern uns darum.

Code
    if($this->counter > 8 ) // hier den Wert von 15 auf 8 reduziert
   {
     $this->_interruptRefreshing($task, $controller);
   }
   else
   {
     $this->_mainframe->setUserState('joom.refresh.counter', $this->counter + 1);
   }

Das ist auf jeden Fall die richtige Stelle.
Dass der Firefox bereits nach 8 Refreshes der gleichen Seite abbricht, hätte ich nicht gedacht, aber leider ist es scheinbar so. Es müsste aber mit einer noch niedrigeren Zahl funktionieren. Ansonsten könntest du es auch noch mit einem andern Browser versuchen.

Gruß
Chraneco
Gespeichert

Der Sprecher
webowl
Newbie
*
Offline Offline

Beiträge: 1


« Antworten #12 am: 13-12-2010 18:14:35 »

Habe joomgallery 1.5.6.1 insatlliert und gerade den Wartungsmanager bei ca. 1900 bilder in ca. 170 kategorien durchlaufen lassen.
nicht mal 3 min dann war er fertig und konnte problemlos alle verwaiseten bilder und kategorien löschen.

super Komponente, und der wartungsanager ist der hammer, erleichtert die arbeit ungemein.

danke.
Gespeichert
Chraneco
Entwickler-Team
Hero Member
*****
Offline Offline

Beiträge: 4.066



« Antworten #13 am: 13-12-2010 18:30:31 »

Hi,

vielen Dank für diese Rückmeldung!

In der letzten Version wurde der Wartungsmanager noch etwas verbessert, sodass das Problem von ChrisDoT auch nicht mehr auftreten sollte.

Gruß
Chraneco
Gespeichert

Der Sprecher
Seiten: [1]
Drucken
Gehe zu:  

HOSTED BY SCHWARZKÜNSTLER ®

PROTECTED BY  ZB BLOCK  AND Project Honey Pot
Theme orange-lt created by panic

Bad Behavior has blocked 1679 access attempts in the last 7 days.