SELECT + LOOP: Geschwindigkeit?

Re: SELECT + LOOP: Geschwindigkeit?

ewx hat geschrieben: ↑

18.11.2019 16:45

was erwartest du denn als Laufzeit?

schneller als die Auswertung, die ich ablösen möchte, und die vor vielen Jahren ohne Bedacht auf Laufzeit (oder Speicher) geschrieben wurde... und, wie erwähnt, Probleme macht.
Im ersten Wurf war ich eben nicht wesentlich schneller (am Q-System), also hab ich mich auf die Suche gemacht.

DeathAndPain hat geschrieben: ↑

18.11.2019 16:47

Irgendwas haut da nicht hin. So ein LOOP darf keine so langen Laufzeiten erzeugen. Habt ihr möglicherweise ein sehr stark abgespecktes Entwicklungssystem,

natürlich, aber auch sehr abgespeckte Daten. Bei 10.000 Zeilen sollte noch lange nichts swappen.
Das unterdimensionierte System bei uns ist das Q-System, das alle Daten von P hat, aber nicht dieselbe Hardware-Dimensionierung, weil...

Auf dem Produktivsystem wird das aber sicherlich nicht so sein.

Fahre gerade einen Vergleich auf P über Belege eines Monats (ca. 25000 Zeilen im Ergebnis) und bin in der "Urversion" doch schon etwa doppelt so schnell wie das alte Programm. Wobei ich gerade gesehen habe, dass das alte Programm da schon wieder was dazuliest, was ich gar nicht ausgewählt habe... ich glaube, ich will das gar nicht verstehen...

Ich kann Dir nur raten, möglichst viel im Hauptspeicher zu rechnen und die Zahl Deiner SELECTs auf ein Minimum zu beschränken.

Das war auch meine Idee, und deshalb war ich ja verwundert. Nämlich gerade bei einem Umfang von ca. 10.000 Zeilen, wo man schon Laufzeiten ablesen kann (und ich nicht ewig auf das Ergebnis warten muss), aber keine Speicherprobleme haben sollte.

Was Du machen kannst und was ich Dir empfehlen würde, auch wenn es anfangs etwas mehr Tipparbeit für Dich bedeutet, ist, Dich von dem SELECT * zu verabschieden und Dir zu überlegen, welche Spalten aus der VBPA Du tatsächlich benötigst. Deklarier am Anfang Deines Programms einen lokalen Typ mit genau diesen Feldern, dann deklariere Deine lokale Tabelle lt_vbpa über diesen Typ (aber natürlich trotzdem sortiert mit gescheitem Schlüssel). Damit reduzierst Du vermutlich (je nachdem, wie viele der Spalten Du wirklich brauchst) ganz erheblich den Hauptspeicherbedarf,

Das überlege ich mir wirklich noch...

und zugleich wird Dein Code im Debugger für Dich und für andere viel besser verständlich, weil man dann in der internen Tabelle nur Werte sieht, die im Zusammenhang Deines Programms tatsächlich bedeutsam sind, statt lauter irrelevantem Datenmüll.

Was bei der VBPA kein echtes Thema ist.

Was habt ihr überhaupt für eine Datenbank?

Welche Rolle spielt das? Sollte Oracle sein.

ewx hat geschrieben: ↑

18.11.2019 18:34

JHM hat geschrieben: ↑

18.11.2019 09:28

Du ließt im allgemeinen sehr viele Daten (SELECT *), verwendest du alle?
Benötigst du wirklich alle PARVW aus der VBPA?
Datensparsamkeit kommt der Laufzeit immer zu Gute.

Das kann ich bei diesem Beispiel NICHT bestätigen!

Ich bei meinem Programm schon - die Reduktion auf die nötigen Partner hat eine Beschleunigung gebracht.

Irgendwoher kam noch die Frage, wieso es das LOOP sein soll, das so bremst:
Ganz einfach, das Programm wurde langsamer, wie ich das select VBPA aus dem äußeren loop herausgezogen habe und im loop kein select, aber ein loop über die große lt_vbpa gemacht habe. Alles andere habe ich gleich gelassen.
Das ist ja das irritierende: nicht die absolute Laufzeit (die kommt auch aus anderen Programmteilen), sondern dass die Verlagerung in den Hauptspeicher langsamer wäre.

Jedenfalls zwischendurch wieder einmal danke für die diversen Ratschläge!

Re: SELECT + LOOP: Geschwindigkeit?

foxtrot hat geschrieben: ↑

19.11.2019 08:45

Das ist ja das irritierende: nicht die absolute Laufzeit (die kommt auch aus anderen Programmteilen), sondern dass die Verlagerung in den Hauptspeicher langsamer wäre.

Das kommt ja auf die dahinterstehende Hardware bzw. der Auslastung. Wenn der Hauptspeicher des Application-Server immer swopped, da alle die DB-Daten zuerst einmal dort ablegen, dafür der DB-Server sich die meiste Zeit langweilt, ist das Ergbnis der Verlagerung ja klar.

Wenn der DB Server bei euch am stärksten ist, dann könnte man die Kopfpartner auch per JOIN ermitteln lassen (4 mal die VBPA mit unterschiedlichen ALIAS). Dann nur noch die Positionspartner per SELECT&LOOP im Nachgang ermitteln.

Um die Partnerdatenzugriffe zu reduzieren könnte man auch noch mit Gruppenstufen arbeiten und die Kopfpartner nur dann neu lesen, wenn es auch einen neuen Kopf gibt. Dann könnte man auch noch mit der FROM INDEX Angabe für die Positionspartnerermittlung arbeiten, damit der Positionspartner nicht immer vom Anfang der IT_VBPA gesucht werden muss.

Re: SELECT + LOOP: Geschwindigkeit?

Nur zwischendurch eine Info, falls sich wer wundert, dass ich nichts mehr schreibe: momentan warte ich auf ein paar Erfahrungswerte von Anwendern (die aber momentan ziemlich unter Stress stehen), und ansonsten hab ich hier ja auch noch ein paar andere "Hobbies"...

lg