[vz-users] HUGE performance improvement for grouped queries

[Heiko Baumann]

Hallo Andreas,

vielen Dank für deinen tollen Ansatz. Ich würd mir das mal anschauen, 
check aber die "Installation" nicht so ganz.

Du hast zwei Quellen angegeben:
1) https://github.com/andig/volkszaehler.org/tree/aggregate 
<https://github.com/andig/volkszaehler.org/tree/aggregate>
2) 
https://github.com/andig/volkszaehler.org/commit/b9440a5c058f79bdbb9bf84697d074e614c9f610

Wie krieg ich das in meine vz-Installation integriert?

Und:
3) sehe ich das richtig, dass du die "originale" Data-Tabelle unberührt 
lässt?
4) Was schreibst du in die neue Tabelle rein - nur die "deltas" zu einem 
festen Startwert oder absolute Werte?


LG Heiko


Am 12.10.2013 19:08, schrieb Andreas Goetz:
> Hallo Zusammen!
>
> Um der Performance meiner VZ Installation auf dem Raspi etwas 
> nachzuhelfen habe ich Aggregation von Daten als neues Feature zum VZ 
> hinzugefügt. Anstatt wie bei vzcompress2 Daten zu löschen werden diese 
> in einer separaten Tabelle aggregiert- in der aktuellen Version auf 
> Tagesebene.
>
> Wenn die MW jetzt Abfragen nach aggregierten Daten stellt, wie z.B. 
> from=1.1.2000 to=now group=month dann werden die SQL statements so 
> umgebaut, dass die Daten aus der Agrgegationstabelle kommen statt aus 
> der Datentabelle. Da hier _deutlich_ weniger Daten liegen gehts 
> natürlich schneller.
>
> Bisher nicht implementiert ist ein automatisches Tuning eingehender 
> Anfragen. Wenn z.B. das Frontend obenstehende Anfrage mit tuples=200 
> ausführt, wird es ohne vzcompress immer noch sehr lange dauern. 
> Denkbar wäre eine Automatik einzubauen die je nach "Aggressivität" 
> eine Gruppierung nach Tag oder Stunde hinzuschaltet.
>
> Added data aggregation:
> 1. create aggregate table using misc/sql/aggregation.sql
> 2. run initial aggregation using misc/sql/aggregation.sql
> 3. set $config['aggregate'] = true in etc/volkszaehler.conf.php
> 4. setup CRON to run delta aggregation using misc/sql/aggregation.sql
>
> https://github.com/andig/volkszaehler.org/tree/aggregate
>
> Jetzt würde ich mich über Feedback und vor allem Tests freuen!
>
> Gruss,
> Andreas
>

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20131013/5877eae3/attachment.html>