[vz-users] Performance, Datenbereinigung, Gesamtzähler als virtueller Channel

[Andreas Goetz]

Hallo Bernd,

bei mir ist das Thema im Rahmen von VZmon auch wieder aktuell. Ich überlege
derzeit, wie man eine Aggregationslösung auf Datenbankende für VZ möglichst
minimal-invasiv integrieren kann.

Dabei geht es mir vor allem darum, aggregierte Sichten (Monatserzeugung je
Tag, Jahreserzeugung pro Monat) zu generieren. Auf meinem Raspi sind jetzt
ca. 300k Datensätze im 5min-Abstand, da wird es schon sehr eng.

Lösungsansatz:
- Tagesaggregate per Stored Proc erzeugen
- Tagesaggrefate in der Middleware nutzen wenn aggregierte Abfragen (Group
by...) auftreten

Problem:
- Behandlung der aktuellem Zeitscheibe (z.B. Tag)
- Behandlung der Randbedingungen from...to, insbesondere wenn diese nicht
auf den Tagesgrenzen liegen

Wenn's hier clevere Ideen gibt kommen wir zusammen sicher zu einer schicken
Lösung.

vg
Andreas




2013/10/7 Bernd Gewehr <Bernd at gewehr.net>

> -----Ursprüngliche Nachricht----- From: Heiko Baumann
> Sent: Sunday, October 06, 2013 7:47 PM
>
> To: volkszaehler-users at lists.**volkszaehler.org<volkszaehler-users at lists.volkszaehler.org>
> Subject: Re: [vz-users] Performance, Datenbereinigung, Gesamtzähler als
> virtueller Channel
>
>
>  Meinst Du das hier?
>> http://www.mail-archive.com/**volkszaehler-users@lists.**
>> volkszaehler.org/msg00490.html<http://www.mail-archive.com/volkszaehler-users@lists.volkszaehler.org/msg00490.html>
>>
>
> Hallo Bernd, genau das meinte ich - glaub ich :)
> Vielen Dank!
>
> Müsste soweit auch funktionieren, nur stellen sich zwei Fragen:
> 1) zumindest mein Raspi raucht ab und zu mal ab und steht dann für eine
> gewisse Zeit. Wie korrigierst du solche Fälle?
> 2) Du ratterst mit der Query ja durch den kompletten Datenbestand, das
> dauert und erzeugt viel Last. Wie sind deine Erfahrungen damit?
> Evtl. Alternative: man berechnet nur täglich, was tatsächlich dazu
> gekommen ist und addiert den Wert zum Vortages-Stand.
>
> Ich werd mal bisserl probieren... auf jeden Fall Danke!
>
> Also bei mir ist das jetzt sehr lange erfolgreich im Einsatz. Die
> Abfragezeiten sind im Bereich einige 100 ms und scheinen den sonstigen
> Betrieb nciht zu stören.
>
> Ich nutze jede Nacht das vzcompress2 Script, das hält die alten Daten im
> Zaum...
>
> Ich habe zwar inzwischen einige Probleme mit einer defekten MySql-Tabelle,
> schiebe dies aber nicht auf die stored procedure. Analyse läuft.
>
> Alles in Allem hätte ich aber gern im Frontend einen kleinen Kasten oben
> links oder rechts, in dem die Zählernummern und Zählerstände meiner Zähler
> aggregiert angezeigt werden, ohne solche Fummelei zu betreiben... Ich
> kann's nur leider nicht entwickeln.
>
> Gruß, Bernd
>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20131008/641252c8/attachment.html>