[vz-users] Dashboard und Database Backends

[Monk]

Hallo zusammen,

ich hab mich mal dran gemacht ein bisschen mit Grafana als Dashboard zur Visualisierung und verschiedenen Datenbanken Backends zu spielen.
Dazu habe ich mir ein Perl Script gebastelt, das entweder die VZ Middleware abgreift oder Werte direkt aus der VZ MYSQL DB liest (hier an die Mail angehängt).

Soweit meine Eindrücke zu den Datenbanken:

Graphite:
- Performance ist ganz gut aber deutlich langsamer als InfluxDB oder openTSDB
- Setup ist ein bisschen aufwendig
- Möglichkeiten die Werte zu manipulieren und umzurechnen sind genial
- Speicherverbrauch ist ebenfalls tragbar: 20 sekündige Auflösung über 1 Jahr verbraucht 49MB pro Kanal

InfluxDB:
- Setup sehr einfach
- Sehr schnell
- Möglichkeiten die Werte zu manipulieren und umzurechnen momentan wenig und in der momentanen v0.8.8 buggy
- Keine Kompression momentan
- CPU und Mem schonend
- Ausblick auf die kommende 0.9 sehr gut (Kompression, Bugfixes, mehr Operationen)

openTSDB:
- Setup ist schwierig
- Schnell
- Möglichkeiten die Werte zu manipulieren und umzurechnen momentan wenig
- Recht ressourcenhungrig
- Charmantes System die Werte mit Tags anzureichern

Was alle 3 Datenbaken nicht leiden können, ist eine unterschiedliche zeitliche Auflösung der Datenpunkte. Für reine Anzeigezwecke ist es OK, wenn man mit den Werten rechnen will und die einzelnen Serien haben unterschiedliche Intervalle (wie z.B. meine S0 Zähler je nach Last verschiedene Tuples erzeugen) find das alle drei doof. Graphite ist hier momentan die Einzige bei der man mit ,,scale to second" das in den Griff bekommt.

Dashboard:
Grafana als Dashboard ist super cool und in der kommenden Version 2.0 noch besser. Erste Eindrücke könnt ihr euch unter http://play.grafana.org/v2/ anschauen. Ein paar Screenshots meiner Experimente habe ich auch angehängt.

Fazit:
Momentan ist Graphite das mächtigste Werkzeug wenn man Rohdaten manipulieren will, als Ausblick ist InfluxDB wohl der Gewinner.
Ich denke ohne jetzt weiter auf das Dashboard Thema einzugehen, wäre InfluxDB generell eine super Alternative zur heutigen VZ MYSQL DB (zumindest ab v0.9)

Viele Grüße,

Thilo




-------------- next part --------------
A non-text attachment was scrubbed...
Name: vzFeeder.pl
Type: application/octet-stream
Size: 10644 bytes
Desc: not available
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20150212/5255d18f/attachment-0001.obj>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: watt_pro_stunde.png
Type: image/png
Size: 37811 bytes
Desc: not available
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20150212/5255d18f/attachment-0003.png>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: W_aus_kWh.png
Type: image/png
Size: 54693 bytes
Desc: not available
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20150212/5255d18f/attachment-0004.png>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: grafana_db_compare.png
Type: image/png
Size: 104680 bytes
Desc: not available
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20150212/5255d18f/attachment-0005.png>