[vz-users] Schaltspiel- und Betriebsstundenzähler - Konzept gesucht

Sat May 5 20:38:24 CEST 2018

Vermutlich ist das diese Zeile in der /etc/fstab:

tmpfs /tmp tmpfs nodev,nosuid,mode=1777,size=30M 0 0

Kommentier' die mal aus (mit #), starte neu und schau nochmal was df -h
dann sagt.

Am 5. Mai 2018 um 20:33 schrieb Frank Richter <frank.richter83 at gmail.com>:

> Dann hast du die Version vom Image, wo /tmp als Ramdisk eingerichtet ist.
> Vermutlich reicht dort der Platz nicht für so umfangreiche DB-Akrobatik.
> Vielleicht kann Udo kurz erklären, wie du /tmp zurück auf die Platte
> bekommst.
>
> Grüße
> Frank
>
> Am 5. Mai 2018 um 20:28 schrieb Christian Wulff <christianwulff at gmx.de>:
>
>> Moin Frank,
>>
>>
>>
>> Das Systemlaufwerk ist eine 128GB SSD
>>
>>
>>
>> /tmp $ df -h
>>
>> Filesystem      Size  Used Avail Use% Mounted on
>>
>> /dev/root       118G   53G   59G  48% /
>>
>> devtmpfs        459M     0  459M   0% /dev
>>
>> tmpfs           463M     0  463M   0% /dev/shm
>>
>> tmpfs           463M  6.3M  457M   2% /run
>>
>> tmpfs           5.0M  4.0K  5.0M   1% /run/lock
>>
>> tmpfs           463M     0  463M   0% /sys/fs/cgroup
>>
>> tmpfs            30M     0   30M   0% /tmp
>>
>> /dev/mmcblk0p1   63M   21M   43M  33% /boot
>>
>> tmpfs            93M     0   93M   0% /run/user/1000
>>
>>
>>
>> Lieben Gruß,
>>
>> Chris
>>
>>
>>
>>
>>
>>
>>
>> *Von:* Frank Richter [mailto:frank.richter83 at gmail.com]
>> *Gesendet:* Samstag, 5. Mai 2018 20:23
>>
>> *An:* volkszaehler.org - users
>> *Betreff:* Re: [vz-users] Schaltspiel- und Betriebsstundenzähler -
>> Konzept gesucht
>>
>>
>>
>> Wie voll ist dein /tmp (df - h)?
>>
>>
>>
>> Am 5. Mai 2018 um 20:16 schrieb Frank Richter <frank.richter83 at gmail.com
>> >:
>>
>> Kein Plan, hatte ich noch nie. Speicherkarte oder was besseres als
>> Systemlaufwerk?
>>
>>
>>
>> Am 5. Mai 2018 um 20:13 schrieb Christian Wulff <christianwulff at gmx.de>:
>>
>> …..lief leider nicht soooo lange. Fehlermeldung:
>>
>>
>>
>> Performing 'full' aggregation on 'day' level.
>>
>>
>>
>>
>>
>>   [Doctrine\DBAL\Exception\DriverException]
>>
>>   An exception occurred while executing 'REPLACE INTO aggregate
>> (channel_id, type, timestamp, value, count) SELECT channel_id, ? AS type,
>> MAX(agg.timestamp)
>>
>>   AS timestamp, COALESCE( SUM(agg.val_by_time) / (MAX(agg.timestamp) -
>> MIN(agg.prev_timestamp)), AVG(agg.value)) AS value, COUNT(agg.value) AS
>> count FROM ( S
>>
>>   ELECT channel_id, timestamp, value, value * (timestamp -
>> @prev_timestamp) AS val_by_time, GREATEST(0, IF(@prev_timestamp = NULL,
>> NULL, @prev_timestamp)) AS
>>
>>    prev_timestamp, @prev_timestamp := timestamp FROM data CROSS JOIN
>> (SELECT @prev_timestamp := NULL) AS vars WHERE channel_id = ? AND timestamp
>> < UNIX_TIMES
>>
>>   TAMP(DATE_FORMAT(NOW(), "%Y-%m-%d")) * 1000 ORDER BY timestamp ) AS agg
>> GROUP BY channel_id, YEAR(FROM_UNIXTIME(timestamp/1000)),
>> DAYOFYEAR(FROM_UNIXTIME(t
>>
>>   imestamp/1000))' with params [3, "15"]:
>>
>>   SQLSTATE[HY000]: General error: 126 Incorrect key file for table
>> '/tmp/#sql_49e_1.MYI'; try to repair it
>>
>>
>>
>>
>>
>>
>>
>>   [Doctrine\DBAL\Driver\PDOException]
>>
>>  SQLSTATE[HY000]: General error: 126 Incorrect key file for table
>> '/tmp/#sql_49e_1.MYI'; try to repair it
>>
>>
>>
>>
>>
>>
>>
>>   [PDOException]
>>
>>   SQLSTATE[HY000]: General error: 126 Incorrect key file for table
>> '/tmp/#sql_49e_1.MYI'; try to repair it
>>
>>
>>
>>
>>
>> run [-l|--level LEVEL] [-m|--mode MODE] [-p|--period PERIOD] [--]
>> [<uuid>]...
>>
>>
>>
>>
>>
>> Was muss ich nun tun?
>>
>>
>>
>> Lieben Gruß,
>>
>> Chris
>>
>>
>>
>>
>>
>>
>>
>> *Von:* Christian Wulff [mailto:christianwulff at gmx.de]
>> *Gesendet:* Samstag, 5. Mai 2018 20:04
>>
>>
>> *An:* 'volkszaehler.org - users'
>> *Betreff:* Re: [vz-users] Schaltspiel- und Betriebsstundenzähler -
>> Konzept gesucht
>>
>>
>>
>> Moin,
>>
>>
>>
>> alles klaro, läuft jetzt mit:
>>
>>
>>
>> php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m full -l
>> day -l hour
>>
>>
>>
>> Vielen Dank!
>>
>>
>>
>> ….mal sehen wie lange es dauert….
>>
>>
>>
>> Lieben Gruß,
>>
>> Chris
>>
>>
>>
>> *Von:* Frank Richter [mailto:frank.richter83 at gmail.com]
>> *Gesendet:* Samstag, 5. Mai 2018 19:53
>> *An:* volkszaehler.org - users
>> *Betreff:* Re: [vz-users] Schaltspiel- und Betriebsstundenzähler -
>> Konzept gesucht
>>
>> Frank Richter <frank.richter83 at gmail.com>
>>
>> Und lass -l minute erstmal weg, das bringt nicht viel und dauert ewig.
>>
>>
>>
>> Am 5. Mai 2018 um 19:48 schrieb Christian Wulff <christianwulff at gmx.de>:
>>
>> Moin,
>>
>>
>>
>> ich muss nochmal an dieser Stelle einhaken.
>>
>>
>>
>> Vor der Aktivierung der Aggregation sah die Antwort der Abfrage
>> http://IP-ADRESSE/middleware.php/capabilities/database.json? so aus:
>>
>> {"version":"0.3","capabilities":{"database":{"data_rows":
>> 30461209,"data_size":2664267776,"aggregation_enabled":0}}}
>>
>>
>>
>> Ich habe jetzt die Aggregation aktiviert.
>>
>>
>>
>> Nach der Aktivierung der Aggregation sah die Antwort der Abfrage
>> http://IP-ADRESSE/middleware.php/capabilities/database.json? so aus:
>>
>> {"version":"0.3","capabilities":{"database":{"data_rows":
>> 30087708,"data_size":2674753536,"aggregation_enable
>> d":1,"aggregation_rows":0,"aggregation_size":49152,"aggre
>> gation_ratio":0}}}
>>
>>
>>
>> Soweit so gut.
>>
>>
>>
>> Allerdings kann ich die Aggregation nicht starten.
>>
>> Ich habe folgenden Befehl aus dem Wiki probiert:
>>
>> php /var/www/volkszaehler.org/bin/aggregate run -m full -l day -l hour
>> -l minute
>>
>>
>>
>> Antwort:
>>
>> Could not open input file: /var/www/volkszaehler.org/bin/aggregate
>>
>>
>>
>> Das Problem ist, dass es in dem Ordner /var/www/volkszaehler.org/ keinen
>> Ordner „bin“ gibt.
>>
>>
>>
>> Nun weiß ich nicht mehr weiter.
>>
>> Wer weiß da Rat?
>>
>>
>>
>> Danke und lieben Gruß,
>>
>> Chris
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> *Von:* Frank Richter [mailto:frank.richter83 at gmail.com]
>> *Gesendet:* Mittwoch, 2. Mai 2018 22:02
>> *An:* volkszaehler.org - users
>>
>> *Betreff:* Re: [vz-users] Schaltspiel- und Betriebsstundenzähler -
>> Konzept gesucht
>>
>>
>>
>> Hi Christian,
>>
>>
>>
>> bei deinen lahmen Antwortzeiten hast du sicher keine Aggregation
>> aktiviert, oder? Bitte mal überprüfen (aggregation in der
>> volkszaehler.conf.php und Cronjobs für regelmäßige Aktualisierung der
>> Tabelle aggregate).
>>
>>
>>
>> Zählerstände sind sicherlich schicker, aber auch schwieriger in der
>> Handhabung: soll der ESP den laufenden Absolutwert speichern?
>>
>>
>>
>> Gruß
>>
>> Frank
>>
>>
>>
>> Christian Wulff <christianwulff at gmx.de> schrieb am Mi., 2. Mai 2018
>> 21:49:
>>
>> Moin,
>>
>>
>>
>> ja, mit S0 Impulsen geht das, klar. Aber grottenlahm.
>>
>> Ich habe zum Beispiel einen Wasserzähler, der seit Oktober 2016 (sind ja
>> nur 1,5 Jahre, also noch nicht soooo viel) bis heute 458733 Datensätze
>> geloggt hat.
>>
>>
>>
>> Wenn ich mit der VZ App v9.7 den Wasserzähler abfrage, dann addiert er
>> glatte 46 Sekunden lang alle S0 Impulse zusammen, bis das Ergebnis kommt.
>> Das ist mir zu langsam.
>>
>> Wenn ich in die Datenbank schauen würde und den letzten Wert abfrage, und
>> dieser die Information enthält die ich suche, (nämlich zum Beispiel
>> 613390,5L) dann dauert die Abfrage des Wertes nur Millisekunden.
>>
>> Übrigens dauert es 38 Sekunden, wenn ich die aktuell 458733 Datensätze
>> des Wasserzählers in der Administration der Datenbank folgendermaßen
>> abfrage:
>>
>> SELECT * FROM `data` WHERE channel_id = '16'
>>
>> Is ja auch kein Wunder, dass es dauert bis man ein paar hunderttausend
>> Datensätze abgefragt und aufaddiert hat.
>>
>> Aber warum muss man denn ein paar hunderttausend Werte abfragen und
>> aufaddieren, wenn man anstatt dummen S0 Bits auch die wirkliche Anzahl der
>> Impulse speichern kann?
>>
>> Statt hundertausende Daten abfragen und addieren zu müssen, reicht dann
>> die Abfrage von einem einzigen Datensatz.
>>
>> Will man einen Bereich wissen muss man nur zwei Datensätze abfragen und
>> die Differenz bilden.
>>
>> Das geht dann logischerweise Faktor mehrere hunderttausendfach schneller
>>
>> Und genau das ist der Grund ,warum ich von S0 Impulse nix halte und sie
>> so oft wie möglich versuche zu vermeiden.
>>
>>
>>
>> Ich schaue per http Abfrage über JSON über die API der Middleware in die
>> Datenbank.
>>
>> (Ich habe mir ein eigenes Hardwarefrontend gebaut.
>>
>> Das besteht aus einem ESP8266 und einem 2,8“ 320x200 Display für
>> insgesamt 20 Euro.
>>
>> Das geht dann immer mit der Beleuchtung im Gäste WC an, fragt die Daten
>> über WLAN ab und stellt sie dar.
>>
>> Leider hatte ich noch keine Zeit dies zum Nachbauen zu dokumentieren L
>>
>> Die nächste Stufe in 4“ mit 480x320 liegt hier vor mir, muss ich nur Zeit
>> für haben)
>>
>>
>>
>> Warum ich das über einen ESP8266 machen will?
>>
>> Weil ich schon 2 Stück ESP8266 laufen habe, die über WLAN Daten an den
>> Volkszähler senden.
>>
>> 1x drei Drehzahlen von der kontrollierten BE- und Entlüftung meiner
>> Wärmepumpe. Da musste ich selber die Software schreiben bis das klappte.
>>
>> 1x mit 15 Stück DS18b20 Temperatursensoren. Da konnte ich als Software
>> eine gepimpte Version von ESP Easy Mega nehmen.
>>
>> Und weil ich keine Kabelverbindung (außer der Stromleitung) zum Carport
>> liegen habe, aber selbiges locker in WLAN Reichweite liegt.
>>
>> Die galvanische Trennung auf der Signalebene ist sicherlich auch nicht
>> schlecht. Wer weiß schon was sich da draußen für böse Spannungen
>> rumtreiben, die meinen Raspi ärgern wollen.
>>
>>
>>
>> Den letzten Datensatz per http Request abzufragen ist sehr einfach:
>>
>> 192.168.178.xx/middleware.php/data/xxxxx--UUID--xxxxx.json?from=now
>>
>> Die Antwort ist ein JSON mit dem letzten timestamp und dem letzten Wert.
>>
>>
>>
>> Nun nochmal zu meinen Fragestellungen:
>>
>> 1.            Hat schon mal jemand eine Betriebsstunden- und/oder
>> Schaltspielerfassung mit einem Volkszähler realisiert? Wenn ja, wie?
>>
>> 2.            Wie stellt man die Betriebsstunden im Frontend dar? Wie
>> sieht das aus? „Betriebsstundenzähler (Impulse)“ und „Betriebsstundenzähler
>> (Zählerstand)“ gibt es ja, aber dann gibt es noch einen
>> „Betriebsstundenzähler“. Was ist das?
>>
>> 3.            Wie stellt ich die Schaltspiele dar? Als Ventil? Welche
>> Daten braucht das Ventil? „1“ für „high“ und „0“ für „low“? Ist das
>> irgendwo dokumentiert?
>>
>> 4.            Der Bewegungsmelder schaltet ja auch den ESP8266 mit ein
>> und aus. Die Bootverzögerung kann ich ignorieren oder mal messen und dann
>> als konstanten Wert zu jeder Messung dazu addieren.
>>
>> Aber wie schaffe ich es, dass der ESP8266 das Abschalten registriert und
>> dann noch den Wert an die Datenbank sendet?
>>
>>
>>
>> Hat vielleicht jemand ein paar gute Ideen wie man das umsetzen kann?
>>
>>
>>
>> Danke und liebe Grüße,
>>
>> Chris
>>
>>
>>
>> *Von:* Rupert Schöttler [mailto:rupert.schoettler at gmx.de]
>> *Gesendet:* Dienstag, 1. Mai 2018 12:46
>> *An:* volkszaehler-users at demo.volkszaehler.org
>> *Betreff:* Re: [vz-users] Schaltspiel- und Betriebsstundenzähler -
>> Konzept gesucht
>>
>>
>>
>> Hallo Christian,
>>
>>
>>
>> Am 30.04.2018 um 10:52 schrieb Christian Wulff:
>>
>> ich bin auf der Suche nach einem Konzept für folgende Fragestellung:
>>
>>
>>
>> Ich möchte die Schaltspiele und Betriebsstunden einer
>> Bewegungsmelder-gesteuerten Beleuchtung über WLAN mit dem Volkszähler
>> erfassen.
>>
>>
>>
>> Die Schaltspiele möchte ich dabei nicht als S0 Impulse, sondern als Zahl
>> gespeichert haben. Das heißt folgendermaßen: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10,
>> 11, ........
>>
>> Hintergrund ist, dass man so auf den ersten Blick in die Datenbank die
>> Schaltspiele ablesen kann, und nicht bei einer Abfrage mühsam alle Impulse
>> aufaddieren muss. (Hab ich nämlich schon bei anderen Kanälen in der
>> Datenbank und dauert mir bei der späteren Abfrage leider zu lange).
>>
>>
>> Ich meine, dass das mit S0-Impulsen schon gut geht: Jedes Einschalten
>> (Wechsel 0 -> 1) erzeugt einen Impuls, den Du mit vzlogger registrieren
>> kannst. Die Auflösung ist 1. In der Grafik des VZ bzw. der Tabelle darunter
>> bekommst Du dann als "Verbrauch" die Anzahl Schaltspiele im ausgewählten
>> Zeitraum. Ok, 100% so wie Du Dir das vorstellst, ist es nicht. Aber das
>> Aufaddieren ist m.E. nicht "mühsam", wie Du schreibst.
>> Das wäre der 1. Kanal zum Mitzählen.
>>
>> Bei den "Betriebsstunden" sollen die "Betriebssekunden" aufaddiert
>> werden. Diese können variieren, weil der Bewegungsmelder innerhalb seiner
>> Timerlaufzeit mehrfach ausgelöst werden kann, oder das Licht auch manuell
>> angeschaltet werden kann.
>>
>> Das heißt folgendermaßen (Beispiel pro Schaltspiel 55 Sekunden, kann aber
>> auch variieren): 55, 110 , 165, 220, 652, 707, 762, 817, 1254, 1309, .....
>>
>> Auch hier der gleiche Grund: Bei ersten Blick in die Datenbank möchte ich
>> die Betriebsstunden in Sekunden auslesen.
>>
>>
>> Hierzu würde ich einen 2. Kanal einrichten, der auf dasselbe 1 / 0-Signal
>> reagiert. Ich habe eine Photodiode, die registriert, ob im Keller Licht an
>> ist, und das an einen GPIO des Pi gibt. Der Kanal ist ein allgemeiner
>> "Sensor" mit Einheit "Ein" und Stil "states". Hier sehe ich z.B. in der
>> Tabelle, dass das Licht im Durchschnitt eines Tages "0,037 Ein" war. Gut,
>> das müsste ich in Stunden umrechnen. Vermutlich geht es mit dem Kanaltyp
>> "Betriebsstundensensor" viel einfacher, ich habe damit aber keine Erfahrung.
>>
>> Ich gebe zu, meine Lösungsvorschläge ignorieren Deinen Wunsch, "beim
>> ersten Blick in die DB" die Info zu bekommen. Ich kann den aber auch nicht
>> wirklich nachvollziehen: Wie würdest Du "in die DB" hineinschauen? Per SQL?
>> Auch dann muss, nach Tausenden Schaltspielen, die je 1 Datensatz erzeugt
>> haben, der richtige =letzte herausgesucht werden. Geht das schneller als
>> ein COUNT oder SUM? Ich habe eine analoge Wasseruhr als S0-Zähler
>> eingerichtet, die hat nach 4 Monaten rd. 226.000 Datensätze in die DB
>> gepumpt. Eine Grafik über diesen Zeitraum aufzubauen dauert ein paar
>> Sekunden, liefert mir aber neben dem Gesamtverbrauch auch den zeitlichen
>> Verlauf. Würde ich diese Daten verdichten gemäß
>> https://wiki.volkszaehler.org/howto/datenmengen, würde es vermutlich
>> noch deutlich schneller gehen.
>>
>> Direkt auf der DB (phpMyAdmin) geht's auch nicht viel schneller:
>>
>> Zeige Datensätze 0 -  0 (1 insgesamt, Die Abfrage dauerte 3.7392
>> Sekunden.)
>>
>> SELECT count(*), Sum(value) FROM `data` WHERE channel_id=12
>> 225887    736725
>>
>> (Da fällt mir auf: 736.725 Impulse bei 60 Imp/l sind 12.278,75 l. Die
>> Tabelle sagt 12,2 m³ -- kann das Teil nicht richtig runden??)
>>
>> Brauchst Du bessere Performance, für die es sich lohnt, die
>> Standardkonzepte zu verbiegen?
>>
>> Als Hardware dachte ich an einen ESP8266. Damit habe ich bereits einige
>> Projekte erfolgreich gemacht. Diesen könnte ich auch mit einem FRAM
>> Speichermodul kombinieren, um die Werte beim Sensor zwischenzuspeichern.
>>
>> Was soll der ESP8266 machen? M.E. reicht es, wenn Du Licht an/aus als 1/0
>> an einen GPIO bekommst und das mit vzlogger an die Middleware übertragen
>> lässt.
>>
>>
>> Warum will ich das haben? In erster Linie: Just for fun!
>>
>> Das ist die wichtigste Triebfeder! :-)
>>
>> Viele Grüße
>> Rupert
>>
>>
>>
>>
>>
>>
>>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20180505/b8924434/attachment-0001.html>