[vz-users] Wann/wie pusht der push Server?

Sat Nov 17 19:19:35 CET 2018

Leicht gesagt,

mit github kenn ich mich leider null aus.

Hab das mal versucht und gescheitert, weil ich einfach nicht konstant Zeit dafür habe mich da reinzuarbeiten.

Alle paar Wochen mal ein abend, und am Ende muss es dann wieder laufen, weil der nächste timeslot wieder Wochen auf sich warten lässt.

Wenns nicht laufen würde, würde es wochenlang ausfallen. Das isses mir dann für ein nice to have auch nicht wert.

Lieben Gruß,

Chris

Von: Frank Richter <frank.richter83 at gmail.com> 
Gesendet: Samstag, 17. November 2018 19:01
An: volkszaehler.org - users <volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hallo zusammen,

für mich ist das bisher auch nicht als Push-Server-Problem erkennbar. Dass der Push-Server bei vzlogger -> Node-RED außen vor ist, habe ich schon letzte Woche versucht klarzustellen.

Matthias hat schon vor Wochen vorgeschlagen, vzlogger mit MQTT-Support (#357) zu verwenden.

Wäre sicher die sauberste Lösung. Musst halt den PR auschecken und neu compilieren. Trau dich!

Grüße

Frank

Am Sa., 17. Nov. 2018, 18:18 hat Andreas Goetz <cpuidle at gmail.com <mailto:cpuidle at gmail.com> > geschrieben:

On 17. Nov 2018, at 17:55, Christian Wulff <christianwulff at gmx.de <mailto:christianwulff at gmx.de> > wrote:

Kam das Diagramm eben nicht mit?

Denn häng ich es hier nochmal als Anhang dran.

Doch, kam es. Mich interessieren die anderen Komponenten (logger, push etc).

Warum ich zwei habe, hatte ich doch gerade erklärt:

Über den socket node kommen die Leistungen (und Temperaturen) und nicht die Zählerstände.

Also “Interpretierte” Werte? Oder auch Leistungen aus dem vzlogger?

Über den http node kommen die Zählerstände (und Temperaturen) und nicht die Leistungen.

Vzlogger verschickt Rohwerte und Pushserver interpretiert sie vor Weiterverteilung fürs Frontend. Mindestens Temperaturen und Leistungen kommen also auf beiden Wegen gleich an, Zählerstände und Impulse nicht.

Wenn man also Leistungen UND Zählerstände (und Temperaturen) in MQTT haben will, dass muss man doch beide nehmen, oder wie soll das sonst gehen?

Zählerstände gehen momentan nicht über den Pushserver, korrekt. Temperaturen (=Momentanwerte) gehen wunderbar. Wäre ein sinnvolles Enhancement (mach gerne ein Ticket auf).

Mich verwirrt dass Du über den Pushserver gemeckert hast. In Deinem Log ist das Problem zwischen vzlogger und nodered. Nicht beim Pushserver.

Wenn ich das richtig verstanden habe bleibts dabei- Du musst rausfinden welches Problem node-red mit HTTP inbound hat.

Nun ist mein Flow im Anhang:

Links oben sind die beiden Push Server nodes

Der lila node schiebts nach MQTT

Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins node-RED Dashboard geschoben

Und unten hab ich mir was überlegt, damit nicht immer der letzte Durchflusswert auf dem Display stehen bleibt

Lieben Gruß,

Chris

Viele Grüße, Andreas

Von: Andreas Goetz <cpuidle at gmail.com <mailto:cpuidle at gmail.com> > 
Gesendet: Samstag, 17. November 2018 17:51
An: volkszaehler.org <http://volkszaehler.org>  - users <volkszaehler-users at demo.volkszaehler.org <mailto:volkszaehler-users at demo.volkszaehler.org> >
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi,

On 17. Nov 2018, at 17:46, Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> wrote:

Ich weiss nicht genau, ob ich das richtig verstehe.

Ich auch nicht :)

Ich habe doch einen socket node und einen http node (oder nicht?)

Über den socket node kommen die Leistungen (und Temperaturen).

Über den http node kommen die Zählerstände (und Temperaturen).

Versteh ich nicht. Warum hast Du zwei? Kannst Du mal ein Diagramm machen wer was wohin mit welchem Protokoll pusht bei Dir?

Ich dachte anders geht das nicht?

k.A. da ich Dein Setup nicht verstehe.

Wie finde ich die Last des node Red Servers und dessen Logfile? (noch nicht in google gefunden)

Anscheinend nur auf der Konsole, keine Ahnung wo das unter Linux landet:  <https://nodered.org/docs/user-guide/logging> https://nodered.org/docs/user-guide/logging 

Lieben Gruß,

Chris

Viele Grüße, Andreas

Von: Andreas Goetz < <mailto:cpuidle at gmail.com> cpuidle at gmail.com> 
Gesendet: Samstag, 17. November 2018 17:40
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Laut vzlogger logfile mag Dein http input node nix empfangen. 

Alternative: Du nimmst einen socket node und verbindest den mit dem pushserver (der dient als Verteiler). die websockets sollten etwas leichtgewichtiger sein.

Hast Du mal geschaut welche Last auf Deinem node-red Server herrscht und was im node-red Logfile steht? Oder falls Du einen reverse proxy davor hast in dessen logfile? Irgendwo müssen die http requests ja verrecken.

Viele Grüße, Andreas

On 17. Nov 2018, at 17:37, Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> wrote:

Moin Andreas,

Eigentlich ist das ganz einfach: Alles soll an den MQTT Broker gesendet werden.

Über den einen kommen die Leistungen, über den anderen die Zählerstände. Beide hätte ich gerne in MQTT.

(Die Temperaturen kommen über beide)

Das interessante ist ja, das es mal funktioniert hat. Ich weiss allerdings nicht mehr genau ab wann nicht mehr, aber es könnte sein, dass es mit dem http-Input node zusammenhängt.

Das werde ich jetzt mal ausprobieren.

Hier der Flow:

Links oben sind die beiden Push Server nodes

Der lila node schiebts nach MQTT

Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins node-RED Dashboard geschoben

Und unten hab ich mir was überlegt, damit nicht immer der letzte Durchflusswert auf dem Display stehen bleibt

<image001.png>

Lieben Gruß,

Chris

Von: Andreas Goetz < <mailto:cpuidle at gmail.com> cpuidle at gmail.com> 
Gesendet: Samstag, 17. November 2018 17:10
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi Christian,

Du hattest Dich ja über den Pushserver beschwert- der wird unten im Log aber gar nicht angesprochen. 

Bevor wir hier rätselraten- könntest Du mal ein Diagramm machen wer da was wohin pushen soll?

Was genau horcht hinter node-red/vzpush für ein Node?

Viele Grüße,

Andreas

On 17. Nov 2018, at 13:40, Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> wrote:

Hi Christian,

genau hinschauen: das sind 2 verschiedene Server!

Wahrscheinlich ist der http-Input von Node-RED nicht leistungsfähig genug für Impulse im Sekundentakt. Nimm mal den Push-Eintrag an Node-RED (Port 1880) aus der Config raus und probier aus, ob der vz Push-Server dann wieder ordnungsgemäß läuft.

Grüße

Frank

Am Sa., 17. Nov. 2018, 13:33 hat Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> geschrieben:

Hmm, was bedeutet denn das hier?:

[Nov 17 13:08:23][push] CURL Request to  <http://127.0.0.1:5582/> http://127.0.0.1:5582 succeeded with code: 200

[Nov 17 13:08:23][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Couldn't connect to server

[Nov 17 13:08:23][push] send nok to url  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush

Hat er sich jetzt richtig verbunden, oder nicht?!

Code 200 bedeutet doch: 200="OK"

Dann kommt aber „Couldn't connect to server“

Und dann sendet er nok (no okay?!)

Lieben Gruß,

Chris

Von: Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> 
Gesendet: Samstag, 17. November 2018 13:05
An: ' <http://volkszaehler.org/> volkszaehler.org - users' < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Na das ist jetzt mal heftig!

Ich dachte ein S0 Kanal kann nur 0 oder 1 sein?!

Ich habe im Log 1, 2 und 3 gefunden.

Okay, ich hab mal mit den Extremwerten gespielt.

Ich hab den Rückspülfilter gespült und so wohl die maximal mögliche Durchflussmenge aus der Leitung entnommen.

Das liegt bei 4560 L/h

Das sind 76 l/min

Pro Impuls fließen durch die Wasseruhr 0,5L

Das macht dann 152 Impulse oder 2,533 Impulse pro Sekunde.

Das sieht für mich so aus, dass der Logger im Sekundentakt getaktet ist, und alle Impulse in dieser Sekunde addiert.

So kommt er dann auf bis zu 3 Impulse.

Das Frontend zeigt das auch korrekt an.

Soweit so gut, aber warum kommts nur alle 30 Sekunden in MQTT sicher an?!

Lieben Gruß,

Chris

Von: Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> 
Gesendet: Samstag, 17. November 2018 12:38
An: ' <http://volkszaehler.org/> volkszaehler.org - users' < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: AW: [vz-users] Wann/wie pusht der push Server?

Nun kann ich hier endlich weitermachen.

Bei „verbosity": 0 steht im LogFile folgendes (nur die letzten paar Zeilen)

Im Log File finde ich folgendes:

[Nov 17 12:30:59][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:31:30][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:32:01][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:32:31][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:33:02][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:33:33][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:34:03][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

Die S0 Impulse kamen ja alles 30 Sekunden, das deckt sich damit ja schonmal.

Weiss jemand was da nicht stimmt?

Ich werde mal die Verbosity erhöhen und nochmal testen.

Lieben Gruß,

Chris

Von: Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> 
Gesendet: Sonntag, 11. November 2018 12:18
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Klar, [push] findest du auch im vzlogger-Logfile.

Gruß

Frank

Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> schrieb am So., 11. Nov. 2018 12:11:

Kann das sein, dass irgendwas überlastet ist?

Oder aggregiert da irgendwas?!

Bei den Temperaturen fehlt nix, gut, die kommen auch nur 1x pro Minute.

Kann man das irgendwie testen, mitloggen, debuggen oder so?

Lieben Gruß,

Chris

Von: Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> 
Gesendet: Samstag, 10. November 2018 21:07
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi Christian,

über den Push-Server kommen nur die Websockets, HTTP Post kommt direkt vom vzlogger. Wenn beides unvollständig ist, liegt es am vzlogger. Warum das passiert, kann ich spontan nicht erklären.

Grüße

Frank

Am 10.11.2018 20:30 schrieb "Christian Wulff" < <mailto:christianwulff at gmx.de> christianwulff at gmx.de>:

Moin Frank,

ich lese den Push Server auf beide Arten aus dem Wiki ein, so kommen die Leistungswerte und die Impulse (die Impulse brauche ich natürlich nicht, mit der Methode lese ich die Rohwerte der Stromzähler ein, habe ich nur zum Testen benutzt)

Reicht es den Raspi neu zu booten (sudo reboot now) um Node-RED neu zu starten? Wenn ja, dann hab ich das schon vor dem Test gemacht, ja!.

Bei mir läuft alles vom volkszähler, Node-RED und der MQTT Broker auf dem Raspi3 (sonst aber nix)

Lieben Gruß,

Chris

Von: Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> 
Gesendet: Samstag, 10. November 2018 13:57
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi Christian,

der Push-Server liefert eh keine Impulse, sondern Leistungswerte. Aber er sollte alles weiterleiten, was vom vzlogger kommt.

Hast du dein Node-RED mal neu gestartet?

Grüße

Frank

Am Sa., 10. Nov. 2018, 12:51 hat Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> geschrieben:

Moin,

Wann und wie pusht der Push Server?

Pusht der Push Server immer und sicher, oder kann es sein, dass da was verloren geht?

Irgendwie kommt meine S0 Wasseruhr nicht mehr sicher durch?!

Die S0 Wasseruhr kommt nur noch mit starker Verzögerung und nur noch jeder gefühlte 5. oder 7. Impuls durch?!

Woran kann das liegen?

Das ganze läuft bei mir über nodeRED und MQTT.

In der Datenbank kommen immer alle Impulse sicher an.

Nur in MQTT kommts nicht mehr sicher raus.

Lieben Gruß,

Chris

<nodered.PNG>

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20181117/b37d3c7e/attachment-0001.html>