[vz-users] Wann/wie pusht der push Server?

Sat Nov 17 19:19:38 CET 2018

Welches Logfile?

Vzlogger oder node-red?

Wenn Vzlogger dann mit welcher verbosity?

Wenn node-red, dann wo finde ich das?

Lieben Gruß,

Chris

Von: Frank Richter <frank.richter83 at gmail.com> 
Gesendet: Samstag, 17. November 2018 18:46
An: volkszaehler.org - users <volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Logfile mit deaktivierten Push an Node-RED?

Grüße

Frank

Am Sa., 17. Nov. 2018, 18:43 hat Christian Wulff <christianwulff at gmx.de <mailto:christianwulff at gmx.de> > geschrieben:

Hmm, ich lese deine mail, aber verstehe nicht was du meinst.

Dich interessieren die anderen Komponenten (logger, push etc).

Was meinst du damit?

Alles läuft auf dem RaspberryPi: alles vom volkszähler, nodered und mosquitto.

In der config steht (jetzt auf dein anraten ist der :1880 auskommentiert)

  "push": [

    {

      "url": "http://127.0.0.1:5582"},

   // { "url": "http://127.0.0.1:1880/vzpush"    }

  ],

Der Rest ist im Flow.

Was fehlen dir genau noch für Infos?

Ich dachte es wäre egal was hinter dem socket node und dem http node kommt. Die pollen doch nicht (oder sehe ich das falsch?)

Ich dachte wenn der push server was pusht, dann starten die function nodes und versuchen zu parsen.

Die function nodes schauen nach welche uuid reinkommt und je nach uuid fügen sie die entsprechenden topics der message hinzu. Und dann geht’s weiter nach MQTT und dem node-red Dashboard und im Falle des Wasserkanals laufen noch timer ab, die am Ende wieder eine 0 senden, damit der letzte Durchflusswert nicht auf dem Topic stehen bleibt, obwohl schon lange nix mehr fliesst.

Wenn ich dich jetzt richtig verstanden habe, dann ist der Weg über websockets der leichtgewichtigere, richtig? Denn jage ich die ganzen Temperaturen in Zukunft da rüber (waren über den http Weg).

Die Zählerstände gehen nur über den http Weg.

Die Impulse brauche ich nicht.

Ich habe jetzt einiges getestet.

Leider funktioniert es immer noch nicht so wie gewünscht.

Jeder Impuls, bzw. jede Leistung bei jedem Impuls kommt in der Datenbank und im Frontend an. Sie sind also da.

Aber über den Push Server kommt nicht jede Leistung/ jeder Impuls der Wasseruhr an. Da fehlen zwischendurch immer wieder welche.

Woran kann das nur liegen?

Lieben Gruß,

Chris

Von: Andreas Goetz <cpuidle at gmail.com <mailto:cpuidle at gmail.com> > 
Gesendet: Samstag, 17. November 2018 18:19
An: volkszaehler.org <http://volkszaehler.org>  - users <volkszaehler-users at demo.volkszaehler.org <mailto:volkszaehler-users at demo.volkszaehler.org> >
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

On 17. Nov 2018, at 17:55, Christian Wulff <christianwulff at gmx.de <mailto:christianwulff at gmx.de> > wrote:

Kam das Diagramm eben nicht mit?

Denn häng ich es hier nochmal als Anhang dran.

Doch, kam es. Mich interessieren die anderen Komponenten (logger, push etc).

Warum ich zwei habe, hatte ich doch gerade erklärt:

Über den socket node kommen die Leistungen (und Temperaturen) und nicht die Zählerstände.

Also “Interpretierte” Werte? Oder auch Leistungen aus dem vzlogger?

Über den http node kommen die Zählerstände (und Temperaturen) und nicht die Leistungen.

Vzlogger verschickt Rohwerte und Pushserver interpretiert sie vor Weiterverteilung fürs Frontend. Mindestens Temperaturen und Leistungen kommen also auf beiden Wegen gleich an, Zählerstände und Impulse nicht.

Wenn man also Leistungen UND Zählerstände (und Temperaturen) in MQTT haben will, dass muss man doch beide nehmen, oder wie soll das sonst gehen?

Zählerstände gehen momentan nicht über den Pushserver, korrekt. Temperaturen (=Momentanwerte) gehen wunderbar. Wäre ein sinnvolles Enhancement (mach gerne ein Ticket auf).

Mich verwirrt dass Du über den Pushserver gemeckert hast. In Deinem Log ist das Problem zwischen vzlogger und nodered. Nicht beim Pushserver.

Wenn ich das richtig verstanden habe bleibts dabei- Du musst rausfinden welches Problem node-red mit HTTP inbound hat.

Nun ist mein Flow im Anhang:

Links oben sind die beiden Push Server nodes

Der lila node schiebts nach MQTT

Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins node-RED Dashboard geschoben

Und unten hab ich mir was überlegt, damit nicht immer der letzte Durchflusswert auf dem Display stehen bleibt

Lieben Gruß,

Chris

Viele Grüße, Andreas

Von: Andreas Goetz <cpuidle at gmail.com <mailto:cpuidle at gmail.com> > 
Gesendet: Samstag, 17. November 2018 17:51
An: volkszaehler.org <http://volkszaehler.org>  - users <volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi,

On 17. Nov 2018, at 17:46, Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> wrote:

Ich weiss nicht genau, ob ich das richtig verstehe.

Ich auch nicht :)

Ich habe doch einen socket node und einen http node (oder nicht?)

Über den socket node kommen die Leistungen (und Temperaturen).

Über den http node kommen die Zählerstände (und Temperaturen).

Versteh ich nicht. Warum hast Du zwei? Kannst Du mal ein Diagramm machen wer was wohin mit welchem Protokoll pusht bei Dir?

Ich dachte anders geht das nicht?

k.A. da ich Dein Setup nicht verstehe.

Wie finde ich die Last des node Red Servers und dessen Logfile? (noch nicht in google gefunden)

Anscheinend nur auf der Konsole, keine Ahnung wo das unter Linux landet:  <https://nodered.org/docs/user-guide/logging> https://nodered.org/docs/user-guide/logging 

Lieben Gruß,

Chris

Viele Grüße, Andreas

Von: Andreas Goetz < <mailto:cpuidle at gmail.com> cpuidle at gmail.com> 
Gesendet: Samstag, 17. November 2018 17:40
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Laut vzlogger logfile mag Dein http input node nix empfangen. 

Alternative: Du nimmst einen socket node und verbindest den mit dem pushserver (der dient als Verteiler). die websockets sollten etwas leichtgewichtiger sein.

Hast Du mal geschaut welche Last auf Deinem node-red Server herrscht und was im node-red Logfile steht? Oder falls Du einen reverse proxy davor hast in dessen logfile? Irgendwo müssen die http requests ja verrecken.

Viele Grüße, Andreas

On 17. Nov 2018, at 17:37, Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> wrote:

Moin Andreas,

Eigentlich ist das ganz einfach: Alles soll an den MQTT Broker gesendet werden.

Über den einen kommen die Leistungen, über den anderen die Zählerstände. Beide hätte ich gerne in MQTT.

(Die Temperaturen kommen über beide)

Das interessante ist ja, das es mal funktioniert hat. Ich weiss allerdings nicht mehr genau ab wann nicht mehr, aber es könnte sein, dass es mit dem http-Input node zusammenhängt.

Das werde ich jetzt mal ausprobieren.

Hier der Flow:

Links oben sind die beiden Push Server nodes

Der lila node schiebts nach MQTT

Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins node-RED Dashboard geschoben

Und unten hab ich mir was überlegt, damit nicht immer der letzte Durchflusswert auf dem Display stehen bleibt

<image001.png>

Lieben Gruß,

Chris

Von: Andreas Goetz < <mailto:cpuidle at gmail.com> cpuidle at gmail.com> 
Gesendet: Samstag, 17. November 2018 17:10
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi Christian,

Du hattest Dich ja über den Pushserver beschwert- der wird unten im Log aber gar nicht angesprochen. 

Bevor wir hier rätselraten- könntest Du mal ein Diagramm machen wer da was wohin pushen soll?

Was genau horcht hinter node-red/vzpush für ein Node?

Viele Grüße,

Andreas

On 17. Nov 2018, at 13:40, Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> wrote:

Hi Christian,

genau hinschauen: das sind 2 verschiedene Server!

Wahrscheinlich ist der http-Input von Node-RED nicht leistungsfähig genug für Impulse im Sekundentakt. Nimm mal den Push-Eintrag an Node-RED (Port 1880) aus der Config raus und probier aus, ob der vz Push-Server dann wieder ordnungsgemäß läuft.

Grüße

Frank

Am Sa., 17. Nov. 2018, 13:33 hat Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> geschrieben:

Hmm, was bedeutet denn das hier?:

[Nov 17 13:08:23][push] CURL Request to  <http://127.0.0.1:5582/> http://127.0.0.1:5582 succeeded with code: 200

[Nov 17 13:08:23][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Couldn't connect to server

[Nov 17 13:08:23][push] send nok to url  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush

Hat er sich jetzt richtig verbunden, oder nicht?!

Code 200 bedeutet doch: 200="OK"

Dann kommt aber „Couldn't connect to server“

Und dann sendet er nok (no okay?!)

Lieben Gruß,

Chris

Von: Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> 
Gesendet: Samstag, 17. November 2018 13:05
An: ' <http://volkszaehler.org/> volkszaehler.org - users' < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Na das ist jetzt mal heftig!

Ich dachte ein S0 Kanal kann nur 0 oder 1 sein?!

Ich habe im Log 1, 2 und 3 gefunden.

Okay, ich hab mal mit den Extremwerten gespielt.

Ich hab den Rückspülfilter gespült und so wohl die maximal mögliche Durchflussmenge aus der Leitung entnommen.

Das liegt bei 4560 L/h

Das sind 76 l/min

Pro Impuls fließen durch die Wasseruhr 0,5L

Das macht dann 152 Impulse oder 2,533 Impulse pro Sekunde.

Das sieht für mich so aus, dass der Logger im Sekundentakt getaktet ist, und alle Impulse in dieser Sekunde addiert.

So kommt er dann auf bis zu 3 Impulse.

Das Frontend zeigt das auch korrekt an.

Soweit so gut, aber warum kommts nur alle 30 Sekunden in MQTT sicher an?!

Lieben Gruß,

Chris

Von: Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> 
Gesendet: Samstag, 17. November 2018 12:38
An: ' <http://volkszaehler.org/> volkszaehler.org - users' < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: AW: [vz-users] Wann/wie pusht der push Server?

Nun kann ich hier endlich weitermachen.

Bei „verbosity": 0 steht im LogFile folgendes (nur die letzten paar Zeilen)

Im Log File finde ich folgendes:

[Nov 17 12:30:59][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:31:30][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:32:01][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:32:31][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:33:02][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:33:33][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

[Nov 17 12:34:03][push] CURL:  <http://127.0.0.1:1880/vzpush> http://127.0.0.1:1880/vzpush Timeout was reached

Die S0 Impulse kamen ja alles 30 Sekunden, das deckt sich damit ja schonmal.

Weiss jemand was da nicht stimmt?

Ich werde mal die Verbosity erhöhen und nochmal testen.

Lieben Gruß,

Chris

Von: Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> 
Gesendet: Sonntag, 11. November 2018 12:18
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Klar, [push] findest du auch im vzlogger-Logfile.

Gruß

Frank

Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> schrieb am So., 11. Nov. 2018 12:11:

Kann das sein, dass irgendwas überlastet ist?

Oder aggregiert da irgendwas?!

Bei den Temperaturen fehlt nix, gut, die kommen auch nur 1x pro Minute.

Kann man das irgendwie testen, mitloggen, debuggen oder so?

Lieben Gruß,

Chris

Von: Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> 
Gesendet: Samstag, 10. November 2018 21:07
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi Christian,

über den Push-Server kommen nur die Websockets, HTTP Post kommt direkt vom vzlogger. Wenn beides unvollständig ist, liegt es am vzlogger. Warum das passiert, kann ich spontan nicht erklären.

Grüße

Frank

Am 10.11.2018 20:30 schrieb "Christian Wulff" < <mailto:christianwulff at gmx.de> christianwulff at gmx.de>:

Moin Frank,

ich lese den Push Server auf beide Arten aus dem Wiki ein, so kommen die Leistungswerte und die Impulse (die Impulse brauche ich natürlich nicht, mit der Methode lese ich die Rohwerte der Stromzähler ein, habe ich nur zum Testen benutzt)

Reicht es den Raspi neu zu booten (sudo reboot now) um Node-RED neu zu starten? Wenn ja, dann hab ich das schon vor dem Test gemacht, ja!.

Bei mir läuft alles vom volkszähler, Node-RED und der MQTT Broker auf dem Raspi3 (sonst aber nix)

Lieben Gruß,

Chris

Von: Frank Richter < <mailto:frank.richter83 at gmail.com> frank.richter83 at gmail.com> 
Gesendet: Samstag, 10. November 2018 13:57
An:  <http://volkszaehler.org/> volkszaehler.org - users < <mailto:volkszaehler-users at demo.volkszaehler.org> volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Wann/wie pusht der push Server?

Hi Christian,

der Push-Server liefert eh keine Impulse, sondern Leistungswerte. Aber er sollte alles weiterleiten, was vom vzlogger kommt.

Hast du dein Node-RED mal neu gestartet?

Grüße

Frank

Am Sa., 10. Nov. 2018, 12:51 hat Christian Wulff < <mailto:christianwulff at gmx.de> christianwulff at gmx.de> geschrieben:

Moin,

Wann und wie pusht der Push Server?

Pusht der Push Server immer und sicher, oder kann es sein, dass da was verloren geht?

Irgendwie kommt meine S0 Wasseruhr nicht mehr sicher durch?!

Die S0 Wasseruhr kommt nur noch mit starker Verzögerung und nur noch jeder gefühlte 5. oder 7. Impuls durch?!

Woran kann das liegen?

Das ganze läuft bei mir über nodeRED und MQTT.

In der Datenbank kommen immer alle Impulse sicher an.

Nur in MQTT kommts nicht mehr sicher raus.

Lieben Gruß,

Chris

<nodered.PNG>

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20181117/b3f7183b/attachment-0001.html>