
<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto">Hallo zusammen, <div>Ich habe den issue erstellt und auch eine mögliche Lösung skizziert (2 Zeilen Code anpassen). </div><div>Da ich keine passende Testumgebung habe und ich den Code nicht komplett überblicke, möchte ich die Implementierung den „Experten“ überlassen.</div><div>Das Problem tritt übrigens nicht nur bei Datenaussetzern auf. Ich habe Channels die ich nur im Minutentakt logge - die „erwischt“ es deterministisch.</div><div><br></div><div>Gruß Manfred <br><br><div dir="ltr"><br></div><div dir="ltr"><blockquote type="cite">Am 25.04.2023 um 16:34 schrieb hartmann-micha@web.de:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><meta name="Generator" content="Microsoft Word 15 (filtered medium)"><!--[if !mso]><style>v\:* {behavior:url(#default#VML);}

o\:* {behavior:url(#default#VML);}

w\:* {behavior:url(#default#VML);}

.shape {behavior:url(#default#VML);}

</style><![endif]--><style>@font-face { font-family: "Cambria Math"; }

@font-face { font-family: Calibri; }

@font-face { font-family: "Segoe UI Emoji"; }

p.MsoNormal, li.MsoNormal, div.MsoNormal { margin: 0cm; font-size: 11pt; font-family: Calibri, sans-serif; }

a:link, span.MsoHyperlink { color: blue; text-decoration: underline; }

span.E-MailFormatvorlage19 { font-family: Calibri, sans-serif; color: windowtext; }

.MsoChpDefault { font-size: 10pt; }

@page WordSection1 { size: 612pt 792pt; margin: 70.85pt 70.85pt 2cm; }

div.WordSection1 { page: WordSection1; }</style><!--[if gte mso 9]><xml>

<o:shapedefaults v:ext="edit" spidmax="1026" />

</xml><![endif]--><!--[if gte mso 9]><xml>

<o:shapelayout v:ext="edit">

<o:idmap v:ext="edit" data="1" />

</o:shapelayout></xml><![endif]--><div class="WordSection1"><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Hallo Manfred,<o:p></o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">nachdem ich vergangene beide Male workaround a) gewählt habe bin ich nun Weg b) gegangen. Das hat soweit geklappt. Vielen Dank für deine Hilfe!<o:p></o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Vielen Dank auch für das Eröffnen eines Issues. Wie sind die Chancen, dass sich jemand der Problematik annimmt?<o:p></o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Das Problem hat seinem Ursprung vermutlich darin, dass sporadisch Daten vom Zähler ausbleiben. Dennoch sollte die Aggregation da robust genug sein.<o:p></o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Viele Grüße<o:p></o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Micha<o:p></o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p><div><div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b>Von:</b> mh <mh.er@arcor.de> <br><b>Gesendet:</b> Montag, 24. April 2023 20:20<br><b>An:</b> volkszaehler.org - users <volkszaehler-users@demo.volkszaehler.org>; hartmann-micha@web.de<br><b>Betreff:</b> Re: [vz-users] Aggregation (minute) schlägt fehl<o:p></o:p></p></div></div><p class="MsoNormal"><o:p> </o:p></p><p class="MsoNormal" style="margin-bottom:12.0pt">Hallo Micha,<br><br>das Problem entsteht dadurch, dass du einen Datenwert exakt bei der vollen Minute <span style="mso-fareast-language:EN-US">(Sonntag, 23.04.2023, 22:15Uhr) hast, und das aggregate Script für diesen Zeitpunkt den nächsten Wert der aggregate Tabelle berechnen will.<br><br>In der SQL Anweisung </span><br><span style="mso-fareast-language:EN-US"><br>COALESCE( SUM(agg.val_by_time) / (MAX(agg.timestamp) - MIN(agg.prev_timestamp)),<br><br>ist dann (MAX(agg.timestamp) = MIN(agg.prev_timestamp), was zur Division durch Null führt. <br>Das Problem tritt übrigens nur auf, weil es nur einen Datenwert in diesem Minutenslot gibt.<br>(ich hatte das schon am 24.3. mal geschrieben - zugegebenermaßen etwas schwer verständlich formuliert).<br><br>Ich habe beim Check meiner Datenbank übrigens das gleiche Problem entdeckt, das da seit Anfang Januar "schlummert".<br><br>Hier mal zwei Screenshots aus HeidiSQL, einmal die Daten zum kritischen Zeitpunkt<br><br><br><div><image001.jpg></div><br><br>und die zugehörige aggregate Tabelle, die am 2023-01-02 15:09:53 abbricht, weil der Wert für 15:10 immer wieder zur Division durch 0 führt, <br>weil kein weiterer Datenwert im Zeitslot für 15:10 existiert (sonder erst um 15:11:37).<br><br><div><image002.jpg></div><br><br>Du kannst die SQL Kommandos modifiziert für channel_id und Zeitpunkt bei dir mal ausprobieren, und solltest etwas ähnliches finden.<br><br>Es gibt zwei Abhilfen:<br>a. du kannst die aggregate Tabelle für den Kanal neu rechnen lassen, dann kommt das Skript "über" die kritische Stelle<br>b. du kannst den Zeitstempel des Datenwertes modifizieren, z.b. ein Sekunde dazugeben.<br><br>zu b.:<br>Wenn du HeidiSQL verwendest, geht das einfach durch Ändern der entsprechenden Zelle.<br><br>In mysql geht das mit folgendem Befehl:<br><br>REPLACE INTO volkszaehler.data (channel_id,timestamp,value) VALUES (3, 1682280901000 , <dein value>)<br><br>Falls du mit SQL nicht vertraut bist:<br>Den Wert von <dein value> kannst du mit dem Kommando<br><br>SELECT * FROM volkszaehler.data WHERE channel_id=3 AND timestamp= 1682280900000<br><br>herausfinden.<br><br>Ich werde einen issue aufmachen, um einen fix im Script zu addressieren.<br><br>Gruss<br>Manfred<br><br><br></span><o:p></o:p></p><div><p class="MsoNormal">Am 24.04.2023 um 17:07 schrieb <a href="mailto:hartmann-micha@web.de">hartmann-micha@web.de</a>:<o:p></o:p></p></div><blockquote style="margin-top:5.0pt;margin-bottom:5.0pt"><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Hallo Jens, </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"> </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">erwartungsgemäß ist das Problem wieder da! Die Aggregation die ich nun alle 15min nur noch auf ausgewählte Kanäle laufen lasse schlägt wieder fehl.</span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"> </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Ich habe dein SQL-Statement ausgeführt und hänge die CSV-Datei hier an.</span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"> </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Hier sehe ich mit Timestamp 1682280900000 (Sonntag, 23.04.2023, 22:15Uhr) Nullwerte. Das passt da ich erstmalig 22:30Uhr die Fehlermeldung bekomme.</span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"> </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Wie muss ich das nun interpretieren. Dabei brauche ich Unterstützung!</span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"> </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Viele Grüße</span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US"> </span><o:p></o:p></p><p class="MsoNormal"><span style="mso-fareast-language:EN-US">Micha</span><o:p></o:p></p><div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b>Von:</b> Jens Scheidtmann <a href="mailto:jens.scheidtmann@gmail.com"><jens.scheidtmann@gmail.com></a> <br><b>Gesendet:</b> Samstag, 25. März 2023 14:30<br><b>An:</b> Michael Hartmann <a href="mailto:hartmann-micha@web.de"><hartmann-micha@web.de></a>; volkszaehler.org - users <a href="mailto:volkszaehler-users@demo.volkszaehler.org"><volkszaehler-users@demo.volkszaehler.org></a><br><b>Betreff:</b> Re: [vz-users] Aggregation (minute) schlägt fehl<o:p></o:p></p></div><p class="MsoNormal"> <o:p></o:p></p><div><p class="MsoNormal">Hallo Micha,<o:p></o:p></p></div><div><p class="MsoNormal"> <o:p></o:p></p></div><div><p class="MsoNormal">die Statements sollen im Fehlerfall die Tabellenzeilen finden, die zum Fehler führen. <o:p></o:p></p></div><div><p class="MsoNormal">Ohne Fehler gibt es keine 0-Zeilen.<o:p></o:p></p></div><div><p class="MsoNormal"> <o:p></o:p></p></div><div><p class="MsoNormal">Wenn es jetzt nicht mehr auftritt, dann war die Drohung ausreichend. <span style="font-family:"Segoe UI Emoji",sans-serif">😉</span><o:p></o:p></p></div><div><p class="MsoNormal"> <o:p></o:p></p></div><div><p class="MsoNormal">Jens <o:p></o:p></p></div><p class="MsoNormal"> <o:p></o:p></p><div><p class="MsoNormal">Michael Hartmann <<a href="mailto:hartmann-micha@web.de">hartmann-micha@web.de</a>> schrieb am Sa. 25. März 2023 um 12:40:<o:p></o:p></p></div><p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="color:#1F497D">Hallo Jens,</span><o:p></o:p></p><p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="color:#1F497D"> </span><o:p></o:p></p><p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="color:#1F497D">ich habe das erste SQL-Statement ausgeführt und hänge das CSV hier an.</span><o:p></o:p></p><p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="color:#1F497D"> </span><o:p></o:p></p><p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="color:#1F497D">Einen Nullwert kann ich da nicht ausmachen. Auch scheint mir die Ausgabe nicht so zu sein wie gewünscht/erwartet? Die Frage ist auch, ob der Ansatz so funktioniert, da ich die Aggregationstabelle ja neu aufgebaut habe und das minütliche Aggregieren aktuell fehlerfrei ist.</span><o:p></o:p></p><p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;background-color:rgba(0,0,0,0)!important"><span style="color:#1F497D">[…]</span><o:p></o:p></p></blockquote><p class="MsoNormal"><o:p> </o:p></p></div><div><2023-04-24 16_56_51-Fehlende Daten.png></div></div></blockquote></div></body></html>