<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:"Segoe UI Emoji";
panose-1:2 11 5 2 4 2 4 2 2 3;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
span.E-MailFormatvorlage19
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:70.85pt 70.85pt 2.0cm 70.85pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=DE link=blue vlink=purple style='word-wrap:break-word'><div class=WordSection1><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Hallo Manfred,<o:p></o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>nachdem ich vergangene beide Male workaround a) gewählt habe bin ich nun Weg b) gegangen. Das hat soweit geklappt. Vielen Dank für deine Hilfe!<o:p></o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Vielen Dank auch für das Eröffnen eines Issues. Wie sind die Chancen, dass sich jemand der Problematik annimmt?<o:p></o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Das Problem hat seinem Ursprung vermutlich darin, dass sporadisch Daten vom Zähler ausbleiben. Dennoch sollte die Aggregation da robust genug sein.<o:p></o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Viele Grüße<o:p></o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Micha<o:p></o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b>Von:</b> mh <mh.er@arcor.de> <br><b>Gesendet:</b> Montag, 24. April 2023 20:20<br><b>An:</b> volkszaehler.org - users <volkszaehler-users@demo.volkszaehler.org>; hartmann-micha@web.de<br><b>Betreff:</b> Re: [vz-users] Aggregation (minute) schlägt fehl<o:p></o:p></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal style='margin-bottom:12.0pt'>Hallo Micha,<br><br>das Problem entsteht dadurch, dass du einen Datenwert exakt bei der vollen Minute <span style='mso-fareast-language:EN-US'>(Sonntag, 23.04.2023, 22:15Uhr) hast, und das aggregate Script für diesen Zeitpunkt den nächsten Wert der aggregate Tabelle berechnen will.<br><br>In der SQL Anweisung </span><br><span style='mso-fareast-language:EN-US'><br>COALESCE( SUM(agg.val_by_time) / (MAX(agg.timestamp) - MIN(agg.prev_timestamp)),<br><br>ist dann (MAX(agg.timestamp) = MIN(agg.prev_timestamp), was zur Division durch Null führt. <br>Das Problem tritt übrigens nur auf, weil es nur einen Datenwert in diesem Minutenslot gibt.<br>(ich hatte das schon am 24.3. mal geschrieben - zugegebenermaßen etwas schwer verständlich formuliert).<br><br>Ich habe beim Check meiner Datenbank übrigens das gleiche Problem entdeckt, das da seit Anfang Januar "schlummert".<br><br>Hier mal zwei Screenshots aus HeidiSQL, einmal die Daten zum kritischen Zeitpunkt<br><br><br><img width=833 height=258 style='width:8.677in;height:2.6875in' id="Bild_x0020_1" src="cid:image001.jpg@01D97793.C10E0680"><br><br>und die zugehörige aggregate Tabelle, die am 2023-01-02 15:09:53 abbricht, weil der Wert für 15:10 immer wieder zur Division durch 0 führt, <br>weil kein weiterer Datenwert im Zeitslot für 15:10 existiert (sonder erst um 15:11:37).<br><br><img width=861 height=196 style='width:8.9687in;height:2.0416in' id="Bild_x0020_2" src="cid:image002.jpg@01D97793.C10E0680"><br><br>Du kannst die SQL Kommandos modifiziert für channel_id und Zeitpunkt bei dir mal ausprobieren, und solltest etwas ähnliches finden.<br><br>Es gibt zwei Abhilfen:<br>a. du kannst die aggregate Tabelle für den Kanal neu rechnen lassen, dann kommt das Skript "über" die kritische Stelle<br>b. du kannst den Zeitstempel des Datenwertes modifizieren, z.b. ein Sekunde dazugeben.<br><br>zu b.:<br>Wenn du HeidiSQL verwendest, geht das einfach durch Ändern der entsprechenden Zelle.<br><br>In mysql geht das mit folgendem Befehl:<br><br>REPLACE INTO volkszaehler.data (channel_id,timestamp,value) VALUES (3, 1682280901000 , <dein value>)<br><br>Falls du mit SQL nicht vertraut bist:<br>Den Wert von <dein value> kannst du mit dem Kommando<br><br>SELECT * FROM volkszaehler.data WHERE channel_id=3 AND timestamp= 1682280900000<br><br>herausfinden.<br><br>Ich werde einen issue aufmachen, um einen fix im Script zu addressieren.<br><br>Gruss<br>Manfred<br><br><br></span><o:p></o:p></p><div><p class=MsoNormal>Am 24.04.2023 um 17:07 schrieb <a href="mailto:hartmann-micha@web.de">hartmann-micha@web.de</a>:<o:p></o:p></p></div><blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Hallo Jens, </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'> </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>erwartungsgemäß ist das Problem wieder da! Die Aggregation die ich nun alle 15min nur noch auf ausgewählte Kanäle laufen lasse schlägt wieder fehl.</span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'> </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Ich habe dein SQL-Statement ausgeführt und hänge die CSV-Datei hier an.</span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'> </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Hier sehe ich mit Timestamp 1682280900000 (Sonntag, 23.04.2023, 22:15Uhr) Nullwerte. Das passt da ich erstmalig 22:30Uhr die Fehlermeldung bekomme.</span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'> </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Wie muss ich das nun interpretieren. Dabei brauche ich Unterstützung!</span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'> </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Viele Grüße</span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'> </span><o:p></o:p></p><p class=MsoNormal><span style='mso-fareast-language:EN-US'>Micha</span><o:p></o:p></p><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b>Von:</b> Jens Scheidtmann <a href="mailto:jens.scheidtmann@gmail.com"><jens.scheidtmann@gmail.com></a> <br><b>Gesendet:</b> Samstag, 25. März 2023 14:30<br><b>An:</b> Michael Hartmann <a href="mailto:hartmann-micha@web.de"><hartmann-micha@web.de></a>; volkszaehler.org - users <a href="mailto:volkszaehler-users@demo.volkszaehler.org"><volkszaehler-users@demo.volkszaehler.org></a><br><b>Betreff:</b> Re: [vz-users] Aggregation (minute) schlägt fehl<o:p></o:p></p></div><p class=MsoNormal> <o:p></o:p></p><div><p class=MsoNormal>Hallo Micha,<o:p></o:p></p></div><div><p class=MsoNormal> <o:p></o:p></p></div><div><p class=MsoNormal>die Statements sollen im Fehlerfall die Tabellenzeilen finden, die zum Fehler führen. <o:p></o:p></p></div><div><p class=MsoNormal>Ohne Fehler gibt es keine 0-Zeilen.<o:p></o:p></p></div><div><p class=MsoNormal> <o:p></o:p></p></div><div><p class=MsoNormal>Wenn es jetzt nicht mehr auftritt, dann war die Drohung ausreichend. <span style='font-family:"Segoe UI Emoji",sans-serif'>😉</span><o:p></o:p></p></div><div><p class=MsoNormal> <o:p></o:p></p></div><div><p class=MsoNormal>Jens <o:p></o:p></p></div><p class=MsoNormal> <o:p></o:p></p><div><p class=MsoNormal>Michael Hartmann <<a href="mailto:hartmann-micha@web.de">hartmann-micha@web.de</a>> schrieb am Sa. 25. März 2023 um 12:40:<o:p></o:p></p></div><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='color:#1F497D'>Hallo Jens,</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='color:#1F497D'> </span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='color:#1F497D'>ich habe das erste SQL-Statement ausgeführt und hänge das CSV hier an.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='color:#1F497D'> </span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='color:#1F497D'>Einen Nullwert kann ich da nicht ausmachen. Auch scheint mir die Ausgabe nicht so zu sein wie gewünscht/erwartet? Die Frage ist auch, ob der Ansatz so funktioniert, da ich die Aggregationstabelle ja neu aufgebaut habe und das minütliche Aggregieren aktuell fehlerfrei ist.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;background-color:rgba(0,0,0,0)!important'><span style='color:#1F497D'>[…]</span><o:p></o:p></p></blockquote><p class=MsoNormal><o:p> </o:p></p></div></body></html>