<div dir="ltr">Hallo Frank,<br><div class="gmail_extra"><br><div class="gmail_quote">2015-10-05 19:13 GMT+02:00 Hr FS <span dir="ltr"><<a href="mailto:mailing3000@googlemail.com" target="_blank">mailing3000@googlemail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div>Hallo Kollegen,<br></div>ich bekomme seit kurzem komische + und - Spikes in den Diagrammen des Demo-webfrontends zu sehen. </div></div></div></div></blockquote><div><br></div><div>Was heisst das? Gibts die Spikes auch in alten Daten oder nur in neuen Daten? Wenn letzteres liegt es sicher nicht an Frontend/Middleware. Hast Du 2 Beispiele? Wann hast Du zuletzt erwartetes Verhalten beobachtet?<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Geloggt wird mittels Udo's YPort (AVR 1284p) und E6. Im E6 sind aufsummierte Impulse für ein 8s-Intervall eingestellt.<br></div>Hat das etwas mit der DB-Umstellung zu tun? </div></div></div></blockquote><div><br></div><div>Nein. Da dies hier das Entwicklerforum ist dikutieren wir erstmal was/wie wir anpassen- genau das verfolgst Du gerade ;)<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Anbei ein screenshot. Früher waren die Sprünge immer recht smooth. Irgend etwas passt da nicht.<br></div></div></div></blockquote><div><br></div><div>Ja, sieht für PV sehr seltsam aus. Finde ich aber z.B. in Daten für Juni auch so.<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div></div>VG<br></div>Frank<br></div></blockquote><div><br></div><div>Viele Grüße,<br></div><div>Andreas<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">Am 5. Oktober 2015 um 15:48 schrieb Andreas Goetz <span dir="ltr"><<a href="mailto:cpuidle@gmail.com" target="_blank">cpuidle@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Jakob, all,<br><div class="gmail_extra"><br><div class="gmail_quote"><span>2015-10-05 15:16 GMT+02:00 Jakob Hirsch <span dir="ltr"><<a href="mailto:jh@plonk.de" target="_blank">jh@plonk.de</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi!<br>
<span><br>
Andreas Goetz wrote on 2015-10-02 10:49:<br>
> ich beobachte aktuell ein paar Probleme mit der Performance bei Nutzung<br>
> der Aggregation Root Cause scheint darni zu bestehen dass alle Anfragen<br>
> auf die Aggregationstabelle ziemlich aufwändig Unix Timestamps (sec) in<br>
> VZ Timestamps (ms) hin- und herrechnen müssen.<br>
<br>
</span>Diese "VZ"-Timestamps waren im Nachhinein wohl keine so gute Idee. Man<br>
brauchte aber sub-second-Auflösung und Javascript möchte die Timestamps<br>
sowieso in diesem Format. Ansonsten hätte man double oder so benutzen<br>
und jeden Wert multiplizieren müssen (in der Middlware beim GET oder im<br>
Frontend).<br></blockquote><div><br></div></span><div>Die Multiplikation vor/nach JSON tut gar nicht so weh- richtig weh tut dass wir zwischendurch beim Zugriff auf die Aggregationstabelle _alle_ Werte mit durchmultiplizieren müssen (Idee parken ;).<br><br></div><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>
> Wenn wir- das wäre der Vorschlag- unser DB Schema auf Unix Timestamps<br>
> umstellen können und auf Sekundenauflösung gehen dann würden wir eine<br>
<br>
</span>Nein, damit gäbe es große Abweichungen bei der Leistung. Selbst wenn man<br>
nur einen Impuls alle 10 bis 11 Sekunden hat, wäre der Fehler im<br>
Extremfall 10%.<br></blockquote><div><br></div></span><div>Guter Punkt! <br></div><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Neuere MySQL/MariaDB-Versionen können aber auch timestamps mit<br>
fractional seconds, evt. wäre das eine bessere Lösung.<br></blockquote><div><br></div></span><div>Muss ich anschauen. Gibts das schon auf Jessie?<br> <br></div><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>
> Für das API liesse sich das transparent halten oder- das wäre eigentlich<br>
<br>
</span>Dann mußt du aber auch mit MUL/DIV arbeiten...<br></blockquote><div><br></div></span><div>Wie gesagt- einmalig tut das nichtmal weh.<br> <br></div><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>
> mein Vorschlag- wir stellen auch das API auf Sekunden um. Der Change<br>
> würde die Kompatibilität von vzlogger bis zu jedem Client beeinflussen.<br>
<br>
</span>Das ist m.E. bei der Menge an benutzen Clients (insbesondere der<br>
Net-IOs, auch wenn man die m.E. eher nicht benutzen sollte) ein no-go.<br></blockquote><div><br></div></span><div>Ok.<br> <br></div><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Andere möglichkeit wäre eine Erweiterung der API: ts bleibt<br>
JS-timestamp, tsX (mit irgendwas sinnvollem für X) wären fractional.<br>
<br>
</blockquote></span></div><br></div><div class="gmail_extra">Ich überlege gerade:<br><br></div><div class="gmail_extra">1) entweder... statt ms in der DB etwas mit Faktor 1024 zu speichern- dann könnte man wenigstens shiften statt zu rechnen<br></div><div class="gmail_extra">2) gefällt mir grad sehr gut... in der Aggregate Tabelle noch eine TIMESTAMP Spalte hinzuzufügen. <br><br></div><div class="gmail_extra">Bei 2) bliebe die Quellauflösung der Daten gleich und nur für besonders schnelle Abfragen, bei Bedarf auf auf Sekunden aggregiert, würden wir wirklcih allen Overhead rausnehmen.<br><br></div><div class="gmail_extra">Das muss ich mir mal anschauen...<br><br></div><div class="gmail_extra">Viele Grüße,<br></div><div class="gmail_extra">Andreas<br><br></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div></div>