<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">2017-02-09 13:51 GMT+01:00 Andreas Goetz <span dir="ltr"><<a href="mailto:cpuidle@gmail.com" target="_blank">cpuidle@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<br><div><div class="gmail_extra"><br><div class="gmail_quote"><span class="">2017-02-09 13:23 GMT+01:00 <span dir="ltr"><<a href="mailto:china2013@abwesend.de" target="_blank">china2013@abwesend.de</a>></span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div><div>Hallo Andreas,</div>...<br> <br></div></div></blockquote></span><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:verdana;font-size:12px"><div> </div>
<div>Re: Du hast dabei die DB zerschossen...</div>
<div>Na ich hoffe nicht, denn aggrgate day mit dem Channel Auto funktioniert ja noch oder es liegt daran, dass dieser Channelvom Typ "S0-Impulse" ist.</div></div></div></blockquote><div><br></div></span><div>Also ich weiss nicht an welcher Stelle die Tabelle kaputt ist- da ist alles möglich. Ich hab die Tabelle jetzt gekillt und neu erzeugt, derzeit läuft aggregate.<br><br></div><div>Prinzipiell halte ich das Setup für Mist- in my.cnf steht /tmp als temp Ordner, das ist bei Dir ein 30MB Block. Auf dem rödelt jetzt eine 3,5GB Datenbank rum. DAS MUSS FRÜHER ODER SPÄTER CRASHEN!!!<br></div><span class=""><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:verdana;font-size:12px">
<div>Immer wieder werde ich gefragt warum die 2-Sekundenaufzeichnung: Weil ich nur so an vernünftige Gradientenwerte herankomme. Minuten sind eine ganze Größenordnung zu langsam.</div>
<div>
<div>Also, Das Systen ist noch online - habs gerade gestetet und aggregate ist aktuell leer (truncate)</div></div></div></div></blockquote><div><br></div></span><div>Neuaufbau aggregate läuft. Wenn das wieder crasht muss der /tmp Ordner geändert werden.<br></div></div></div></div></div></blockquote><div><br></div><div>... und es crasht wieder. Ordner auf /var/tmp verbogen- jetzt stehen da beim Lauf über Tage mit delta schonmal Tempdateien mit ca. 300MB drin.<br><br></div><div>Long story short: /tmp ist der falsche Ordner für mysql wenn größere Datenmengen bewegt werden.<br> <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div class="gmail_extra"><div class="gmail_quote"><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:verdana;font-size:12px"><div>
<div> </div>
<div>Viele Grüße</div>
<div>Saftwerk</div></div></div></div></blockquote><div><br></div><div>vg<span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888"><div>Andreas <br> <br></div></font></span><div><div class="h5"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:verdana;font-size:12px"><div>
<div> </div>
<div style="margin:10px 5px 5px 10px;padding:10px 0px 10px 10px;border-left:2px solid rgb(195,217,229)">
<div style="margin:0px 0px 10px"><b>Gesendet:</b> Donnerstag, 09. Februar 2017 um 09:11 Uhr<br>
<b>Von:</b> "Andreas Goetz" <<a href="mailto:cpuidle@gmail.com" target="_blank">cpuidle@gmail.com</a>><br>
<b>An:</b> "<a href="http://volkszaehler.org" target="_blank">volkszaehler.org</a> - users" <<a href="mailto:volkszaehler-users@demo.volkszaehler.org" target="_blank">volkszaehler-users@demo.volks<wbr>zaehler.org</a>><br>
<b>Betreff:</b> Re: [vz-users] falschen Messwert in der Aggregation löschen</div><div><div class="m_-4381895498884921359gmail-h5">
<div>Moin<br>
<br>
> On 9 Feb 2017, at 01:41, <a href="mailto:china2013@abwesend.de" target="_blank">china2013@abwesend.de</a> wrote:<br>
><br>
><br>
>> Und mal interessehalber: wie groß ist deine DB mittlerweile, wenn du keinerlei vzlogger-Aggregation benutzt?<br>
> sudo ls -l /var/lib/mysql/ = 3693 MByte ibdata1<br>
><br>
>> Archivierst du alles oder dünnst du später aus?<br>
> Alles! Erst wenn 365 Tage komplett sind gibts eine neue Datenbank<br>
> Aber ich hab so meine Zweifel, dass das klappt. Man muss zu oft Hand anlegen.<br>
> Meine beiden PV-Überwachungen laufen seit 5 Jahren noch mit der ersten Speicherkarte ohne Probleme.<br>
<br>
Warum auch immer Du für pv Sekundenwerte brauchst.<br>
<br>
> ...<br>
><br>
>> Hab das nachgeprüft: laut entities.js verwendet das Frontend nur group=day und group=hour. Wenn du minute auch nicht manuell verwendest, bringt es keinen Vorteil.<br>
> Danke, also noch ein Grund das aggregate.php zu überarbeiten und "Minute" entsorgen.<br>
<br>
Mit aggregate ist alles in Ordnung- benutz es halt einfach nicht mit Minuten!<br>
<br>
> Letztlich war aggregate.php der Grund des ganzen Übels, dass es mit großen Datenmengen nicht zurechtkommt.<br>
<br>
Häh? Womit kommt das nicht zurecht?<br>
<br>
> Es war ja leider nur ein gut gemeinter Rat, der aufgedeckt hat, dass aggregate nun gar nicht mehr will.<br>
<br>
Irgendwie gefällt mir der Ton nicht.<br>
<br>
Deinen originären Fehler haben wir nie diagnostiziert weil Du bis heute die Rohdaten nicht gepostet hast. Stattdessen kam die Holzhammermethode zum Einsatz.<br>
<br>
Ich würde sagen Du hast dabei die DB zerschossen indem Du gleichzeitig versucht hast a) alles aus aggregate zu löschen und b) die Tabelle je Minute komplett wieder neu aufzubauen. Irgendwann gabs out of memory und Korruption.<br>
<br>
Anwenderfehler!<br>
<br>
Jetzt gilt es:<br>
<br>
- tabelle mittels drop entsorgen<br>
- tabelle mittels misc/tools/doctrine orm:schema-tool:update neu aufbauen<br>
- währenddessen crontab lahm lagen<br>
- aggregate von hand mittels misc/tools/aggregate neu aufbauen<br>
- crontab ohne Minuten wieder in Betrieb nehmen<br>
- und dann abwarten<br>
<br>
><br>
> Viele Grüße<br>
> Saftwerk<br>
<br>
Viele Grüße, Andreas<br>
<br>
PS.: fixen kann ich nix weil ssh nicht antwortet...<br>
</div>
</div></div></div>
</div>
<div> </div>
<div class="m_-4381895498884921359gmail-m_8804580581261461632signature"> </div></div></div>
</blockquote></div></div></div><br></div></div></div>
</blockquote></div><br></div></div>