<html>
<head>
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
</head>
<body text="#000000" bgcolor="#FFFFFF">
Das hatte ich auch mal!<br>
<br>
Ich hatte den vzlogger mit aggtime : 600 ( = 10 Minuten) aber ohne
echte Aggregation laufen, um die Last auf der Middleware zu
reduzieren.<br>
<br>
Meine Theorie dazu: <br>
- Die middleware ist mal etwas langsamer als sonst.<br>
- vzlogger beendet den Request mit einem Timeout, die Middleware
arbeitet aber noch und schreibt die Werte in die Datenbank.<br>
- vzlogger versucht das nächste Mal die alten Daten + die neuen
Daten zu übertragen, dadurch dauert es noch länger. Und weil die
Daten schon drin sind gibt es den Duplicate entry.<br>
- das Ganze schaukelt immer stärker auf.<br>
<br>
Meine Lösung: die aggtime auf 300 reduzieren. Seit dem keine
Probleme mehr.<br>
<br>
Liebe Grüße, Thomas<br>
<br>
PS: es mehr als einen Thomas Gauweiler in dieser Mailingliste...<br>
<br>
<br>
<br>
<div class="moz-cite-prefix">Am 01.07.2014 19:18, schrieb Albert
Dahmen:<br>
</div>
<blockquote
cite="mid:CABLQVGx2YnoZdaQzQWL=ivF3BoKNBMt9q9DQmd3Hu=3R0MSiUw@mail.gmail.com"
type="cite">
<div dir="ltr">Heute hats mich wieder erwischt :-(
<div>Diesmal hat es den ganzen Pi runter gerissen :-((</div>
<div><br>
</div>
<div>Und wieder das gleiche Thema ...</div>
<div><br>
</div>
<div>Hier ein Auszug aus dem Log:</div>
<div><br>
</div>
<div>
<div>[Jul 01 06:41:51][chn0] CURL: Timeout was reached</div>
<div>[Jul 01 06:41:51][chn1] CURL: Timeout was reached</div>
<div>[Jul 01 06:41:51][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 06:42:21][chn0] CURL: Timeout was reached</div>
<div>[Jul 01 06:42:21][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 06:42:21][chn1] CURL: Timeout was reached</div>
<div>[Jul 01 06:42:24][chn2] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 864750.3, 2]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '2-1404189681166' </div>
<div>[Jul 01 06:42:24][chn1] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 1030241.5, 1]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '1-1404189681166'</div>
<div>[Jul 01 06:42:24][chn0] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 342.2, 3]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '3-1404189681166' for</div>
<div>[Jul 01 06:42:25][chn2] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 864750.3, 2]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '2-1404189681166' </div>
<div>[Jul 01 06:42:25][chn1] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 1030241.5, 1]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '1-1404189681166'</div>
<div>[Jul 01 06:42:25][chn0] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 342.2, 3]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '3-1404189681166' for</div>
<div>[Jul 01 06:42:27][chn0] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 342.2, 3]:</div>
</div>
<div><br>
</div>
<div><br>
</div>
<div><br>
</div>
<div>Zuerst kommen die timeouts ... und dann tonnenweise
Duplicate entries ... und scheinbar wird immer wieder der
gleiche Satz in die Datenbank geschrieben ... und immer wieder
der gleiche Fehler.</div>
<div><br>
</div>
<div>Dann geht es um 8:48 wie folgt weiter:</div>
<div><br>
</div>
<div>
<div>[Jul 01 08:48:17][chn2] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 864750.3, 2]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '2-1404189681166' </div>
<div>[Jul 01 08:48:23][chn0] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 342.2, 3]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '3-1404189681166' for</div>
<div>[Jul 01 08:48:29][chn1] CURL: Timeout was reached</div>
<div>[Jul 01 08:48:48][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 08:48:53][chn0] CURL: Timeout was reached</div>
<div>[Jul 01 08:49:00][chn1] CURL Error from middleware:
'DBALException': 'An exception occurred while executing
'INSERT INTO data (timestamp, value, channel_id) VALUES (?,
?, ?)' with params [1404189681166, 1030241.5, 1]:</div>
<div><br>
</div>
<div>SQLSTATE[23000]: Integrity constraint violation: 1062
Duplicate entry '1-1404189681166'</div>
<div>[Jul 01 08:49:18][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 08:49:24][chn0] CURL: Timeout was reached</div>
<div>[Jul 01 08:49:30][chn1] CURL: Timeout was reached</div>
<div>[Jul 01 08:49:49][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 08:49:55][chn0] CURL: Timeout was reached</div>
<div>[Jul 01 08:50:01][chn1] CURL: Timeout was reached</div>
<div>[Jul 01 08:50:20][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 08:50:25][chn0] CURL: Timeout was reached</div>
<div>[Jul 01 08:50:32][chn1] CURL: Timeout was reached</div>
<div>[Jul 01 08:50:50][chn2] CURL: Timeout was reached</div>
<div>[Jul 01 08:50:56][chn0] CURL: Timeout was reached</div>
</div>
<div><br>
</div>
<div><br>
</div>
<div>Das geht dann so weiter bis 10:39 ... da hat sich dann der
ganze PI verabschiedet (zumindest kam ich nicht mehr per
telnet auf den PI).</div>
<div><br>
</div>
<div>Nach einem Neustart sowie manuellem Start von vzlogger (da
es ja als Service bei mir nicht mehr geht), läuft es nun
wieder.</div>
<div><br>
</div>
<div>Irgendwie komme ich nicht weiter ...</div>
<div><br>
</div>
<div>VG Albert</div>
<div><br>
</div>
</div>
<div class="gmail_extra"><br>
<br>
<div class="gmail_quote">Am 30. Juni 2014 19:06 schrieb Albert
Dahmen <span dir="ltr"><<a moz-do-not-send="true"
href="mailto:albert.dahmen@gmail.com" target="_blank">albert.dahmen@gmail.com</a>></span>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0
.8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">Hallo Rainer,
<div><br>
</div>
<div>nein, ein Muster finde ich nicht :-( Jetzt läuft es
auch schon wieder seit ein paar Tagen durch.</div>
<div>Mit WLAN kann es nicht zusammen hängen, da der PI
direkt am Router hängt und da auch direkt die Synology
dran ist.</div>
<div><br>
</div>
<div>Per cron habe ich folgendes eingestellt:</div>
<div>
<p>* 2 * * * /usr/bin/php /var/www/<a
moz-do-not-send="true"
href="http://volkszaehler.org/misc/tools/aggregate.php"
target="_blank">volkszaehler.org/misc/tools/aggregate.php</a>
-m delta -l day aggregate</p>
<p>9 * * * * /usr/bin/php /var/www/<a
moz-do-not-send="true"
href="http://volkszaehler.org/misc/tools/aggregate.php"
target="_blank">volkszaehler.org/misc/tools/aggregate.php</a>
-m delta -l hour aggregate</p>
<p>0 3 * * * /usr/bin/php /var/www/<a
moz-do-not-send="true"
href="http://volkszaehler.org/misc/tools/vzcompress2.php"
target="_blank">volkszaehler.org/misc/tools/vzcompress2.php</a></p>
<p>Vielleicht hängt es ja damit zusammen ...</p>
<p>
<br>
</p>
<p>Die Fehler treten immer dann auf, wenn zuvor diverse
Male der timeout kommt. Also irgendwie steht das im
Zusammenhang ...</p>
<p>Aber warum der timeout kommt --> keine Ahnung.
Eigentlich ist die Synology 7x24 am Laufen ....</p>
<p><br>
</p>
<p>Wenn man per config einstellen könnte, dass doppelte
Sätze ignoriert werden sollen (ignore_duplicates mit
yes oder no), dann würde es sicher helfen.</p>
<p><br>
</p>
<p>VG Albert</p>
</div>
</div>
<div class="gmail_extra"><br>
<br>
<div class="gmail_quote">Am 30. Juni 2014 14:27 schrieb
Rainer Gauweiler <span dir="ltr"><<a
moz-do-not-send="true"
href="mailto:volkszaehler@moppl.inka.de"
target="_blank">volkszaehler@moppl.inka.de</a>></span>:
<div>
<div class="h5"><br>
<blockquote class="gmail_quote" style="margin:0 0 0
.8ex;border-left:1px #ccc solid;padding-left:1ex">
<div>Hallo Albert,<br>
<br>
Am 22.06.2014 11:18, schrieb Albert Dahmen:<br>
</div>
<blockquote class="gmail_quote" style="margin:0 0
0 .8ex;border-left:1px #ccc
solid;padding-left:1ex">
(oom_kill_process+0x2b8/0x438) from
[<c009dc50>] (out_of_memory+0x27c/0x2c8)<br>
</blockquote>
<br>
Liest sich als würde Deinem System der Speicher
ausgehen.
<div><br>
<br>
<blockquote class="gmail_quote" style="margin:0
0 0 .8ex;border-left:1px #ccc
solid;padding-left:1ex">
[Jun 22 00:57:50][chn0] CURL: Timeout was
reached<br>
</blockquote>
<br>
</div>
Da war Dein Webserver auf der synology nicht
erreichbar.
<div><br>
<br>
<blockquote class="gmail_quote" style="margin:0
0 0 .8ex;border-left:1px #ccc
solid;padding-left:1ex">
[Jun 22 00:58:22][chn1] CURL Error from
middleware: 'DBALException': 'An<br>
exception occurred while executing 'INSERT
INTO data (timestamp, value,<br>
channel_id) VALUES (?, ?, ?)' with params
[1403391440635, 951536.3, 1]:<br>
<br>
SQLSTATE[23000]: Integrity constraint
violation: 1062 Duplicate entry<br>
'1-1403391440635'<br>
</blockquote>
<br>
</div>
Zu diesem Zeitstempel steht in diesem Channel
schon etwas.<br>
<br>
Ich denke bei Dir passiert folgendes:<br>
<br>
a) Es tritt irgendeine race condition auf.
Webserver nicht erreichbar, weil WLan nachts
deaktiviert ist oder irgendwelche Aufräumprozesse
laufen die den Webserver kurzfristig ab- und
wieder anschalten<br>
<br>
b) vzlogger kommt aus dem Tritt und fängt sich
nicht wieder<br>
c) vzlogger bekommt die Daten nicht los und
speichert sie im Hauptspeicher - der ist
irgendwann voll<br>
<br>
Inzwischen sind ja schon ein paar Tage vergangen -
hast Du ein Muster gefunden?<br>
<br>
Gruss<span><font color="#888888"><br>
Rainer<br>
<br>
</font></span></blockquote>
</div>
</div>
</div>
<br>
</div>
</blockquote>
</div>
<br>
</div>
</blockquote>
<br>
</body>
</html>