[vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...

Tue Jul 1 21:31:38 CEST 2014

Das hatte ich auch mal!

Ich hatte den vzlogger mit aggtime : 600 ( = 10 Minuten) aber ohne echte 
Aggregation laufen, um die Last auf der Middleware zu reduzieren.

Meine Theorie dazu:
- Die middleware ist mal etwas langsamer als sonst.
- vzlogger beendet den Request mit einem Timeout, die Middleware 
arbeitet aber noch und schreibt die Werte in die Datenbank.
- vzlogger versucht das nächste Mal die alten Daten + die neuen Daten zu 
übertragen, dadurch dauert es noch länger. Und weil die Daten schon drin 
sind gibt es den Duplicate entry.
- das Ganze schaukelt immer stärker auf.

Meine Lösung: die aggtime auf 300 reduzieren. Seit dem keine Probleme mehr.

Liebe Grüße, Thomas

PS: es mehr als einen Thomas Gauweiler in dieser Mailingliste...

Am 01.07.2014 19:18, schrieb Albert Dahmen:
> Heute hats mich wieder erwischt :-(
> Diesmal hat es den ganzen Pi runter gerissen :-((
>
> Und wieder das gleiche Thema ...
>
> Hier ein Auszug aus dem Log:
>
> [Jul 01 06:41:51][chn0] CURL: Timeout was reached
> [Jul 01 06:41:51][chn1] CURL: Timeout was reached
> [Jul 01 06:41:51][chn2] CURL: Timeout was reached
> [Jul 01 06:42:21][chn0] CURL: Timeout was reached
> [Jul 01 06:42:21][chn2] CURL: Timeout was reached
> [Jul 01 06:42:21][chn1] CURL: Timeout was reached
> [Jul 01 06:42:24][chn2] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 864750.3, 2]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '2-1404189681166'
> [Jul 01 06:42:24][chn1] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 1030241.5, 1]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '1-1404189681166'
> [Jul 01 06:42:24][chn0] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 342.2, 3]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '3-1404189681166' for
> [Jul 01 06:42:25][chn2] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 864750.3, 2]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '2-1404189681166'
> [Jul 01 06:42:25][chn1] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 1030241.5, 1]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '1-1404189681166'
> [Jul 01 06:42:25][chn0] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 342.2, 3]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '3-1404189681166' for
> [Jul 01 06:42:27][chn0] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 342.2, 3]:
>
>
>
> Zuerst kommen die timeouts ... und dann tonnenweise Duplicate entries 
> ... und scheinbar wird immer wieder der gleiche Satz in die Datenbank 
> geschrieben ... und immer wieder der gleiche Fehler.
>
> Dann geht es um 8:48 wie folgt weiter:
>
> [Jul 01 08:48:17][chn2] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 864750.3, 2]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '2-1404189681166'
> [Jul 01 08:48:23][chn0] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 342.2, 3]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '3-1404189681166' for
> [Jul 01 08:48:29][chn1] CURL: Timeout was reached
> [Jul 01 08:48:48][chn2] CURL: Timeout was reached
> [Jul 01 08:48:53][chn0] CURL: Timeout was reached
> [Jul 01 08:49:00][chn1] CURL Error from middleware: 'DBALException': 
> 'An exception occurred while executing 'INSERT INTO data (timestamp, 
> value, channel_id) VALUES (?, ?, ?)' with params [1404189681166, 
> 1030241.5, 1]:
>
> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry 
> '1-1404189681166'
> [Jul 01 08:49:18][chn2] CURL: Timeout was reached
> [Jul 01 08:49:24][chn0] CURL: Timeout was reached
> [Jul 01 08:49:30][chn1] CURL: Timeout was reached
> [Jul 01 08:49:49][chn2] CURL: Timeout was reached
> [Jul 01 08:49:55][chn0] CURL: Timeout was reached
> [Jul 01 08:50:01][chn1] CURL: Timeout was reached
> [Jul 01 08:50:20][chn2] CURL: Timeout was reached
> [Jul 01 08:50:25][chn0] CURL: Timeout was reached
> [Jul 01 08:50:32][chn1] CURL: Timeout was reached
> [Jul 01 08:50:50][chn2] CURL: Timeout was reached
> [Jul 01 08:50:56][chn0] CURL: Timeout was reached
>
>
> Das geht dann so weiter bis 10:39 ... da hat sich dann der ganze PI 
> verabschiedet (zumindest kam ich nicht mehr per telnet auf den PI).
>
> Nach einem Neustart sowie manuellem Start von vzlogger (da es ja als 
> Service bei mir nicht mehr geht), läuft es nun wieder.
>
> Irgendwie komme ich nicht weiter ...
>
> VG Albert
>
>
>
> Am 30. Juni 2014 19:06 schrieb Albert Dahmen <albert.dahmen at gmail.com 
> <mailto:albert.dahmen at gmail.com>>:
>
>     Hallo Rainer,
>
>     nein, ein Muster finde ich nicht :-( Jetzt läuft es auch schon
>     wieder seit ein paar Tagen durch.
>     Mit WLAN kann es nicht zusammen hängen, da der PI direkt am Router
>     hängt und da auch direkt die Synology dran ist.
>
>     Per cron habe ich folgendes eingestellt:
>
>     * 2 * * * /usr/bin/php
>     /var/www/volkszaehler.org/misc/tools/aggregate.php
>     <http://volkszaehler.org/misc/tools/aggregate.php> -m delta -l day
>     aggregate
>
>     9 * * * * /usr/bin/php
>     /var/www/volkszaehler.org/misc/tools/aggregate.php
>     <http://volkszaehler.org/misc/tools/aggregate.php> -m delta -l
>     hour aggregate
>
>     0 3 * * * /usr/bin/php
>     /var/www/volkszaehler.org/misc/tools/vzcompress2.php
>     <http://volkszaehler.org/misc/tools/vzcompress2.php>
>
>     Vielleicht hängt es ja damit zusammen ...
>
>
>     Die Fehler treten immer dann auf, wenn zuvor diverse Male der
>     timeout kommt. Also irgendwie steht das im Zusammenhang ...
>
>     Aber warum der timeout kommt --> keine Ahnung. Eigentlich ist die
>     Synology 7x24 am Laufen ....
>
>
>     Wenn man per config einstellen könnte, dass doppelte Sätze
>     ignoriert werden sollen (ignore_duplicates mit yes oder no), dann
>     würde es sicher helfen.
>
>
>     VG Albert
>
>
>
>     Am 30. Juni 2014 14:27 schrieb Rainer Gauweiler
>     <volkszaehler at moppl.inka.de <mailto:volkszaehler at moppl.inka.de>>:
>
>         Hallo Albert,
>
>         Am 22.06.2014 11:18, schrieb Albert Dahmen:
>
>             (oom_kill_process+0x2b8/0x438) from [<c009dc50>]
>             (out_of_memory+0x27c/0x2c8)
>
>
>         Liest sich als würde Deinem System der Speicher ausgehen.
>
>
>             [Jun 22 00:57:50][chn0] CURL: Timeout was reached
>
>
>         Da war Dein Webserver auf der synology nicht erreichbar.
>
>
>             [Jun 22 00:58:22][chn1] CURL Error from middleware:
>             'DBALException': 'An
>             exception occurred while executing 'INSERT INTO data
>             (timestamp, value,
>             channel_id) VALUES (?, ?, ?)' with params [1403391440635,
>             951536.3, 1]:
>
>             SQLSTATE[23000]: Integrity constraint violation: 1062
>             Duplicate entry
>             '1-1403391440635'
>
>
>         Zu diesem Zeitstempel steht in diesem Channel schon etwas.
>
>         Ich denke bei Dir passiert folgendes:
>
>         a) Es tritt irgendeine race condition auf. Webserver nicht
>         erreichbar, weil WLan nachts deaktiviert ist oder irgendwelche
>         Aufräumprozesse laufen die den Webserver kurzfristig ab- und
>         wieder anschalten
>
>         b) vzlogger kommt aus dem Tritt und fängt sich nicht wieder
>         c) vzlogger bekommt die Daten nicht los und speichert sie im
>         Hauptspeicher - der ist irgendwann voll
>
>         Inzwischen sind ja schon ein paar Tage vergangen - hast Du ein
>         Muster gefunden?
>
>         Gruss
>              Rainer
>
>
>

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20140701/d897c40a/attachment-0001.html>