[vz-users] Image mit dd erstellen / Datenbackup

So Nov 22 14:51:55 CET 2020

Hallo Thomas,

was soll ich sagen? Ich bekomme die Daten weder in ein mit DD erstelltes Image, noch in ein komplett neu installiertes System zurückgespielt. Es läuft immer wieder auf diesen Fehler:

pi at SmartMeter:~ $ sudo /usr/bin/php /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_restore.yaml

entities: copying 7 rows (overwrite)

[============================] 100%  < 1 sec/< 1 sec  7 rows

properties: copying 63 rows (overwrite)

[============================] 100%  < 1 sec/< 1 sec  63 rows

entities_in_aggregator: copying 0 rows (overwrite)

    0 [->--------------------------] < 1 sec 4.0 MiB

data: copying 7855387 rows (overwrite)

[>---------------------------]   0%  < 1 sec/< 1 sec        0 rows

In AbstractMySQLDriver.php line 74:

  An exception occurred while executing 'INSERT INTO `data` (`id`,`channel_id`,`timestamp`,`value`) VALUES (?,?,?,?)' with para

  ms ["1", "2", "1590761781023", "826598.2"]:

  SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'

In Exception.php line 18:

  SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'

In PDOStatement.php line 115:

  SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'

copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--] [<tables>...]

Die Kanäle werde dabei korrekt zurückgespielt, den sie stehen mir im FE zur Verfügung.

Das ist frustrierend. Nun habe ich mit eurer Hilfe eine DB auf meinem NAS generiert in die ich täglich die Daten sichere, aber scheinbar ohne nutzbaren Wert da ich sie nicht wieder heraus bekomme. :-/

Grüße

Micha

Von: volkszaehler-users [mailto:volkszaehler-users-bounces at demo.volkszaehler.org] Im Auftrag von Thomas Höpfner
Gesendet: Sonntag, 22. November 2020 13:51
An: volkszaehler.org - users
Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo Micha,

also mein Backup mit dbcopy und sqlite funktioniert.

Der erste Restore der Datenbank dauert zwar ziemlich lang:

Das Ergänzen funktioniert aber zügig:

Auf den Testsystem kommen keine Daten, deshalb habe ich mir um vzlogger und ähnliches nicht beachdet.

Meine Vermutung das deine DB einen Fehler hat kam weil ich nicht wusste wie du dein Backup machts.
Das von dier beschriebene Verhalten passt meiner Meinung nach zu Netzwerkschankungen, mit dehnen dbcopy nicht zurecht kommt.
Diese zu suchen und zu beheben ist aber nicht notwendig. Der Weg über sqlite funktioniert gut, und zusammen mit einen image sollte es auch schnell sein.
Ich persöhlich werde noch testen ob ich mit einen dump das Restore significant verkürzen kann.

PS: meine DB mit über 54 Mio Datensätzen hat 2,17 GB

Mit freundlichen Grüßen,

Thomas

-----Ursprüngliche Nachricht-----
Von: Thomas Höpfner <thomas at thhoe.de>
Gesendet: Samstag 21 November 2020 19:33
An: volkszaehler.org - users <volkszaehler-users at demo.volkszaehler.org>
Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo Micha, 

mein Backup liegt auch auf einen NAS. Aber nicht in einen SQL Server sondern als file. Bein Backup mounte ich das NAS und schreibe in eine postgrey Datei. Ich teste gerade, morgen weiß ich mehr.

Thomas  

Mail: thomas at thhoe.de

Am 21.11.2020 um 19:09 schrieb Michael Hartmann <hartmann-micha at web.de>:

Das Backup der DB geht auf das NAS. Ich könnte auch direkt in diese DB schreiben, nur laufen die HDDs im NAS dann 24/7 mit entsprechendem Verschleiß und Stromaufnahme, Geräusch.

Idealerweise hätte ich gerne die Middleware und die DB auf einer SSD am USB-Port des NAS. Dann können die HDDs in den power down, wenn keine sonstigen Zugriffe erfolgen. Dann würde ich weiter auf die HDDs des selben NAS ein Backup fahren.  Einige haben das hier so laufen. Nur das bekomme ich nicht hin.

Grüße

Micha

Von: volkszaehler-users [mailto:volkszaehler-users-bounces at demo.volkszaehler.org] Im Auftrag von Thomas Höpfner
Gesendet: Samstag, 21. November 2020 18:57
An: volkszaehler.org - users
Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo Micha,

das dein Backup auf ein anderen SQL-Server im Netzwerk ist habe ich bis jetzt übersehen.  Das sind gleich 2 mögliche Fehlerquellen. Warum hast du überhaupt die DB auf den Pi wenn noch ein anderer Server läuft?

Thomas 

Am 21.11.2020 um 17:49 schrieb Frank Richter <frank.richter83 at gmail.com>:

Versuch mal trotzdem vorher auf dem Zielsystem:

TRUNCATE TABLE volkszaehler.data;

Michael Hartmann <hartmann-micha at web.de> schrieb am Sa., 21. Nov. 2020, 17:26:

Hallo Frank,

konkret: leer!

Das Testsystem hat keine HW. vzlogger empfängt keine Werte, kann also auch keine Daten schreiben oder? Ich hänge die dbcopy config an.

Grüße

Micha

Von: volkszaehler-users [mailto:volkszaehler-users-bounces at demo.volkszaehler.org] Im Auftrag von Frank Richter
Gesendet: Samstag, 21. November 2020 17:01
An: volkszaehler.org - users
Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo Michael,

was heißt den "weitgehend leer"? Hast du den Restore-Versuch gemacht, bevor du vzlogger neue Daten in die DB schreiben lässt?

Viele Grüße

Frank

Michael Hartmann <hartmann-micha at web.de> schrieb am Sa., 21. Nov. 2020, 16:27:

Ich habe nun das Testsystem mit dem Image das im Wiki zum DL bereitsteht komplett neu aufgebaut. Update vzlogger, middleware/frontend, alle Konfigurationen ...

Auf diesem System sollte sich eine weitgehend leere Datenbank befinden. Und das Ergebnis beim zurückspielen der Daten ist  genau das gleiche!

----------------------------------------------------------
pi at SmartMeter:/usr/local/bin $ /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_restore.yaml
Dropping FK FK_87C331C781257D5D on properties
Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator
Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator
Dropping FK FK_ADF3F36372F5A1AA on data
Dropping FK FK_B77949FF72F5A1AA on aggregate
entities: copying 7 rows (overwrite)
 [============================] 100%  < 1 sec/< 1 sec  7 rows

properties: copying 63 rows (overwrite)
 [============================] 100%  < 1 sec/< 1 sec  63 rows

entities_in_aggregator: copying 0 rows (overwrite)
    0 [->--------------------------] < 1 sec 6.0 MiB

data: copying 7819821 rows (partial copy)
 [>---------------------------]   0%  < 1 sec/< 1 sec        0 rows
In AbstractMySQLDriver.php line 74:

  An exception occurred while executing 'INSERT INTO `data` (`id`,`channel_id`,`timestamp`,`value`) VALUES
  (?,?,?,?)' with params ["1", "2", "1590761781023", "826598.2"]:

  SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'

In Exception.php line 18:

  SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'

In PDOStatement.php line 115:

  SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'

copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--] [<tables>...]
---------------------------------------------------------------------

Und nun :-/

Grüße

Micha

-----Ursprüngliche Nachricht-----
Von: volkszaehler-users [mailto:volkszaehler-users-bounces at demo.volkszaehler.org] Im Auftrag von Thomas Höpfner
Gesendet: Freitag, 20. November 2020 19:31
An: volkszaehler.org - users
Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo Micha,

> Am 20.11.2020 um 17:45 schrieb Michael Hartmann <hartmann-micha at web.de>:
> 
> Copy statt pk für die Daten in dbcopy.yaml hatte ich auf Daniels Anregung vor ein paar Tagen bereits probiert und das Ergebnis hier berichtet: gleicher Fehler!

auch beim backup?

Irgendwie glaube ich an einen Fehler in deiner aktiven DB. 
Werden fehler angezeigt wenn du auf der console
  :~# mysqlcheck -p --check volkszaehler 
ausführst?

Im Moment habe ich kein System um mein Backup zu testen, aber dein Weg sollte funktionieren. 

Thomas 

-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20201122/3fc15b07/attachment-0001.html>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image001.png
Dateityp    : image/png
Dateigröße  : 44012 bytes
Beschreibung: nicht verfügbar
URL         : <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20201122/3fc15b07/attachment-0002.png>
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : image002.png
Dateityp    : image/png
Dateigröße  : 30812 bytes
Beschreibung: nicht verfügbar
URL         : <http://demo.volkszaehler.org/pipermail/volkszaehler-users/attachments/20201122/3fc15b07/attachment-0003.png>