<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html><head><meta name="Generator" content="Kopano WebApp v3.5.14.2539+111.1"><meta http-equiv="Content-Type" content="text/html; charset=utf-8"><title>RE: [vz-users] Image mit dd erstellen / Datenbackup</title></head><body>
<!-- begin sanitized html --><p style="font-family: tahoma,arial,helvetica,sans-serif; font-size: 12pt; padding: 0; margin: 0;">Hallo Micha,</p>
<p style="font-family: tahoma,arial,helvetica,sans-serif; font-size: 12pt; padding: 0; margin: 0;"><span style="font-size: 12pt; font-family: tahoma, arial, helvetica, sans-serif;"><br></span></p>
<p style="font-family: tahoma,arial,helvetica,sans-serif; font-size: 12pt; padding: 0; margin: 0;"><span style="font-size: 12pt; font-family: tahoma, arial, helvetica, sans-serif;">also mein Backup mit dbcopy und sqlite funktioniert.</span></p>
<p style="font-family: tahoma,arial,helvetica,sans-serif; font-size: 12pt; padding: 0; margin: 0;"><span style="font-size: 12pt; font-family: tahoma, arial, helvetica, sans-serif;">Der erste Restore der Datenbank dauert zwar ziemlich lang:</span></p>
<p style="font-family: tahoma,arial,helvetica,sans-serif; font-size: 12pt; padding: 0; margin: 0;"><span style="font-size: 12pt; font-family: tahoma, arial, helvetica, sans-serif;"><img src="cid:5fba5ea0c4881" border="0" data-mce-src=""></span></p>
<pre style="white-space: pre-wrap;"><span style="font-family: tahoma, arial, helvetica, sans-serif; font-size: 12pt;">Das Ergänzen funktioniert aber zügig:<img src="cid:5fba5ea0c49ab" border="0" data-mce-src=""><br><br>Auf den Testsystem kommen keine Daten, deshalb habe ich mir um vzlogger und ähnliches nicht beachdet.<br><br>Meine Vermutung das deine DB einen Fehler hat kam weil ich nicht wusste wie du dein Backup machts.<br>Das von dier beschriebene Verhalten passt meiner Meinung nach zu Netzwerkschankungen, mit dehnen dbcopy nicht zurecht kommt.<br>Diese zu suchen und zu beheben ist aber nicht notwendig. Der Weg über sqlite funktioniert gut, und zusammen mit einen image sollte es auch schnell sein.<br>Ich persöhlich werde noch testen ob ich mit einen dump das Restore significant verkürzen kann.<br><br>PS: meine DB mit über 54 Mio Datensätzen hat 2,17 GB<br><br>Mit freundlichen Grüßen,<br><br>Thomas</span></pre>
<p style="padding: 0; margin: 0; min-height: 12pt; font-family: tahoma,arial,helvetica,sans-serif; font-size: 12pt;"><br></p>
<blockquote style="border-left: 2px solid #325FBA; padding-left: 5px; margin: 0px 5px;"><span style="font-family: tahoma,arial,helvetica,sans-serif; font-size: 10pt;">-----Ursprüngliche Nachricht-----<br><span><strong>Von:</strong> Thomas Höpfner <thomas@thhoe.de></span><br><span><strong>Gesendet:</strong> Samstag 21 November 2020 19:33</span><br><span><strong>An:</strong> volkszaehler.org - users <volkszaehler-users@demo.volkszaehler.org></span><br><span><strong>Betreff:</strong> Re: [vz-users] Image mit dd erstellen / Datenbackup</span><br><br></span>
<div class="bodyclass">Hallo Micha,
<div><br></div>
<div>mein Backup liegt auch auf einen NAS. Aber nicht in einen SQL Server sondern als file. Bein Backup mounte ich das NAS und schreibe in eine postgrey Datei. Ich teste gerade, morgen weiß ich mehr.<br><br><div dir="ltr">Thomas
<div><br></div>
<div>Mail: thomas@thhoe.de</div>
<div><br></div>
</div>
<div dir="ltr"><br><blockquote>Am 21.11.2020 um 19:09 schrieb Michael Hartmann <hartmann-micha@web.de>:<br><br></blockquote>
</div>
<blockquote>
<div dir="ltr">
<div class="WordSection1">
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Das Backup der DB geht auf das NAS. Ich könnte auch direkt in diese DB schreiben, nur laufen die HDDs im NAS dann 24/7 mit entsprechendem Verschleiß und Stromaufnahme, Geräusch.</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Idealerweise hätte ich gerne die Middleware und die DB auf einer SSD am USB-Port des NAS. Dann können die HDDs in den power down, wenn keine sonstigen Zugriffe erfolgen. Dann würde ich weiter auf die HDDs des selben NAS ein Backup fahren. Einige haben das hier so laufen. Nur das bekomme ich nicht hin.</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Grüße</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Micha</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<div>
<div style="border: none; border-top: solid #B5C4DF 1.0pt; padding: 3.0pt 0cm 0cm 0cm;">
<p class="MsoNormal" style="margin: 0px;"><strong><span style="font-size: 10.0pt; font-family: 'Tahoma','sans-serif';">Von:</span></strong><span style="font-size: 10.0pt; font-family: 'Tahoma','sans-serif';"> volkszaehler-users [mailto:volkszaehler-users-bounces@demo.volkszaehler.org] <strong>Im Auftrag von </strong>Thomas Höpfner<br><strong>Gesendet:</strong> Samstag, 21. November 2020 18:57<br><strong>An:</strong> volkszaehler.org - users<br><strong>Betreff:</strong> Re: [vz-users] Image mit dd erstellen / Datenbackup</span></p>
</div>
</div>
<p class="MsoNormal" style="margin: 0px;"> </p>
<p class="MsoNormal" style="margin: 0px;">Hallo Micha,</p>
<div>
<p class="MsoNormal" style="margin: 0px;"> </p>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;">das dein Backup auf ein anderen SQL-Server im Netzwerk ist habe ich bis jetzt übersehen. Das sind gleich 2 mögliche Fehlerquellen. Warum hast du überhaupt die DB auf den Pi wenn noch ein anderer Server läuft?</p>
<div>
<p class="MsoNormal" style="margin: 0px;">Thomas </p>
<div>
<p class="MsoNormal" style="margin: 0px;"> </p>
</div>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;"><br><br></p>
<p class="MsoNormal" style="margin: 0px;">Am 21.11.2020 um 17:49 schrieb Frank Richter <frank.richter83@gmail.com>:</p>
</div>
<blockquote style="margin-top: 5.0pt; margin-bottom: 5.0pt;">
<div>
<p class="MsoNormal" style="margin: 0px;"><span style="font-family: 'Tahoma','sans-serif';"> </span></p>
<div>
<p class="MsoNormal" style="margin: 0px;">Versuch mal trotzdem vorher auf dem Zielsystem:</p>
<div>
<p class="MsoNormal" style="margin: 0px;"> </p>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;">TRUNCATE TABLE volkszaehler.data;</p>
</div>
</div>
<p class="MsoNormal" style="margin: 0px;"> </p>
<div>
<div>
<p class="MsoNormal" style="margin: 0px;">Michael Hartmann <<a href="mailto:hartmann-micha@web.de" title="mailto:hartmann-micha@web.de Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">hartmann-micha@web.de</a>> schrieb am Sa., 21. Nov. 2020, 17:26:</p>
</div>
<blockquote style="border: none; border-left: solid #CCCCCC 1.0pt; padding: 0cm 0cm 0cm 6.0pt; margin-left: 4.8pt; margin-right: 0cm;">
<div>
<div>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Hallo Frank,</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">konkret: leer!</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Das Testsystem hat keine HW. vzlogger empfängt keine Werte, kann also auch keine Daten schreiben oder? Ich hänge die dbcopy config an.</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Grüße</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;">Micha</span></p>
<p class="MsoNormal" style="margin: 0px;"><span style="font-size: 11.0pt; font-family: 'Calibri','sans-serif'; color: #1f497d;"> </span></p>
<p class="MsoNormal" style="margin: 0px;"><strong><span style="font-size: 10.0pt; font-family: 'Tahoma','sans-serif';">Von:</span></strong><span style="font-size: 10.0pt; font-family: 'Tahoma','sans-serif';"> volkszaehler-users [mailto:<a href="mailto:volkszaehler-users-bounces@demo.volkszaehler.org" title="mailto:volkszaehler-users-bounces@demo.volkszaehler.org Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">volkszaehler-users-bounces@demo.volkszaehler.org</a>] <strong>Im Auftrag von </strong>Frank Richter<br><strong>Gesendet:</strong> Samstag, 21. November 2020 17:01<br><strong>An:</strong> <a href="http://volkszaehler.org" title="http://volkszaehler.org Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">volkszaehler.org</a> - users<br><strong>Betreff:</strong> Re: [vz-users] Image mit dd erstellen / Datenbackup</span></p>
<p class="MsoNormal" style="margin: 0px;"> </p>
<div>
<p class="MsoNormal" style="margin: 0px;">Hallo Michael,</p>
<div>
<p class="MsoNormal" style="margin: 0px;"> </p>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;">was heißt den "weitgehend leer"? Hast du den Restore-Versuch gemacht, bevor du vzlogger neue Daten in die DB schreiben lässt?</p>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;"> </p>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;">Viele Grüße</p>
</div>
<div>
<p class="MsoNormal" style="margin: 0px;">Frank</p>
</div>
</div>
<p class="MsoNormal" style="margin: 0px;"> </p>
<div>
<div>
<p class="MsoNormal" style="margin: 0px;">Michael Hartmann <<a href="mailto:hartmann-micha@web.de" title="mailto:hartmann-micha@web.de Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">hartmann-micha@web.de</a>> schrieb am Sa., 21. Nov. 2020, 16:27:</p>
</div>
<blockquote style="border: none; border-left: solid #CCCCCC 1.0pt; padding: 0cm 0cm 0cm 6.0pt; margin: 5.0pt 0cm 5.0pt 4.8pt;">
<p class="MsoNormal" style="margin: 0px;">Ich habe nun das Testsystem mit dem Image das im Wiki zum DL bereitsteht komplett neu aufgebaut. Update vzlogger, middleware/frontend, alle Konfigurationen ...<br><br>Auf diesem System sollte sich eine weitgehend leere Datenbank befinden. Und das Ergebnis beim zurückspielen der Daten ist genau das gleiche!<br><br>----------------------------------------------------------<br>pi@SmartMeter:/usr/local/bin $ /var/www/<a href="http://volkszaehler.org/vendor/bin/dbcopy" title="http://volkszaehler.org/vendor/bin/dbcopy Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">volkszaehler.org/vendor/bin/dbcopy</a> copy -c /etc/dbcopy_restore.yaml<br>Dropping FK FK_87C331C781257D5D on properties<br>Dropping FK FK_2BD88468727ACA70 on entities_in_aggregator<br>Dropping FK FK_2BD88468DD62C21B on entities_in_aggregator<br>Dropping FK FK_ADF3F36372F5A1AA on data<br>Dropping FK FK_B77949FF72F5A1AA on aggregate<br>entities: copying 7 rows (overwrite)<br> [============================] 100% < 1 sec/< 1 sec 7 rows<br><br>properties: copying 63 rows (overwrite)<br> [============================] 100% < 1 sec/< 1 sec 63 rows<br><br>entities_in_aggregator: copying 0 rows (overwrite)<br> 0 [->--------------------------] < 1 sec 6.0 MiB<br><br>data: copying 7819821 rows (partial copy)<br> [>---------------------------] 0% < 1 sec/< 1 sec 0 rows<br>In AbstractMySQLDriver.php line 74:<br><br> An exception occurred while executing 'INSERT INTO `data` (`id`,`channel_id`,`timestamp`,`value`) VALUES<br> (?,?,?,?)' with params ["1", "2", "1590761781023", "826598.2"]:<br><br> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'<br><br><br>In Exception.php line 18:<br><br> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'<br><br><br>In PDOStatement.php line 115:<br><br> SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1' for key 'PRIMARY'<br><br><br>copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--] [<tables>...]<br>---------------------------------------------------------------------<br><br>Und nun :-/<br><br>Grüße<br><br>Micha<br><br>-----Ursprüngliche Nachricht-----<br>Von: volkszaehler-users [mailto:<a href="mailto:volkszaehler-users-bounces@demo.volkszaehler.org" title="mailto:volkszaehler-users-bounces@demo.volkszaehler.org Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">volkszaehler-users-bounces@demo.volkszaehler.org</a>] Im Auftrag von Thomas Höpfner<br>Gesendet: Freitag, 20. November 2020 19:31<br>An: <a href="http://volkszaehler.org" title="http://volkszaehler.org Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">volkszaehler.org</a> - users<br>Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup<br><br>Hallo Micha,<br><br>> Am 20.11.2020 um 17:45 schrieb Michael Hartmann <<a href="mailto:hartmann-micha@web.de" title="mailto:hartmann-micha@web.de Klicken Sie auf den Link, um die URL in einem neuen Fenster zu öffnen." rel="noreferrer noopener" target="_blank">hartmann-micha@web.de</a>>:<br>> <br>> Copy statt pk für die Daten in dbcopy.yaml hatte ich auf Daniels Anregung vor ein paar Tagen bereits probiert und das Ergebnis hier berichtet: gleicher Fehler!<br><br>auch beim backup?<br><br>Irgendwie glaube ich an einen Fehler in deiner aktiven DB. <br>Werden fehler angezeigt wenn du auf der console<br> :~# mysqlcheck -p --check volkszaehler <br>ausführst?<br><br>Im Moment habe ich kein System um mein Backup zu testen, aber dein Weg sollte funktionieren. <br><br>Thomas <br><br></p>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</blockquote>
<!-- end sanitized html -->
</body></html>