<html><head></head><body><div style="font-family: Verdana;font-size: 12.0px;"><div>
<div>Hallo Andreas,</div>
<div> </div>
<div>die Ursache des Abbruchs mit dem Fehler "duplicate entry ..." glaube ich gefunden zu haben:</div>
<div> </div>
<div>Ich benutze aufgrund der langen Zeit für den restore auf dem Raspi screen, konkret:</div>
<div> </div>
<div>
<div>sudo screen /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml</div>
<div> </div>
<div>Das Verlassen der Screen-Session führt reproduzierbar zu dem o.g. Fehler, dass bedeutet dass ein unmittelbar an das Verlassen anschliessendes</div>
<div> </div>
<div>screen -r</div>
<div> </div>
<div>schon keine laufende Session mehr zeigt. Ein danach angeworfenes</div>
<div> </div>
</div>
<div>
<div>sudo /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy.yaml</div>
<div> </div>
<div>, also ohne screen, bringt reproduzierbar diesen Fehler, und zwar unabhängig von den vorher wiederhergestellten rows.</div>
<div>Möglicherweise ist da der restore etwas fragil.</div>
<div>Ich werde das ganze jetzt nochmal in der Konsole ohne screen anwerfen und weiter berichten.</div>
<div>Beste Grüße</div>
<div> </div>
<div>JD.</div>
<div name="quote" style="margin:10px 5px 5px 10px; padding: 10px 0 10px 10px; border-left:2px solid #C3D9E5; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"> </div>
</div>
</div>
<div>
<div>
<div name="quote" style="margin:10px 5px 5px 10px; padding: 10px 0 10px 10px; border-left:2px solid #C3D9E5; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">
<div style="margin:0 0 10px 0;"><b>Sent:</b> Friday, June 19, 2020 at 11:05 AM<br/>
<b>From:</b> "Andreas Goetz" <cpuidle@gmail.com><br/>
<b>To:</b> "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div name="quoted-content">
<div>JD,
<div> </div>
<div>das hatten wir alles schon! Du versuchst einen Restore in eine nicht leere Datenbank.</div>
<div> </div>
<div>Viele Grüße, </div>
<div>Andreas</div>
<div>
<div>
<blockquote>
<div>On 19. Jun 2020, at 11:04, John Doe <<a href="mailto:johndoe@null.net" onclick="parent.window.location.href='mailto:johndoe@null.net'; return false;" target="_blank">johndoe@null.net</a>> wrote:</div>
<div>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Hallo Andreas,</div>
<div> </div>
<div>der restore ist fehlgeschlagen mit "Duplicate entry for PRIMARY .."</div>
<div>
<div>Wohin soll ich die sqlite.db3 schicken ?</div>
<div>Ich kann das vermutlich erst heute nachmittag tun, da Sie ca. 1.6 GB hat und ich aktuell nicht genügend Bandbreite für einen Upload in akzeptabler Zeit habe.</div>
<div>Beste Grüße</div>
<div> </div>
<div>JD.</div>
<div>
<div style="margin: 10.0px 5.0px 5.0px 10.0px;padding: 10.0px 0 10.0px 10.0px;border-left: 2.0px solid rgb(195,217,229);">
<div style="margin: 0 0 10.0px 0;"><b>Sent:</b> Friday, June 19, 2020 at 10:31 AM<br/>
<b>From:</b> "Andreas Goetz" <<a href="mailto:cpuidle@gmail.com" onclick="parent.window.location.href='mailto:cpuidle@gmail.com'; return false;" target="_blank">cpuidle@gmail.com</a>><br/>
<b>To:</b> "<a href="http://volkszaehler.org" target="_blank">volkszaehler.org</a> - users" <<a href="mailto:volkszaehler-users@demo.volkszaehler.org" onclick="parent.window.location.href='mailto:volkszaehler-users@demo.volkszaehler.org'; return false;" target="_blank">volkszaehler-users@demo.volkszaehler.org</a>><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div>
<div>
<div>V.a. zeig bitte den Api Aufruf. Ich will sehen ob Deine Sicherung überhaupt „public“ Kanäle enthält!</div>
<div>
<blockquote>Am 19.06.2020 um 10:30 schrieb John Doe <<a href="mailto:johndoe@null.net" onclick="parent.window.location.href='mailto:johndoe@null.net'; return false;" target="_blank">johndoe@null.net</a>>:<br/>
</blockquote>
</div>
<blockquote>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div> </div>
<div>
<div>Hallo Andreas,</div>
<div> </div>
<div>aktuell lasse ich nochmal einen restore laufen. Danach schaue ich mir mittels deines Tips die UIDs aus der Sicherung an und trage diese dann in die vzlogger.conf ein.</div>
<div>Ich werde keine neuen Kanäle anlegen und ggfs. Deinen Tip mit dem Abo über die UIDs anwenden.</div>
<div>Ich melde mich in ca. zwei Stunden wieder.</div>
<div>Bis hierhin wie immer besten Dank und Grüße</div>
<div> </div>
<div>JD.</div>
<div>
<div style="margin: 10.0px 5.0px 5.0px 10.0px;padding: 10.0px 0 10.0px 10.0px;border-left: 2.0px solid rgb(195,217,229);">
<div style="margin: 0 0 10.0px 0;"><b>Sent:</b> Friday, June 19, 2020 at 10:01 AM<br/>
<b>From:</b> "Andreas Goetz" <<a href="mailto:cpuidle@gmail.com" onclick="parent.window.location.href='mailto:cpuidle@gmail.com'; return false;" target="_blank">cpuidle@gmail.com</a>><br/>
<b>To:</b> "<a href="http://volkszaehler.org" target="_blank">volkszaehler.org</a> - users" <<a href="mailto:volkszaehler-users@demo.volkszaehler.org" onclick="parent.window.location.href='mailto:volkszaehler-users@demo.volkszaehler.org'; return false;" target="_blank">volkszaehler-users@demo.volkszaehler.org</a>><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div>
<div>
<div>Ergänzung:</div>
<div>
<blockquote>Am 19.06.2020 um 09:48 schrieb Andreas Goetz <<a href="mailto:cpuidle@gmail.com" onclick="parent.window.location.href='mailto:cpuidle@gmail.com'; return false;" target="_blank">cpuidle@gmail.com</a>>:<br/>
</blockquote>
</div>
<blockquote>
<div>
<div>Noch eine Idee: gibt doch mal- für Deine Installation- folgenden Apiaufruf im Browser ein:</div>
<div> </div>
<div><a href="https://demo.volkszaehler.org/middleware.php/channel.json" target="_blank">https://demo.volkszaehler.org/middleware.php/channel.json</a></div>
<div> </div>
<div>Evtl middleware.php durch „api“ ersetzen. Da siehst Du schonmal alle „public“ Kanäle. Oder mail mir mal Deine sqlite.db, dann schau ich was da überhaupt drin ist ...</div>
</div>
</blockquote>
<div> </div>
Und danach bitte auch nochmal
<div> </div>
<div>
<div style="margin: 0.0px;font-stretch: normal;font-size: 12.0px;line-height: normal;font-family: Helvetica;"><a href="https://demo.volkszaehler.org/middleware.php/channel.json" target="_blank">https://demo.volkszaehler.org/middleware.php/channel</a>/<uuid>.json</div>
<p style="margin: 0.0px;font-stretch: normal;font-size: 12.0px;line-height: normal;font-family: Helvetica;"> </p>
<div style="margin: 0.0px;font-stretch: normal;font-size: 12.0px;line-height: normal;font-family: Helvetica;">Mit der UUID aus der ursprünglichen vzlogger.conf.</div>
<p style="margin: 0.0px;font-stretch: normal;font-size: 12.0px;line-height: normal;font-family: Helvetica;"> </p>
<blockquote>
<div>
<div> </div>
<div>Viele Grüße, Andreas </div>
<div>
<blockquote>Am 19.06.2020 um 09:34 schrieb John Doe <<a href="mailto:johndoe@null.net" onclick="parent.window.location.href='mailto:johndoe@null.net'; return false;" target="_blank">johndoe@null.net</a>>:<br/>
</blockquote>
</div>
<blockquote>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Hallo zusammen,</div>
<div>hallo Andreas,</div>
<div> </div>
<div>nachdem ich nun zum zweiten Mal eine DB-Sicherung per dbcopy zurück gespielt habe, hat sich das exakt gleiche Problem ergeben.</div>
<div>Daher hätte ich nun nochmal eine prinzipielle Frage zum Vorgang:</div>
<div>Ich habe eine Kopie der von mir vor der Sicherung benutzten vzlogger.conf und natürlich die gesicherte sqlite.db3.</div>
<div>Nachdem ich die Sicherung zurück gespielt habe, sind wieder alle abonnierbaren Kanäle weg. Wenn ich neue öffentliche Kanäle anlege und deren UIDs in die vzlogger.conf eintrage, sehe ich nur die aktuellen Messwerte.</div>
<div>
<div>Nun meine Frage: Gibt es eine Möglichkeit, die UIDs aus der DB-Sicherung zu ermitteln und diese dann in die vzlogger.conf einzutragen ?</div>
<div>Und warum sind trotz der passenden Paarung aus sqlite.db3 und vzlogger.conf jedes Mal alle angelegten Kanäle weg ?</div>
<div>Beste Grüße</div>
<div> </div>
<div>JD.</div>
<div>
<div style="margin: 10.0px 5.0px 5.0px 10.0px;padding: 10.0px 0 10.0px 10.0px;border-left: 2.0px solid rgb(195,217,229);">
<div style="margin: 0 0 10.0px 0;"><b>Sent:</b> Wednesday, June 17, 2020 at 11:09 AM<br/>
<b>From:</b> "John Doe" <<a href="mailto:johndoe@null.net" onclick="parent.window.location.href='mailto:johndoe@null.net'; return false;" target="_blank">johndoe@null.net</a>><br/>
<b>To:</b> <a href="mailto:volkszaehler-users@demo.volkszaehler.org" onclick="parent.window.location.href='mailto:volkszaehler-users@demo.volkszaehler.org'; return false;" target="_blank">volkszaehler-users@demo.volkszaehler.org</a><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Hallo Andreas,</div>
<div> </div>
<div>ja, ich habe die dbcopy.yaml, die ich zur Sicherung vom Raspi zum NAS benutzt habe, noch. Ich bin mir vollständig sicher, dass ich vor Beginn der Sicherung source und target korrekt gesetzt bzw. gegenüber dem vorherigen restore getauscht hatte, und so steht es auch in der dbcopy.yaml.</div>
<div>Glücklicherweise habe ich noch die ursprüngliche Sicherung, mit der ich den restore unter 1. angestossen hatte. Ich werde das nochmal durch exerzieren und wieder berichten.</div>
<div>Beste Grüße</div>
<div> </div>
<div>JD.</div>
<div>
<div>
<div style="margin: 10.0px 5.0px 5.0px 10.0px;padding: 10.0px 0 10.0px 10.0px;border-left: 2.0px solid rgb(195,217,229);">
<div style="margin: 0 0 10.0px 0;"><b>Sent:</b> Tuesday, June 16, 2020 at 9:36 PM<br/>
<b>From:</b> "Andreas Goetz" <<a href="mailto:cpuidle@gmail.com" onclick="parent.window.location.href='mailto:cpuidle@gmail.com'; return false;" target="_blank">cpuidle@gmail.com</a>><br/>
<b>To:</b> "<a href="http://volkszaehler.org" target="_blank">volkszaehler.org</a> - users" <<a href="mailto:volkszaehler-users@demo.volkszaehler.org" onclick="parent.window.location.href='mailto:volkszaehler-users@demo.volkszaehler.org'; return false;" target="_blank">volkszaehler-users@demo.volkszaehler.org</a>><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div>
<div>Hallo JD!
<div>
<blockquote>
<div>On 15. Jun 2020, at 19:41, John Doe <<a href="mailto:johndoe@null.net" onclick="parent.window.location.href='mailto:johndoe@null.net'; return false;" target="_blank">johndoe@null.net</a>> wrote:</div>
<div>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Hallo Andreas,</div>
<div> </div>
<div>passiert ist das Folgende (von der Dir das Meiste ja schon bekannt ist):</div>
<div> </div>
<div>1. Ich habe mittels dbcopy nach wiki (<a href="https://wiki.volkszaehler.org/software/tools/dbcopy" target="_blank">https://wiki.volkszaehler.org/software/tools/dbcopy</a>) eine sqlite.db3 nach einem Kartencrash zurück gespielt.</div>
<div>2. Nachdem ich in der Folge im WebIF keine Daten sah, habe ich neue (öffentliche) Kanäle angelegt und die UIDs in die vzlogger.conf eingetragen, Ergebnis: Zumindest kame wieder Werte an.</div>
<div>3. Nach Deinem Hieinweis, dass nach einem Restore die "alten" UIDs (aus der Sicherung) wieder aktuell sind, habe ich wiederum diese "alten" in die vzlogger.conf "zurück" eingetragen. Danach lief alles wie gewünscht, die alten Daten waren da und es kamen auch aktuelle Werte an.</div>
</div>
</div>
</div>
</blockquote>
<div> </div>
Bis hierhin alles super.</div>
<div>
<blockquote>
<div>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>4. Ich habe ein Directory von einem NAS auf den Raspi per CIFS gemountet und da hinein wie gehabt eine Sicherung per dbcopy angeworfen, welche problemlos durchgelaufen ist.</div>
<div>5. Danach habe ich nochmal das WebIF angeguckt und alle Daten waren weg, sowohl die Daten aus dem Restore als auch jene, welche danach dazu gekommen waren. Kanäle zum Abonnieren existierten nicht mehr.</div>
</div>
</div>
</div>
</blockquote>
<div> </div>
Dafür gibts nur eine Erklärung die mir einfällt: Du hast *noch* einen Restore gemacht und zwar aus einer leeren DB auf Deinem NAS?! Bist Du zu 100% sicher dass die Konfiguration richtig (und v.a. anders!) war als beim ersten Restore? Hast du sie noch? Dir ist klar, dass Du für die Aktion die “Richtung” wieder von Raspi nach NAS umdrehen musst und der Raspi jetzt die Quelle ist während beim Restore SQlite die Quelle war?</div>
<div>
<blockquote>
<div>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Auch hier habe ich wiederum neue Kanäle angelegt und deren UIDs in die vzlogger.conf eingetragen, seitdem laufen zumindest wieder aktuelle Daten ein. Alle "alten" Daten (aus dem restore + ca. drei Tage) bleiben verschwunden.</div>
</div>
</div>
</div>
</blockquote>
<div> </div>
Ja klar. Du hast mit einer leeren DB neu angefangen. Das hättest Du einfacher haben können :O</div>
<div> </div>
<div>Jetzt liegst bei Dir- Fehler aus 5 verstehen und nochmal 1-3 machen?</div>
<div> </div>
<div>Viele Grüße, Andreas</div>
<div>
<blockquote>
<div>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div> </div>
<div>Beste Grüße</div>
<div> </div>
<div>Ralf.</div>
<div>
<div>
<div style="margin: 10.0px 5.0px 5.0px 10.0px;padding: 10.0px 0 10.0px 10.0px;border-left: 2.0px solid rgb(195,217,229);">
<div style="margin: 0 0 10.0px 0;"><b>Sent:</b> Monday, June 15, 2020 at 4:08 PM<br/>
<b>From:</b> "Andreas Goetz" <<a href="mailto:cpuidle@gmail.com" onclick="parent.window.location.href='mailto:cpuidle@gmail.com'; return false;" target="_blank">cpuidle@gmail.com</a>><br/>
<b>To:</b> "<a href="http://volkszaehler.org/" target="_blank">volkszaehler.org</a> - users" <<a href="mailto:volkszaehler-users@demo.volkszaehler.org" onclick="parent.window.location.href='mailto:volkszaehler-users@demo.volkszaehler.org'; return false;" target="_blank">volkszaehler-users@demo.volkszaehler.org</a>><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div>
<div>
<div>Ich nochmal...</div>
<div>
<blockquote>Am 15.06.2020 um 10:55 schrieb John Doe <<a href="mailto:johndoe@null.net" onclick="parent.window.location.href='mailto:johndoe@null.net'; return false;" target="_blank">johndoe@null.net</a>>:<br/>
</blockquote>
</div>
<blockquote>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Hallo Daniel,</div>
<div> </div>
<div>unmittelbar nach dem Lauf von dbcopy gab es leider keine Kanäle mehr, die ich abonnieren konnte - die Auswahlbox war leer.</div>
</div>
</div>
</blockquote>
<div> </div>
Dbcopy löscht die Zieltabelle mit den Metadaten und stellt sie aus dem Backup wieder her. Entweder hast Du genau in der Sekunde geschaut als sie weg waren oder Du hast aus einem leeren Backup wieder hergestellt? Deshlab die Frage nach Deinen Kopiereinstellungen.
<div>
<div>
<blockquote>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Daher hatte ich die Neuanlage der UIDs versucht. Nun läuft zwar der vzlogger wieder, aber meine "alten" Werte sind trotzdem weg.</div>
</div>
</div>
</blockquote>
<div> </div>
Deine Daten waren ja zwischendurch schonmal wieder da. Zur Not Vorgang von vorne wiederholen.</div>
<div>
<blockquote>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Natürlich könnte ich jetzt wieder das alte Backup nochmal zurückspielen, aber auf Dauer kann das ja nicht gewollt sein ...(?)</div>
</div>
</div>
</blockquote>
<div> </div>
Nach dem Restore solltest Du nicht den gleichen Fehler wieder machen- leider wird aus Deiner Beschreibung nicht klar was da wirklich passiert ist...</div>
<div> </div>
<div>Viele Grüße, Andreas </div>
<div>
<blockquote>
<div>
<div style="font-family: Verdana;font-size: 12.0px;">
<div>Beste Grüße</div>
<div> </div>
<div>JD.</div>
<div>
<div>
<div style="margin: 10.0px 5.0px 5.0px 10.0px;padding: 10.0px 0 10.0px 10.0px;border-left: 2.0px solid rgb(195,217,229);">
<div style="margin: 0 0 10.0px 0;"><b>Sent:</b> Monday, June 15, 2020 at 9:58 AM<br/>
<b>From:</b> "Daniel Lauckner" <<a href="mailto:vz@jahp.de" onclick="parent.window.location.href='mailto:vz@jahp.de'; return false;" target="_blank">vz@jahp.de</a>><br/>
<b>To:</b> "<a href="http://volkszaehler.org/" target="_blank">volkszaehler.org</a> - users" <<a href="mailto:volkszaehler-users@demo.volkszaehler.org" onclick="parent.window.location.href='mailto:volkszaehler-users@demo.volkszaehler.org'; return false;" target="_blank">volkszaehler-users@demo.volkszaehler.org</a>><br/>
<b>Subject:</b> Re: [vz-users] Bevorstehender Kartencrash</div>
<div>Hallo,<br/>
<br/>
<br/>
am Montag, 15. Juni 2020 um 09:45 hat John Doe geschrieben:<br/>
> Als ich danach wieder mein Web-Frontend aufgerufen habe, waren alle<br/>
> erstellten und zuvor existierenden Kanäle weg.<br/>
<br/>
Klingt als müsstest du einfach nur die Kanäle neu abonnieren.<br/>
<br/>
<br/>
mfg Daniel<br/>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div></div></body></html>