[vz-dev] Fwd: "Dockstar": billige Backendplattform für mein.volkszaehler? Ja!

[Steffen Vogel]

Hallo,
im Prinzip gibt es keine großen Anforderungen. Wir nutzen PDO [1] und
Doctrine [2] als Abstraktion.
Das schränkt die möglichen Datenbank schon mal etwas ein:

MS SQL Server
Firebird/Interbase
IBM
Informix
MySQL
Oracle
ODBC and DB2
PostgreSQL
SQLite

Mir schwebt momentan noch SQLite vor, da es keinen eigenen Server
besitzt und bei Abfragen in einer Tabelle auch eine recht ansehnliche
Performence haben soll. Das ist sicherlich unser Hauptproblem.
Mehrere 10k Datensätze abzufragen könnte eine schwaches System schon in
die Knie zwingen.

Speicherprobleme bekommen wir aber sicherlich nicht.
Wir nutzen Iteratoren um die Daten praktisch als "Stream" verarbeiten.
So liegt praktisch immer nur ein Datensatz im Speicher bevor der nächste
von der Datenbank geholt wird:

1. setze SQL Query ab
2. hole Datensatz vom DB-Handle ab (fetch_row)
3. verarbeite Datensatz (Verdichtung)
4. sende Daten (flush() output buffer)
5. springe zu 2. und hole nächsten Datensatz.

So können wir auch richtig viele Daten an den Browser "streamen"

[1] http://php.net/manual/de/book.pdo.php
[2] http://www.doctrine-project.org/

gruß steffen

Am Freitag, den 03.09.2010, 19:44 +0200 schrieb Roland Kletzing:
> Hallo ,
> 
> wenn mir einer sagen kann, was die Anforderungen von VOlkszähler.org an 
> seine DB sind, dann kann ich mich gerne mal im Embedded Bereich ein wenig 
> umsehen was Embedded DBs angeht.....
> Also - was ist gefordert ?
> Kenne die Details der Software leider nicht besonders gut.....
> 
> Grüsse
> Roland
> 
> 
> --------------------------------------------------
> From: "Justin Otherguy" <justin at justinotherguy.org>
> Sent: Friday, September 03, 2010 7:57 AM
> To: "volkszaehler.org von volkszaehler.org" 
> <volkszaehler-dev at lists.volkszaehler.org>
> Subject: [vz-dev] Fwd:  "Dockstar": billige Backendplattform für 
> mein.volkszaehler? Ja!
> 
> > Moin,
> >
> > der Vollständigkeit Halber hier noch das Ende der Geschichte:
> >
> > habe nun die ca. 4 Mio Datensätze in die psql auf dem dockstar 
> > reingeblasen. Während des Importierens (per "psql ..... < <file>") hatte 
> > ich den apache gestoppt um etwas RAM zu sparen.
> >
> > Der Stick, auf dem ich das ursprünglich laufen hatte, scheint mir das 
> > übrigens nicht überlebt zu haben... Platte ist für die DB halt doch die 
> > bessere Alternative ;-)
> >
> > Kurzum: die Installation läuft nun mit erstaunlicher Performance (und 
> > immer noch mit minimaler Swap-Nutzung); bei der Anzeige eines Tages liegt 
> > die Antwortzeit ca. bei Faktor 2-3 über der grossen Maschine; für einen 
> > Monat wird der Unterschied dann deutlich geringer (ca. 15 sec statt 13 sec 
> > lt. meiner hochwissenschaftlichen Messmethode).
> >
> > Die 128 MB reichen m.E. also dicke aus für mein.volkszaehler - unabhängig 
> > von der Anzahl Datensätze in der DB. Über Optimierung lässt sich da 
> > RAM-technisch noch Einiges rausholen: der Apache hat ja ne ganze Reihe 
> > Kinder am Start; für den psql gilt das Gleiche. Diese werden ja bei einer 
> > lokalen Installation nicht gebraucht (3 Kinder sollten üppig sein für ne 
> > Installation mit einem Controllerboard).
> >
> > Dann könnte man natürlich den Apache selbst noch strippen oder ihn gleich 
> > gegen nginx austauschen usw.
> >
> > -> ich würd' mal sagen: das Experiment ist geglückt :-)
> >
> > Die dockstar können wir also als Backend für mein.volkszaehler empfehlen - 
> > klein, billig, stromsparend, performant.
> >
> > Mal sehen, wie der neue Code darauf läuft...
> >
> >
> > Gruss, J.
> >
> > _______________________________________________
> > volkszaehler-dev mailing list
> > volkszaehler-dev at lists.volkszaehler.org
> > https://volkszaehler.org/mailman/listinfo/volkszaehler-dev 
> 
> _______________________________________________
> volkszaehler-dev mailing list
> volkszaehler-dev at lists.volkszaehler.org
> https://volkszaehler.org/mailman/listinfo/volkszaehler-dev

-- 
Steffen Vogel
Robensstraße 69
52070 Aachen

Cell: +49 (176) 96978528
Web: http://www.steffenvogel.de
Mail & MSN: info at steffenvogel.de
ICQ: 236033