software:middleware:datenbank
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende ÜberarbeitungNächste Überarbeitung | Vorhergehende Überarbeitung | ||
software:middleware:datenbank [2013/02/08 21:44] – r00t | software:middleware:datenbank [2023/11/12 09:14] (aktuell) – [Middleware-Datenbank] Speicher pro Datensatz jau | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
- | ===== Middleware-Datenbank ===== | + | ====== Middleware-Datenbank |
Für die Speicherung der Daten wird eine Datenbank eingesetzt. Da nahezu jede Datenbank dazu verwendet werden kann, wird hier beispielhaft nur die Verwendung von MySQL beschrieben. MySQL ist eine kostenlose Datenbank für viele Betriebssysteme und kann auch auf den hier interessanten Kleinstrechnern unter Linux betrieben werden. | Für die Speicherung der Daten wird eine Datenbank eingesetzt. Da nahezu jede Datenbank dazu verwendet werden kann, wird hier beispielhaft nur die Verwendung von MySQL beschrieben. MySQL ist eine kostenlose Datenbank für viele Betriebssysteme und kann auch auf den hier interessanten Kleinstrechnern unter Linux betrieben werden. | ||
- | Das Datenbankschema für den Volkszähler ist einfach. Es besteht aus vier Tabellen: | + | Das Datenbankschema für den Volkszähler ist einfach. Es besteht aus fünf Tabellen: |
- | * data: Tabelle der Datenwerte mit Zeitstempel und Zuordnung zum Anzeigegerät | + | * data: Tabelle der Datenwerte mit Zeitstempel und Zuordnung zum Messgerät/ |
- | * entities: Die Anzeigegeräte | + | * entities: Die Messgeräte |
- | * entities_in_aggregator: | + | * properties: Die Bezeichnung und andere Eigenschaften der Messgeräte |
- | * properties: Die Bezeichnung und andere Eigenschaften der Anzeigegeräte | + | * entities_in_aggregator: |
+ | * aggregate: Verdichtete Datenwerte, zum schnelleren Anzeigen eines längeren Zeitraums | ||
+ | |||
+ | <note important> | ||
+ | |||
+ | Der Speicherbedarf eines Satzes in den Tabellen data und aggregate beträgt 24Byte. | ||
+ | |||
+ | |||
+ | ===== Datenbank administrieren ===== | ||
+ | |||
+ | Die beste Möglichkeit besteht darin über externen SQL-Client (z.B. [[https:// | ||
+ | |||
+ | Als Benutzername/ | ||
+ | |||
+ | Phphmyadmin wäre eine Möglichkeit, | ||
+ | |||
+ | ===== Datenbank sichern ===== | ||
+ | |||
+ | ==== Mariadb Backup ==== | ||
+ | |||
+ | Auf vielen Linuxdistributionen wird mysql inzwischen durch MariaDB zur Verfügung gestellt. Diese DB besitzt ein Backup-Tool welches in der Lage ist ein konsistentes Backup zu erzeugen, während die Datenbank beschrieben wird. | ||
+ | |||
+ | Auf Debian und Ubuntu muss dieses Tool nachinstalliert werden: | ||
+ | |||
+ | sudo apt install mariadb-backup | ||
+ | |||
+ | Ein vollständiges Backup wird erzeugt mittels | ||
+ | |||
+ | sudo mariabackup --backup --target-dir=< | ||
+ | |||
+ | Das Backup wird unter < | ||
+ | |||
+ | sudo mariabackup --prepare --target-dir=< | ||
+ | |||
+ | # Datenbank stoppen (Ubuntu) | ||
+ | sudo systemctl stop mariadb | ||
+ | |||
+ | # Alle Datenbankdateien löschen (siehe / | ||
+ | sudo rm -rf / | ||
+ | |||
+ | # Backup zurückspielen | ||
+ | sudo mariabackup --copy-back --target-dir=< | ||
+ | |||
+ | # Besitzer der Dateien einrichten | ||
+ | sudo chown -R mysql:mysql / | ||
+ | |||
+ | # Datenbank starten | ||
+ | sudo systemctl start mariadb | ||
+ | |||
+ | Mit Hilfe des Tools sind darüber hinaus sowohl inkrementelle als auch Delta-Backups möglich. Weitere Informationen finden sich im [[https:// | ||
+ | |||
+ | ==== Komplettbackup mit mysqldump ==== | ||
+ | Die Standardanwendung | ||
+ | < | ||
+ | Als Ziel taugt jedes gemountete Verzeichnis, | ||
+ | <note important> | ||
+ | Eine solche Sicherung ist Klartext und kann recht Umfangreich werden. Speicherplatz spart man indem man die Sicherung direkt komprimiert. | ||
+ | < | ||
+ | Sqldump nimmt beim Erstellen allerdings keinerlei Rücksicht auf Abhängigkeiten in der Struktur. Das führt zu Abbruch des restore und erfordert viel manuelle Nacharbeit. Daher ist es ratsam die wichtigsten Tabellen separat zu sichern. | ||
+ | < | ||
+ | mysqldump -uvz -pdemo volkszaehler entities_in_aggregator > mysql_backup_aggregator.sql | ||
+ | mysqldump -uvz -pdemo volkszaehler properties > mysql_backup_properties.sql</ | ||
+ | Die sind von überschaubarer Größe und brauchen nicht gepackt werden. | ||
+ | |||
+ | |||
+ | |||
+ | ==== mysqldump per ssh ==== | ||
+ | Möchte man der SD-Karte im Rasperry unnötige Schreibzugriffe ersparen kann man auch über ssh auf einen Backuprechner sichern. | ||
+ | < | ||
+ | destssh2=${destssh0}/ | ||
+ | mysqldump -uvz -pdemo volkszaehler --single-transaction | gzip -c | ssh root@backuprechner "cat > $destssh2.mysql_backup.gz"</ | ||
+ | |||
+ | Achtung: bevor das Script funktioniert, | ||
+ | |||
+ | ==== Inkrementelles Backup mit dbcopy ==== | ||
+ | Möchte man die Nachteile von mysqldump umgehen bietet sich [[software: | ||
+ | |||
+ | ==== Backup per phpMyAdmin ==== | ||
+ | Unter phpMyAdmin hat man grundsätzlich die Möglichkeit teilweise oder auch ganze Datenbanken zu sichern. Allerdings unterliegt PHP als Skriptsprache starken Restriktionen welche das Zurückspielen eines Backups über phpMyAdmin erschweren oder sogar unmöglich machen. | ||
+ | |||
+ | ===== Datenbank zurückspielen ===== | ||
+ | Um sicher zu gehen das keine Konflikte entstehen sollten während des Restore keine neuen Daten eintreffen. D.h. Middleware deaktivieren (vzlogger kann während dessen weiterlaufen) und die Cronjobs für die Aggregation abstellen. Auch alle Scripte stoppen die direkt auf die Datenbank zugreifen. | ||
+ | < | ||
+ | < | ||
+ | Falls ein Komplettbackup mit Störung abgebrochen wird kann das an Abhängigkeiten zu Tabellen liegen die noch nicht aufgebaut wurden. In dem Fall auf die separate Sicherung der betreffenden Tabelle zurückgreifen und zuerst wiederherstellen. | ||
+ | |||
+ | ===== Datenbank nach CSV exportieren ===== | ||
+ | Um die Daten sich in Excel oder Openoffice anzusehen, ist es sinnvoll diese nach CSV zu exportieren. | ||
+ | < | ||
+ | # | ||
+ | |||
+ | database=volkszaehler | ||
+ | table=data | ||
+ | |||
+ | echo ' | ||
+ | |||
+ | </ | ||
- | (das datenbankschema wird durch das fuer die middleware verwendete doctrine-framework automatisch generiert!) |
software/middleware/datenbank.1360356274.txt.gz · Zuletzt geändert: 2013/02/08 21:44 von r00t