Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- software:middleware:datenbank [2018/05/08 04:54] – User mit Löschrechten, Backup mit phpMyAdmin jau
+++ software:middleware:datenbank [2023/11/12 09:14] (aktuell) – [Middleware-Datenbank] Speicher pro Datensatz jau
@@ Zeile 11: / Zeile 11: @@
 <note important>Das Datenbankschema wird durch das für die middleware verwendete doctrine-framework automatisch generiert!</note>
+Der Speicherbedarf eines Satzes in den Tabellen data und aggregate beträgt 24Byte.
 ===== Datenbank administrieren =====
-Die einfachste Möglichkeit besteht darin, das ganze über die Webobefläche zu administrieren. Für den Fall des Rasperrpi ist das dann : <code> "http://raspberrypi/phpmyadmin/" </code>
+Die beste Möglichkeit besteht darin über externen SQL-Client (z.B. [[https://www.heidisql.com/download.php|HeidiSQL]]) zu administrieren. Im Falle des RasperryPi-Images ist der Zugang von außen allerdings gesperrt und muss erst [[howto:raspberry_pi_image#einrichten|aktiviert]] werden.
 Als Benutzername/Passwort dann entwender vz/demo für Lese- und Schreibzugriffe, vz-admin/secure für Löschzugriffe oder den lokalen Administratorzugang (root/raspberry) der in ''/etc/mysql/debian.cnf'' steht.
+Phphmyadmin wäre eine Möglichkeit, aber mit Einschränkungen. Es hat Schwierigkeiten mit großen Datenbanken und ist auf dem Image nicht vorinstallliert.
 ===== Datenbank sichern =====
+==== Mariadb Backup ====
+Auf vielen Linuxdistributionen wird mysql inzwischen durch MariaDB zur Verfügung gestellt. Diese DB besitzt ein Backup-Tool welches in der Lage ist ein konsistentes Backup zu erzeugen, während die Datenbank beschrieben wird.
+Auf Debian und Ubuntu muss dieses Tool nachinstalliert werden:
+  sudo apt install mariadb-backup
+Ein vollständiges Backup wird erzeugt mittels
+  sudo mariabackup --backup --target-dir=<Pfad> --user=root
+Das Backup wird unter <Pfad> abgelegt. Für ein Restore muss das Backup "präpariert" und dann zurückgeschrieben werden. Dazu ist notwendig:
+  sudo mariabackup --prepare --target-dir=<Pfad>
+  # Datenbank stoppen (Ubuntu)
+  sudo systemctl stop mariadb
+  # Alle Datenbankdateien löschen (siehe /etc/mysql/my.cnf, "datadir" welcher Pfad)
+  sudo rm -rf /var/lib/mysql
+  # Backup zurückspielen
+  sudo mariabackup --copy-back --target-dir=<Pfad> --user=root
+  # Besitzer der Dateien einrichten
+  sudo chown -R mysql:mysql /var/lib/mysql
+  # Datenbank starten
+  sudo systemctl start mariadb
+Mit Hilfe des Tools sind darüber hinaus sowohl inkrementelle als auch Delta-Backups möglich. Weitere Informationen finden sich im [[https://mariadb.com/kb/en/full-backup-and-restore-with-mariabackup/|Referenzmanual von MariaDB (englisch)]]):
 ==== Komplettbackup mit mysqldump ====
 Die Standardanwendung
+<code>mysqldump -uvz -pdemo volkszaehler > mysql_backup.sql</code>
+Als Ziel taugt jedes gemountete Verzeichnis, vorzugsweise auf einem externen Datenträger.
+<note important>Mysqldump verursacht eine sehr hohe Last bei der Datenbankanwendung und kann auf dem Raspberry den vzlogger beeinträchtigen!</note>
+Eine solche Sicherung ist Klartext und kann recht Umfangreich werden. Speicherplatz spart man indem man die Sicherung direkt komprimiert.
 <code>mysqldump -uvz -pdemo volkszaehler | bzip2 >mysql_backup.bz2</code>
-Als Ziel taugt jedes gemountete Verzeichnis, vorzugsweise auf einem externe Datenträger.
+Sqldump nimmt beim Erstellen allerdings keinerlei Rücksicht auf Abhängigkeiten in der Struktur. Das führt zu Abbruch des restore und erfordert viel manuelle Nacharbeit. Daher ist es ratsam die wichtigsten Tabellen separat zu sichern.
-<note important>Mysqldump verursacht einen sehr hohe Last bei der Datenbankanwendung und kann auf dem Raspberry den vzlogger beeinträchtigen!</note>
+<code>mysqldump -uvz -pdemo volkszaehler entities > mysql_backup_entities.sql
+mysqldump -uvz -pdemo volkszaehler entities_in_aggregator > mysql_backup_aggregator.sql
+mysqldump -uvz -pdemo volkszaehler properties > mysql_backup_properties.sql</code>
+Die sind von überschaubarer Größe und brauchen nicht gepackt werden.
 ==== mysqldump per ssh ====
@@ Zeile 41: / Zeile 88: @@
 ===== Datenbank zurückspielen =====
+Um sicher zu gehen das keine Konflikte entstehen sollten während des Restore keine neuen Daten eintreffen. D.h. Middleware deaktivieren (vzlogger kann während dessen weiterlaufen) und die Cronjobs für die Aggregation abstellen. Auch alle Scripte stoppen die direkt auf die Datenbank zugreifen.
-mysql -uvz -pdemo volkszaehler < 20131124.mysql_backup
+<code>mysql -uvz -pdemo volkszaehler < mysql_backup.sql</code>
 <note>Das bezieht sich auf ein ungepacktes Backup!</note>
+Falls ein Komplettbackup mit Störung abgebrochen wird kann das an Abhängigkeiten zu Tabellen liegen die noch nicht aufgebaut wurden. In dem Fall auf die separate Sicherung der betreffenden Tabelle zurückgreifen und zuerst wiederherstellen.
 ===== Datenbank nach CSV exportieren =====
-Um die Daten sich in Excel oder Openoffice anzusehen, ist es sinnvoll diese nach CSV zu exportieren. Dazu habe ich recht viel im Internet suchen müssen, bin aber am Ende zu folgendem Ergebnis gekommen:
+Um die Daten sich in Excel oder Openoffice anzusehen, ist es sinnvoll diese nach CSV zu exportieren.
 <code>
 #!/bin/bash