Benutzer-Werkzeuge

Webseiten-Werkzeuge


howto:datenmengen

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen RevisionVorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
howto:datenmengen [2015/06/14 19:53] cmecklerhowto:datenmengen [2021/08/11 13:31] (aktuell) mr.gosh
Zeile 1: Zeile 1:
-==== Umgang mit den Datenmengen ====+======= Umgang mit den Datenmengen =======
  
 Im Laufe der Zeit sammeln sich im Volkszähler die Daten an. Diese Seite soll Verfahren zeigen, wie man mit den Mengen umgehen kann. Im Laufe der Zeit sammeln sich im Volkszähler die Daten an. Diese Seite soll Verfahren zeigen, wie man mit den Mengen umgehen kann.
  
-=== Problem ===+====== Problem ======
 Ein D0/SML-Zähler kann je nach Last mehrmals pro Sekunde die aktuelle Leistung ausgeben. Ein S0-Eingang kann mehrere Impulse pro Sekunde erzeugen. Diese Daten werden alle in der Datenbank gespeichert und benötigen Platz. Ein D0/SML-Zähler kann je nach Last mehrmals pro Sekunde die aktuelle Leistung ausgeben. Ein S0-Eingang kann mehrere Impulse pro Sekunde erzeugen. Diese Daten werden alle in der Datenbank gespeichert und benötigen Platz.
  
 Jeder weitere Kanal benötigt zusätzlich Platz, da er seine eigenen Daten mitbringt. Jeder weitere Kanal benötigt zusätzlich Platz, da er seine eigenen Daten mitbringt.
  
-Es gibt die Möglichleit, die Anzeige im Frontend durch Aggregation von Daten zu Beschleunigen. Dabei werden Daten errechnet, die weiterhin Platz benötigen.+Es gibt die Möglichkeit, die Anzeige im Frontend durch Aggregation von Daten zu Beschleunigen. Dabei werden Daten errechnet, die weiterhin Platz benötigen.
  
 Zusätzlich wird eine Datenbank umso langsamer je mehr Datensätze sie beinhaltet. Dieser Effekt tut vor allem dann "weh", wenn auch die Hardware weniger leistungsfähig ist- wie z.B. die des beliebten Raspberry Pi. Zusätzlich wird eine Datenbank umso langsamer je mehr Datensätze sie beinhaltet. Dieser Effekt tut vor allem dann "weh", wenn auch die Hardware weniger leistungsfähig ist- wie z.B. die des beliebten Raspberry Pi.
Zeile 14: Zeile 14:
 Erfahrungen zeigen, dass so innerhalb von 2 Jahren ca 180 Mio Datensätze gesammelt werden können die ca 19GB Platz benötigen. Erfahrungen zeigen, dass so innerhalb von 2 Jahren ca 180 Mio Datensätze gesammelt werden können die ca 19GB Platz benötigen.
  
-=== Lösungen === +====== Lösungen ====== 
-== Daten externalisieren ==+===== Daten externalisieren =====
   * Frontend und Datenbank auf einem leistungsfähigen Rechner installieren   * Frontend und Datenbank auf einem leistungsfähigen Rechner installieren
   * Nur Datenbank auf einem leistungsfähigen Rechner installieren   * Nur Datenbank auf einem leistungsfähigen Rechner installieren
 +<note tip>Man kann die Daten auch auf [[http://demo.volkszaehler.org/]] ablegen.</note>
  
-== Daten löschen: hart ==+===== Daten löschen ===== 
 +Die Frage wie viel Daten man entfernen kann ist oft ein Kompromiss welche Daten man jetzt braucht und wie viel davon in der Zukunft noch von Interesse ist. Ein Ansatz die Aktualdaten zu haben ohne die Datenbank zu nutzen ist der [[software:middleware:push-server|Push-Server]]. 
 + 
 +=== hart ===
 Wen die Vergangenheit nicht interessiert, der kann die Daten dafür löschen.  Wen die Vergangenheit nicht interessiert, der kann die Daten dafür löschen. 
 Ein harter Ansatz wäre einfach alles älter als ein gewisser Zeitraum zu löschen. Mit SQL könnte dies z.B. so aussehen: Ein harter Ansatz wäre einfach alles älter als ein gewisser Zeitraum zu löschen. Mit SQL könnte dies z.B. so aussehen:
Zeile 25: Zeile 29:
 delete FROM `data` where timestamp< (unix_timestamp(current_timestamp)-24*60*60)*1000 ; delete FROM `data` where timestamp< (unix_timestamp(current_timestamp)-24*60*60)*1000 ;
 </code> </code>
-Das Beispiel löscht alle Daten die vor den letzten 24h liegen. Läßt man das Script einmal am Tag laufen so hat man lediglich die Daten der letzten Stunden. +Das Beispiel löscht alle Daten die vor den letzten 24h liegen. Lässt man das Script einmal am Tag laufen so hat man lediglich die Daten der letzten Stunden. 
-== Daten löschen: weich ==+ 
 +==weich ===
 Bei diesem Ansatz werden auch die Daten gelöscht. Die Daten werden immer mehr ausgedünnt je weiter man in die Vergangenheit geht. So behält man z.B. alle Daten von heute, behält von den letzten 2 Wochen nur eine Messung pro Minute und von der Zeit davor nur eine pro Viertelstunde. Bei diesem Ansatz werden auch die Daten gelöscht. Die Daten werden immer mehr ausgedünnt je weiter man in die Vergangenheit geht. So behält man z.B. alle Daten von heute, behält von den letzten 2 Wochen nur eine Messung pro Minute und von der Zeit davor nur eine pro Viertelstunde.
-Dazu steht das Script [[https://github.com/volkszaehler/volkszaehler.org/blob/master/misc/tools/vzcompress2.php|vzcompress2.php]] zur Verfügung. Dieses kann folgendermaßen per crontab aufgerufen werden: +Dazu steht das Script [[https://github.com/volkszaehler/volkszaehler.org/blob/master/bin/vzcompress2|vzcompress2]] zur Verfügung. Von Haus aus hat der lokale User vz keine Rechte zum Löschen in der Datenbank, das muss man vorher ändern: 
-<code>0 3 * * * cd /var/www/volkszaehler.org/misc/tools ; php vzcompress2.php >> /var/log/vzcompress.log</code>+<code> 
 +sudo mysql --user=root -praspberry 
 +Welcome to the MySQL monitor.  Commands end with ; or \g. 
 +Your MySQL connection id is 37217 [..] 
 + 
 +mysql> grant select, update, insert, delete on volkszaehler.* to vz@localhost; 
 +Query OK, 0 rows affected (0.03 sec) 
 + 
 +mysql> flush privileges; 
 +Query OK, 0 rows affected (0.01 sec) 
 + 
 +mysql> exit</code> 
 + 
 +Dann kann das vzcompress2 Skript folgendermaßen per crontab aufgerufen werden: 
 + 
 +<code> 
 +0 3 * * * cd /var/www/volkszaehler.org/bin ; php vzcompress2 >> /var/log/vzcompress.log 
 +</code>
 Die Anzahl der Daten die gelöscht werden soll, sowie die Zeiträume sind frei konfigurierbar am Ende des Scriptes. Die Anzahl der Daten die gelöscht werden soll, sowie die Zeiträume sind frei konfigurierbar am Ende des Scriptes.
  
-== Performance des Frontends erhöhen: Datenaggregation / Cache == +===== Performance der Middleware erhöhen: Datenaggregation / Cache ===== 
-Bleiben die Daten in voller Auflösung erhalten, wird mit der Zeit das Frontend immer langsamer, da es aus den Daten die zur Anzeige benötigten suchen muss. Gerade bei grossen Zoomstufen (z.B. auf ein Jahr) kann es dann notwendig werden, dass die gesamte Datenbank eingelesen werden muss.+Bleiben die Daten in voller Auflösung erhalten, wird mit der Zeit die Middleware immer langsamer, da es aus den Daten die zur Anzeige benötigten suchen muss. Gerade bei großen Zoomstufen (z.B. auf ein Jahr) kann es dann notwendig werden, dass die gesamte Datenbank eingelesen werden muss.
 Abhilfe schafft hier die Daten ganzer Zeiträume, wie z.B. eines Tages, in einzelnen Datenpunkten zusammenzufassen (etwa Durchschnittstemperatur an diesem Tag). Dies erzeugt zwar mehr Daten in der Datenbank und benötigt somit mehr Platz auf der Festplatte. Allerdings kann auf die Daten effizienter zugegriffen werden, so dass sich unter dem Strich die Geschwindigkeit erhöht. Abhilfe schafft hier die Daten ganzer Zeiträume, wie z.B. eines Tages, in einzelnen Datenpunkten zusammenzufassen (etwa Durchschnittstemperatur an diesem Tag). Dies erzeugt zwar mehr Daten in der Datenbank und benötigt somit mehr Platz auf der Festplatte. Allerdings kann auf die Daten effizienter zugegriffen werden, so dass sich unter dem Strich die Geschwindigkeit erhöht.
  
 Die Lösung besteht aus zwei Komponenten. Die eine ist bereits im Frontend eingebaut und aktiviert sich automatisch, sobald sie passende Daten findet. Die andere besteht aus einer weiteren Tabelle mit Scripten die diese füllen. Die Lösung besteht aus zwei Komponenten. Die eine ist bereits im Frontend eingebaut und aktiviert sich automatisch, sobald sie passende Daten findet. Die andere besteht aus einer weiteren Tabelle mit Scripten die diese füllen.
  
-Zunächst muss die Option in der volkszaehler.conf.php aktiviert werden: (die findet ihr unter: /var/www/volkszaehler.org/etc ) 
-<code>$config['aggregation'] = true;</code> 
  
-Die folgende Zeilen legen die zusätzliche Tabelle an und aggregieren alle bestehenden Daten. Der Vorgang kann daher einige Stunden benötigen:+ 
 +Die folgende Zeile aggregiert alle bestehenden Daten. Der Vorgang kann daher einige Stunden benötigen:
 <code> <code>
-php /var/www/volkszaehler.org/misc/tools/aggregate.php create +php /var/www/volkszaehler.org/bin/aggregate run -m full -l day -l hour -l minute
-php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m full -l day -l hour -l minute+
 </code> </code>
  
-Mit den folgenden Einträgen in einer crontab hält man den Cache aktuell. Erstellt wird die crontab mit: 'crontab -e'.\\+Einschränken auf eine einzelne UUID mittels: 
 +<code> 
 +php /var/www/volkszaehler.org/bin/aggregate run <UUID> -m full -l day -l hour -l minute 
 +</code> 
 + 
 +Mit den folgenden Einträgen in einer crontab hält man den Cache aktuell. Erstellt wird die crontab mit: ''crontab -e''.\\
 Das Script legt nur an, was noch nicht angelegt wurde und läuft daher nur kurz: Das Script legt nur an, was noch nicht angelegt wurde und läuft daher nur kurz:
 <code> <code>
-* * * * *  php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l minute >/dev/null +*/10 * * * *  php /var/www/volkszaehler.org/bin/aggregate run -m delta -l minute >/dev/null 
-1 * * * *  php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l hour >/dev/null +1 * * * *  php /var/www/volkszaehler.org/bin/aggregate run -m delta -l hour >/dev/null 
-1 * * *  php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l day >/dev/null+1 * * *  php /var/www/volkszaehler.org/bin/aggregate run -m delta -l day >/dev/null
 </code> </code>
-== Geringere Auflösung durch selteneres Messen ==+ 
 +Anmerkung: 
 +wenn die Last auf dem System hoch ist, kann die Aggregation schon mal länger dauern als das Intervall zwischen zwei Aufrufen. 
 +Das kann dazu führen, dass die Last weiter ansteigt, da die Aggregation dann ein weiteres Mal aufgerufen wird etc. 
 +In diesem Fall empfiehlt sich der Einsatz eines Wrappers, der verhindert, dass die Aggregation mehrfach läuft, z.B. "flock"
 + 
 +Hierzu werden obige Cron-Einträge ergänzt um: 
 +<code> 
 +flock -n /tmp/flock-vz_aggregate.lock 
 +</code> 
 +der Eintrag für "minute" sieht dann also so aus: 
 +<code> 
 +*/10 * * * *  flock -n /tmp/flock-vz_aggregate.lock php /var/www/volkszaehler.org/bin/aggregate run -m delta -l minute >/dev/null 
 +</code> 
 +Anm.: Die Einträge für "hour" und "day" werden nicht mit sich selbst kollidieren (...); wenn diese also kollidieren, dann mit "minute"; so laufen also höchstens 3 Aggregate-Jobs gleichzeitig (minute, hour, day) 
 + 
 +=== Im Falle eines Docker-Setups zu beachten === 
 +Bei dem Einsatz von Docker funktionieren bestimmte Teile der Anleitung etwas anders. Es muss z.B. erstmal der Docker Container betreten werden. Welche ID der Dockercontainer hat findet Ihr mittels des folgenden Befehls heraus: 
 +<code> 
 +docker ps | grep volkszaehlerorg_volkszaehler 
 +</code> 
 + 
 +danach könnt ihr den docker Container betreten mittels des folgenden Befehls: 
 +<code> 
 +docker exec -it --user root hier-die-id-von-eben-eintragen sh  
 +</code> 
 + 
 +hier kann die aggregation dann mittels des leicht angepassten Befehls von oben durchgeführt werden: 
 +<code> 
 +php /vz/bin/aggregate run -m full -l day -l hour -l minute 
 +</code> 
 + 
 +=== Aggregation prüfen === 
 +Den aktuellen Zustand der Aggregation (aktiv, Anzahl der Datensätze, Ratio) kann man mit dieser Middleware-Abfrage prüfen: 
 +<code>http://IP-ADRESSE/middleware.php/capabilities/database.json?</code> 
 + 
 +===== Geringere Auflösung durch selteneres Messen =====
 Wer keine feine Auflösung der Messungen im Sekundenbereich braucht, kann die Anzahl der Messungen verringern. Dies reduziert die Datenmenge, macht den Verlauf jedoch ungenauer, da kurze Vorgänge eventuell nicht mehr erfasst werden. Die Kurven verändern sich dann in etwa so, als würde man im Frontend raus zoomen. Da die Daten auch nicht indirekt erfasst wurden, können sie auch nachträglich nicht wieder hergestellt werden. Wer keine feine Auflösung der Messungen im Sekundenbereich braucht, kann die Anzahl der Messungen verringern. Dies reduziert die Datenmenge, macht den Verlauf jedoch ungenauer, da kurze Vorgänge eventuell nicht mehr erfasst werden. Die Kurven verändern sich dann in etwa so, als würde man im Frontend raus zoomen. Da die Daten auch nicht indirekt erfasst wurden, können sie auch nachträglich nicht wieder hergestellt werden.
  
 Das Frontend interpoliert selbständig die Daten, passend zum jeweilgen Kanal. Das Frontend interpoliert selbständig die Daten, passend zum jeweilgen Kanal.
  
-Umsetzung: +==== Skript bzw. cronjob ==== 
-   * Falls eine Messung per Script vorgenommen wird wird das Script einfach seltener aufgerufen, z.B. nur noch einmal pro Minute anstatt einmal pro Sekunde, so ist die Auflösung und Datenmenge geringer.+Falls eine Messung per Script vorgenommen wird wird das Script einfach seltener aufgerufen, z.B. nur noch einmal pro Minute anstatt einmal pro Sekunde, so ist die Auflösung und Datenmenge geringer
 + 
 +==== vzlogger ==== 
 +Der vzlogger bietet zwei Möglichkeiten die Zahl der Datensätzen zu reduzieren. 
 + 
 +=== duplicates === 
 +Es kann vorkommen, dass sich ein Zählerstand oder Momentanwert über längere Zeit nicht verändert. Dennoch geht vzlogger davon aus, dass jeder gleich wichtig ist und schickt ihn an die Middleware weiter was zu aufeinander folgenden Datensätzen mit identischem Wert führt. //duplicates// ist ein Parameter in der Kategorie //channels// der vzlogger.conf der diese Folgedaten reduziert. 
 +<code | vzlogger.conf> 
 +      "duplicates": 3600,</code> 
 +Die Zahl gibt die Zeit in Sekunden an bis der vzlogger einen gleichbleibendem Wert erstmals wieder an die Middleware sendet. Im Beispiel wären das eine Stunde. Bei Einspeisezählern von PV-Anlagen (die Nachts keine Änderung registrieren) zu empfehlen.\\ 
 +Für Zähler mit geringer Auflösung (z.B. 0,1kWh) wären 60s passend. 
 + 
 +=== aggregate === 
 +Der vzlogger bietet die Option, mehrere Messungen zu einer Messung zusammenzufassen. Der vzlogger liest dann zwar noch häufiger, bzw. nimmt die Daten häufiger an, errechnet jedoch über den Zeitraums einen Wert und gibt diesen dann an die Middleware weiter. Dies entlastet sowohl die Middleware und somit den Rechner an sich und hält auch die Datenmenge kleiner. \\ 
 +Die Konfiguration wird mit den Parametern "aggtime", "aggfixedinterval" in der Kategorie //meters// und "aggmode" bei den //channels// vorgenommen. 
 +<code | vzlogger.conf> 
 +      "aggtime": 60, 
 +      "aggfixedinterval": true, 
 +[...]       
 +                "aggmode": "max",</code> 
 +  * "aggtime" bestimmt dabei die Zeit in Sekunden über die der vzlogger sammelt um daraus den Wert zu bestimmen. Sie gilt für alle //channel// des //meter// für die eine //aggmode// definiert wurde.\\ 
 +  * "aggfixedintervall" bewirkt das mehrere //meter// synchron aggregieren (schönere Darstellung im Graph und in Verbindung mit Skripten wie "direktverbrauch.php" zu empfehlen).\\ 
 +  * "aggmode" bestimmt die Art wie die gesammelten Werte verrechnet werden, sie ist von der Art der Rohdaten abhängig und wird daher für jeden //channel// seperat definiert.
  
-   * Der vzlogger bietet eine entsprechende Option, mehrere Messungen zu einer Messung zusammenzufassen. Der vzlogger misst dann zwar noch häufigerbzw. nimmt die Daten häufiger an, errechnet jedoch innerhalb eines Zeitraums einen Meßwert und gibt diesen dann an die Middleware weiter. Dies entlastet sowohl die Middleware und somit den Rechner an sich und hält auch die Datenmenge kleiner. \\ Die Konfiguration wird mit den Parametern "aggtime""aggfixedintervalund "aggmodevorgenommenwie in der [[http://wiki.volkszaehler.org/software/controller/vzlogger|Anleitung]] als Beispiel gezeigt.+^ "avg" | Durchschnitt | zu verwenden bei Aktualwerten wie StromSpannung oder Temperatur | 
 +"max| Maximalwert | zu verwenden bei Zählerständen | 
 +"sum| Summe | zu verwenden bei Impulsen (S0) | 
 +"none"| | keine Aggreagtion vornehmenalle Daten des //channel// gehen an die Middleware |
  
-== Aufrüstung: Hardware ==+===== Aufrüstung: Hardware =====
 Es gibt mehrere Möglichkeiten durch Einsatz von mehr Hardware das System zu beschleunigen: Es gibt mehrere Möglichkeiten durch Einsatz von mehr Hardware das System zu beschleunigen:
 * Das System hat ein n-Tier-Architektur. Dies bedeutet, dass jede einzelne Komponente (Messung, Middleware, Datenbank) beliebig auf das Netzwerk oder ins Internet verlegt werden kann. Beispiele: * Das System hat ein n-Tier-Architektur. Dies bedeutet, dass jede einzelne Komponente (Messung, Middleware, Datenbank) beliebig auf das Netzwerk oder ins Internet verlegt werden kann. Beispiele:
   * Man könnte  z.B. die Datenbank von einem Raspi auf ein NAS verlegen. Der Einsatz von Festplatten gegenüber einer SD-Karte beschleunigt das System schon erheblich.   * Man könnte  z.B. die Datenbank von einem Raspi auf ein NAS verlegen. Der Einsatz von Festplatten gegenüber einer SD-Karte beschleunigt das System schon erheblich.
   * Wer in seinem Netz einen eigenen Server betreibt kann auch diesen nutzen. Die Datenmengen die anfallen sind für ein aktuelles System normalerweise kein Problem. Wer z.B. 32GB Hauptspeicher erübrigen kann hält einen Großteil der Daten im Hauptspeicher und hat so immer einen schnellen Zugriff.   * Wer in seinem Netz einen eigenen Server betreibt kann auch diesen nutzen. Die Datenmengen die anfallen sind für ein aktuelles System normalerweise kein Problem. Wer z.B. 32GB Hauptspeicher erübrigen kann hält einen Großteil der Daten im Hauptspeicher und hat so immer einen schnellen Zugriff.
-  * Denkbar ist auch Middleware und Datenbank auf ein Webhosting oder einen angemieteten Server zu verlegen, wie [[http://wiki.volkszaehler.org/howto/installation_auf_webhoster_2|hier]] beschrieben.+  * Denkbar ist auch Middleware und Datenbank auf ein Webhosting oder einen angemieteten Server zu verlegen[[howto/installation_auf_webhoster_2|Installation auf Webhoster]]
  
-== Einsatz und Konfiguration der Software ==+===== Einsatz und Konfiguration anderer Software =====
 Es gibt zahlreiche Möglichkeiten im Bereich der Konfiguration anzusetzen. Diese sind jedoch von den individuellen Gegebenheiten abhängig. Ein paar Anregungen: Es gibt zahlreiche Möglichkeiten im Bereich der Konfiguration anzusetzen. Diese sind jedoch von den individuellen Gegebenheiten abhängig. Ein paar Anregungen:
   * Einsatz einer Ramdisk an geschickter Stelle   * Einsatz einer Ramdisk an geschickter Stelle
howto/datenmengen.1434304427.txt.gz · Zuletzt geändert: 2015/06/14 19:53 von cmeckler