Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- howto:datenmengen [2017/12/26 14:50] – "aggregate.php create" is deprecated. Beispiel für Aggregation einer einzelnen UUID. ruperts
+++ howto:datenmengen [2018/04/01 15:09] – PR 688 jau
@@ Zeile 20: / Zeile 20: @@
 <note tip>Man kann die Daten auch auf [[http://demo.volkszaehler.org/]] ablegen.</note>
-===== Daten löschen ====
+===== Daten löschen =====
+Die Frage wie viel Daten man entfernen kann ist oft ein Kompromiss welche Daten man jetzt braucht und wie viel davon in der Zukunft noch von Interesse ist. Ein Ansatz die Aktualdaten zu haben ohne die Datenbank zu nutzen ist der [[software:middleware:push-server|Push-Server]].
 === hart ===
 Wen die Vergangenheit nicht interessiert, der kann die Daten dafür löschen.
@@ Zeile 31: / Zeile 33: @@
 === weich ===
 Bei diesem Ansatz werden auch die Daten gelöscht. Die Daten werden immer mehr ausgedünnt je weiter man in die Vergangenheit geht. So behält man z.B. alle Daten von heute, behält von den letzten 2 Wochen nur eine Messung pro Minute und von der Zeit davor nur eine pro Viertelstunde.
-Dazu steht das Script [[https://github.com/volkszaehler/volkszaehler.org/blob/master/misc/tools/vzcompress2.php|vzcompress2.php]] zur Verfügung. Von Haus aus hat der lokale User vz keine Rechte zum Löschen in der Datenbank, das muss man vorher ändern:
+Dazu steht das Script [[https://github.com/volkszaehler/volkszaehler.org/blob/master/bin/vzcompress2.php|vzcompress2.php]] zur Verfügung. Von Haus aus hat der lokale User vz keine Rechte zum Löschen in der Datenbank, das muss man vorher ändern:
 <code>
 mysql --user=root -praspberry
@@ Zeile 48: / Zeile 50: @@
 <code>
-3 * * * cd /var/www/volkszaehler.org/misc/tools ; php vzcompress2.php >> /var/log/vzcompress.log
+3 * * * cd /var/www/volkszaehler.org/bin ; php vzcompress2.php >> /var/log/vzcompress.log
 </code>
 Die Anzahl der Daten die gelöscht werden soll, sowie die Zeiträume sind frei konfigurierbar am Ende des Scriptes.
@@ Zeile 63: / Zeile 65: @@
 Die folgende Zeile aggregiert alle bestehenden Daten. Der Vorgang kann daher einige Stunden benötigen:
 <code>
-php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m full -l day -l hour -l minute
+php /var/www/volkszaehler.org/bin/aggregate.php run -m full -l day -l hour -l minute
 </code>
 Einschränken auf eine einzelne UUID mittels:
 <code>
-php /var/www/volkszaehler.org/misc/tools/aggregate.php run <UUID> -m full -l day -l hour -l minute
+php /var/www/volkszaehler.org/bin/aggregate.php run <UUID> -m full -l day -l hour -l minute
 </code>
@@ Zeile 74: / Zeile 76: @@
 Das Script legt nur an, was noch nicht angelegt wurde und läuft daher nur kurz:
 <code>
-*/10 * * * *  php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l minute >/dev/null
+*/10 * * * *  php /var/www/volkszaehler.org/bin/aggregate.php run -m delta -l minute >/dev/null
-* * * *  php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l hour >/dev/null
+* * * *  php /var/www/volkszaehler.org/bin/aggregate.php run -m delta -l hour >/dev/null
-1 * * *  php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l day >/dev/null
+1 * * *  php /var/www/volkszaehler.org/bin/aggregate.php run -m delta -l day >/dev/null
 </code>
@@ Zeile 90: / Zeile 92: @@
 der Eintrag für "minute" sieht dann also so aus:
 <code>
-*/10 * * * *  flock -n /tmp/flock-vz_aggregate.lock php /var/www/volkszaehler.org/misc/tools/aggregate.php run -m delta -l minute >/dev/null
+*/10 * * * *  flock -n /tmp/flock-vz_aggregate.lock php /var/www/volkszaehler.org/bin/aggregate.php run -m delta -l minute >/dev/null
 </code>
 Anm.: Die Einträge für "hour" und "day" werden nicht mit sich selbst kollidieren (...); wenn diese also kollidieren, dann mit "minute"; so laufen also höchstens 3 Aggregate-Jobs gleichzeitig (minute, hour, day)