Grenzen für Influx DB

[jensner]

Hallo Leute,

nachdem ich nun meine Solaranzeige bereits über 2 Jahre laufen habe und vor gut einem Jahr alles nochmal neu installieren musste, weil meine SSD den Hitzetod gestorben war, habe ich seit Kurzem wieder seltsame Ausfälle.
Heute z.B. haben beide Masken (2 Wechselrichter) keinerlei Werte mehr angezeigt.
Nach Neustart und Update war dann keine Verbindung mehr zur Influx möglich (auch nicht über die Konsole)

Code: Alles auswählen

Failed to connect to http://localhost:8086: Get "http://localhost:8086/ping": dial tcp [::1]:8086: connect: connection refused
Please check your connection settings and ensure 'influxd' is running.

Aktuell zeigt Grafana mal was an und mal nichts.
Nun frage ich mich wie das eigentlich mit den Leistungsgrenzen der InfluxDB so aussieht.
Bei mir laufen ja im Grunde Unmengen an Daten in die InfluxDB rein.
Ich habe ein Multisystem, von welchem aktuell sämtliche Daten in einer Solaranzeige zusammen laufen:
- 1 x Wechselrichter + 3 x Akkus (incl. BMS-Überwachung jeder einzelnen Zelle)
- 1 x Wechselrichter + 2 Akkus (incl. BMS-Überwachung jeder einzelnen Zelle)

Wenn ich mir so ansehe, was da in dieser Konstellation im 10 Sekundentakt in die DB rein läuft, würde mich das dann auch nicht wundern, wenn die nach gut einem Jahr mal an die Grenzen kommt.

By the way, Festplattenverwendung aktuell ca. 20% (daran sollte es nicht liegen)
Was meint Ihr zu meinen Vermutungen?
Soll ich lieber auf 2 x Solaranzeige aufsplitten oder muss dass die DB abkönnen?

Vielen Dank und viele Grüße
Jens

[Ulrich]

Hallo Jens,

vielleicht hilft dir dieses Dokument:

download/Wartung.pdf

Ich nehme einmal an, dass du deine Influx Datenbank einmal "aufräumen" musst.

[jensner]

Hallo Ulrich,

vielen Dank, ich schau mir das gleich mal an.

Viele Grüße
Jens

[jensner]

Hallo Ulrich,

ich habe mir jetzt mal das Wartungs-Thema angeschaut.
Verstehe ich das richtig, dass diese Routine im Grunde nur Daten alter als X Tage aus der Datenbank löscht?
Für mich ist ja gerade auch die Langzeitauswertung ein großer Benefit dieser Überwachung.
Mich interessiert vor Allem auch ein Vergleich zwischen den Tagen / Monaten der Vorjahre.

Gibt es hier evtl. auch einen anderen Ansatz, wo z.B. nicht einfach gelöscht wird, sondern die Vorhandenen Daten statistisch kumuliert (z.B. Tagesdurchschnittswerte gebildet) und erst dann die Feindaten gelöscht werden, dass man wenigstens noch grobe Daten zu den zurückliegenden Jahren abrufen kann?

Viele Grüße
Jens

[Ulrich]

Hallo Jens,

natürlich gibt es viele Ansätze, wenn man sich mit der Influx Datenbank gut auskennt. So könnte man die alten Daten exportieren und sichern, sodass die aktuelle Datenbank nicht so mächtig ist. In deinem Beitrag ging es doch mehr darum, dass die Datenbank wieder flott wird und nicht um Auswertungen uralter Daten.

[jensner]

Hallo Ulrich,

ich habe das Script jetzt mal eingebaut.
Leider kann ich aber nach wie vor nicht mehr auf die influxdb zzugreifen (per console)
Ab und zu komme ich mit "influx" noch in die Influx-shell, aber sobald ich mir dann irgend etwas anzeigen lassen möchte, z.B. "show measurements" kommt nur noch der Fehler

Code: Alles auswählen

ERR: Post "http://localhost:8086/query?chunked=true&db=&epoch=ns&q=show+measurements": dial tcp [::1]:8086: connect: connection refused

Ich habe den Service schon mehrmals neu gestartet und auch den Raspberry neu gestartet (über SSH)
Gibt es denn z.B. einen Befehl, mit dem ich nur die influxdb neu aufsetzen kann?
Der Rest scheint ja normal zu funktionieren.
Von mir aus können die Influx-Daten weg sein, aber zumindest spare ich mir die komplette, aufwändige Neuinstallation von Solaranzeige.

Viele Grüße
Jens

[Ulrich]

Es gibt den Befehl

sudo apt-get reinstall influxdb

Das empfehle ich aber nur, wenn du mit Linux gut umgehen kannst.

[jensner]

OK, "gut umgehen" wäre maßlos übertrieben.
Aber die Alternative wäre alles nochmal komplett neu zu installieren.

Ich mach mich mal schlau.
Am Ende ists ohnehin egal, denn bei Neuinstallation wären die Daten ja ebenfalls weg.
Ich würde mir nur eben gerne den erheblichen Aufwand ersparen, da ich eine Multiregler Version mit 2 WR und 5 Akkus habe

Gruß Jens

[andreas_n]

Du suchst jetzt noch 2 Wochen nach dem Influx Problem und danach installierst du es eh neu weil nix gefunden..

2WR und paar Batterien sollten ja wohl nicht bremsen..bei mir rennen 12 Devices(Datenbanken), was soll dann ich sagen?

[jensner]

ich habe jetzt mal etwas gesucht und evtl. eine einfache Lösung gefunden, die zumindest seit 10 Minuten wieder läuft.
- Influxdb-Service gestoppt

Code: Alles auswählen

sudo service influxdb stop

- Den Ordner /var/lib/influxdb/wal umbenannt

Code: Alles auswählen

sudo mv wal wal_alt

- Influxdb-Service wieder gestartet

Code: Alles auswählen

sudo service influxdb start

Influx legt das Verzeichnis dann selbst wieder an

- in influxdb die Datenbanken wieder angelegt
Habe mir einfach das alte "wal" Verzeichnis nochmal her geholt in dem die einzelnen Datenbanken je ein Verzeichnis haben und habe dann jede Datenabnk wieder angelegt

Code: Alles auswählen

create database ... [Markieren und Rechtsklick auf das alte Verzeichnis der DB]

Dauer ca. 10 Minuten mit 10 Datenbanken und läuft aktuell wieder.
Mal schauen ob es so bleibt