Skip to main content

Ich frage mich auch, warum #Friendica eine solche Riesendatenbank generiert. Meine Ein-User-Instanz hat nach kurzer Zeit bereits 1 GB... @helpers
@Hiker
nun ich hab auch nur 2 User hier laufen und die lรคuft ca. 1,5 - 2 Jahre.
Ich hab auch keine Ahnung was da alles drinnen steht.
Parallel hab ich nun eine Sharkey (Misskey) Instanz am laufen - mal schauen wie sich da die Datenbank entwickelt.
Ja, solche Vergleiche mache ich zur Zeit auch ๐Ÿ˜‰
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Hiker
Rรคume die DB von Zeit zu Zeit auf, damit der Platz wieder freigegeben wird.
Die DB hier ist โ‰ˆ50 GB groรŸ, lรคuft seit fast einen Jahrzehnt und beherbergt einige hundert User.
@Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Nur MyISAM Tabllen unterstรผtzen eine Optimierung.
InnoDB halt nicht.
Das Ergebnis ist nahezu das gleiche. MyISAM kann "on the fly" optimiert werden, InnoDB nicht.
Bei InnoDB wir die Tabelle Analysiert und und dann ohne Lรผcken neu erstellt (also sauber kopiert) - von daher die Meldung.
@raroun Das lรถst #Friendica, je nach Einstellung selber aus. Aber wenn die Datenbank gross oder riesig wird, wird das offenbar ein langer Prozess. Mein Provider hat mich gemahnt, das sei zu lang, da wรผrde der automatische Backup-Prozess gestรถrt... @zwovierzwo @nick @feb
@Hiker
Nicht alle Tabellen werden von Friendica automatisch optimiert.
Die Dauer der Optimierung hรคngt stark von der zur Verfรผgung stehen Leistung ab.
Hier dauert die Optimierung einer kompletten 160gbyte groรŸen Friendica Datenbank derzeit ca.25 Minuten.
@raroun Ja und wenn genau in diese Zeit das Backup laufen soll, dann gibts einen Konflikt - Backup einer Datenbank, die gerade neu geschrieben wird, ist relativ schwierig... @zwovierzwo @nick @feb
@Hiker
Das geht problemlos mit Dateisystem-Snapshots, machen wir auch so.
Be einem Shared hoster ist es leider schwierig nachvollziehen, bzw. zu erahnen wie dort die Datensicherungen durchgefรผhrt werden.
Eine Lรถsung hierfรผr habe ich nicht, aber vielleicht kann man mit dem Anbieter kommunizieren und eine Lรถsung finden, die beide Seiten zufrieden stellt.
Sollte dies fehlschlagen - aus welchem Grund auch immer - Anbieterwechsel und vorher die Anforderungen schildern.
@raroun Hab ich schon versucht - bis zum Deaktivieren der Optimierung in Friendica bin ich noch nicht weiter gekommen... @zwovierzwo @nick @feb
@Michael Vogel @Matthias โœ”
@Nordnick :verified: @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Man kann auch manuell ein ANALYSE und RECREATE durchfรผhren.
Irgendwann haben sich die Entwickler dazu entschieden, das im "OPTIMZE" fรผr InnoDB automatisch zu machen.
Die Meldung teilt nur mit, das hier ein alternativer Weg gegangen wird, der nativ nicht unterstรผtzt wird.
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Die Nutzerzahl ist gar nicht so entscheidend - eher wie stark die Instanz "vernetzt" ist und ob relay Server abonniert sind, oder halt nicht.
Das mรผssten wir die Autoren von #Friendica fragen... @feb
@feb Aber wenn auf einer Ein-User-Instanz die Datenbank innert paar Monaten รผber 1 GB gross wird (trotz der automatischen Optimierung durch Friendica) und der Provider reklamiert, der Backup-Prozess werden immer wieder gestรถrt, wirft das Fragen auf.
Wenn ich den Provider richtig verstanden habe, wird jedes Mal, wenn worker gestartet wird (also relativ oft (alle 10 Min zB), wird auch an den Tabellen optimiert. @zwovierzwo
Es gibt eine Option die man deaktivieren kann, die automatisch einige Tabellen optimiert, die regelmรครŸig geschrieben und gelรถscht werden.
Welchen Vorteil versprichst Du Dir davon? Den Platzbedarf hat man so oder so. Und wenn es sauber konfiguriert ist, lรคuft MariaDB auch mit groรŸen Datenmengen sehr schnell.

@Michael Vogel
Es geht prinzipiell nicht "nur" um die DatenbankgrรถรŸe sondern um die Geschwindigkeit. Aktuell lรคuft auf einer 8 Core Xenon und 32 GB Speicher sowie SSD eine #friendica .. und trotzdem wird die Instanz 1-single User und 1 Bot immer langsamer ...

Fรผr Projekte mit so groรŸe Datenmengen habe ich immer Postgres eingesetzt und fรผr schnelle immer wieder benรถtigte Info kommt eine Redis DB zum Einsatz.
Bisher bin ich damit sehr gut gefahren und hatte nie Probleme mit Geschwindigkeiten auch auf wesentlich schwรคcheren Systemen ๐Ÿค”

Aber OK ist halt jetzt so ... und ich muรŸ schauen wie ich damit umgehe.

@Hiker @Matthias โœ”

Ich beobachte vor allem, dass der Login-Prozess "ewig" dauert. Nach der Eingabe des Passwortes geht es 30 Sekunden und mehr, bis die "network" Seite geladen ist. @feb @heluecht
Das ist ungewรถhnlich lange. Bei meinem Account lรคdt /network nach dem Login in weniger als 5 Sekunden. Spรคter lรคdt die Seiter dann in weniger als 2 Sekunden. Meine DB von libranet.de ist 315 GB groรŸ.
My storage backend is filesystem. โ˜บ๏ธ
Hast Du die Datenbankeinstellungen angepasst oder lรคufst Du mir den Einstellungen der Distribution? Wenn man der Datenbank nicht ausreichend Speicher zur Verfรผgung stellt, wird sie sehr schnell langsam.
@abu @Hiker
Wo lagert bei Euch ein Mediencache von anderen Instanzen?
Wir cachen keine externe Medien. Wir cachen ausschlieรŸlich externe Avatare.
Es gibt auch die Einstellung bestimmte Daten anstatt in der Datenbank im Filesystem zu speichern. Das bringt einiges

@Wolfgang P. Das mache ich schon so. Nun sind die Gigabytes einfach im Storage Verzeichnis.

Increase
DB 4.30 MB/Day
Storage 6.56 MB/Day
Total 10.86 MB/Day

@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’

Du kannst in den Admin-Einstellungen unter dem Menรผpunkt "Performance" das Speichern von Avatar-Bildern deaktivieren. Dadurch werden diese Bilder bei Dir langsamer geladen, aber der Datenzuwachs dรผrfte sinken.
@alfredb Was fรผr eine Lรถschfrist ? Ich habe 30 Tage.
Probiere es im Zweifel einfach aus.
@alfredb
Hast du den Avatar-Cache nur deaktiviert oder das Verzeichnis gelรถscht?
In der DB werden nach dem Deaktivieren weiter eine Relation aufgebaut aber keine neuen Avatare angelegt. Nach einiger Zeit wird die Relation entfernt und du ziehst die Daten wieder direkt รผber das Netz (so zumindest meine Beobachtung)
@Matthias โœ” Ich habe nur fรผr etwa einen Tag die Option deaktiviert. Ich schaue mir das nun aber nochmals genauer an.

@Matthias โœ”

... oder das Verzeichnis gelรถscht?


Welches Verzeichnis meinst du denn?

BTW hรคtte ich erwartet, dass die Funktion "Re-fetch contact data" die Originalbilder erneut abholt.

@alfredb
Ich habe spรคter verstanden, dass du eine Funktion im Adminbereich meinst.

Es gibt noch eine, die รผber die Config eingerichtet wird

	'avatar_cache' => false,
	'avatar_cache_path' => 'pfad',
	'avatar_cache_url' => 'https://url/avatar/',
@Matthias โœ” Sieht bei mir leer aus.
$ bin/console config | grep avatar
system.avatar_cache => 
system.avatar_cache_path => 
system.avatar_cache_url => 
system.remote_avatar_lookup => 
system.cache_contact_avatar => 1
@alfredb
Ok, in dem Fall war meine Frage nach dem Verzeichnis nicht hilfreich ;)
@Matthias โœ” Allein der Versuch zu helfen zรคhlt fรผr mich auch. ๐Ÿ‘
@abu Hast du schon versucht, unter "Kontakte" auf den entsprechenden Account zu gehen und oben rechts "Aktionen" "Kontaktdaten neu laden" zu klicken? @helpers @powo01 @heluecht @zwovierzwo
@abu Und entfolgen und dann wieder folgen auch nicht. Tja, solche Dinge hatte ich hier auch bei Sharkey... Die Avatare sind offenbar eine grosse Herausforderung im #Fediverse - auch in Bezug Speicherplatz... @helpers @powo01 @heluecht @zwovierzwo
@alfredb
Nach dem Umstellen des Wertes, muss Du ein OPTIMZE fahren.
Das ist wie eine Defragmentierung bei HDDยดs.
Nur weil Beitrรคge gelรถscht werden, wir die Datenbankdatei nicht kleiner. Gelรถschte Beitrรคge machen Speicherplatz in der Datei frei, welcher wieder belegt werden kann, verkleinert aber nicht die Datenbank.
Das Verkleinern macht dann das OPTIMZE - die Datenbanktabellen werden dann ohne Lรผcken neu aufgebaut.
Das Ergebnis ist eine kleinere Datenbank auf dem Storage.
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
die mit Abstand grรถรŸten Tabellen sind bei mir apcontact mit 4,6GB und contact mit 4,3 GB. Friendica lรถscht wohl auch keine inaktiven Kontakt und mit dem grรถรŸer werdenden Fediverse werden wohl auch die potentiellen Kontakte mehr. Wรคre schรถn wenn man da mal aufrรคumen kรถnnte. Meine kleine Instanz hat jetzt auch langsam eine 22GB groรŸe Datenbank und das erscheint mir wirklich ein bisschen zu groรŸ.

@Montag

Meine kleine Instanz hat jetzt auch langsam eine 22GB groรŸe Datenbank und das erscheint mir wirklich ein bisschen zu groรŸ.


So weit mรถchte (und werde) ich es nicht kommen lassen. Da schalte ich das vorher ab.
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’

โ‡ง