Skip to main content

!Friendica Support
Gibt es eine Anleitung wie man eine #friendca instanz #umziehen kann.
Aktuell hat meine Datenbank ca. 18 GB und der Server kommt an die Grenzen.

wobei ich mich frage was da alles in der DB steht ๐Ÿ˜ฒ
Allein schon die Abfrage auf die 40 Mio Datensรคtze bringt die DB und den Server ins schwitzen.

#friendca #umziehen !Friendica Support
Hiker
Hiker  
•
Ich frage mich auch, warum #Friendica eine solche Riesendatenbank generiert. Meine Ein-User-Instanz hat nach kurzer Zeit bereits 1 GB... @helpers
#friendica @Friendica Support
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’  
•
@Hiker
nun ich hab auch nur 2 User hier laufen und die lรคuft ca. 1,5 - 2 Jahre.
Ich hab auch keine Ahnung was da alles drinnen steht.
Parallel hab ich nun eine Sharkey (Misskey) Instanz am laufen - mal schauen wie sich da die Datenbank entwickelt.
@Hiker
Hiker
Hiker  
•
Ja, solche Vergleiche mache ich zur Zeit auch ๐Ÿ˜‰
Matthias
Matthias  
•
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Hiker
Rรคume die DB von Zeit zu Zeit auf, damit der Platz wieder freigegeben wird.
Die DB hier ist โ‰ˆ50 GB groรŸ, lรคuft seit fast einen Jahrzehnt und beherbergt einige hundert User.
@Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Hiker
Hiker  
•
@feb Wie genau "rรคumst" du auf? @zwovierzwo
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Matthias
Nordnick :verified:
Nordnick :verified:  
•

@Hiker

Ist es #MySQL oder #MariaDB?

Zumindest bei #MyISAM sollte auch via #SQL ein #OPTIMIZE funktionieren...

@feb @zwovierzwo

#mysql #SQL #MariaDB #MyISAM #optimize @Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Matthias
Hiker
Hiker  
•
@nick Table does not support optimize, doing recreate + analyze instead @feb @zwovierzwo
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Nordnick :verified: @Matthias
Nordnick :verified:
Nordnick :verified:  
•

@Hiker

Ah, okay, also keine Tabelle vom Typ #InnoDB, #MyISAM oder #ARCHIVE?!

https://dev.mysql.com/doc/refman/8.0/en/optimize-table.html

@feb @zwovierzwo

MySQL :: MySQL 8.0 Reference Manual :: 15.7.3.4 OPTIMIZE TABLE Statement

dev.mysql.com
#InnoDB #MyISAM #archive @Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Matthias
Raroun
Raroun  
•
@Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Nur MyISAM Tabllen unterstรผtzen eine Optimierung.
InnoDB halt nicht.
Das Ergebnis ist nahezu das gleiche. MyISAM kann "on the fly" optimiert werden, InnoDB nicht.
Bei InnoDB wir die Tabelle Analysiert und und dann ohne Lรผcken neu erstellt (also sauber kopiert) - von daher die Meldung.
@Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Hiker
Hiker  
•
@raroun Das lรถst #Friendica, je nach Einstellung selber aus. Aber wenn die Datenbank gross oder riesig wird, wird das offenbar ein langer Prozess. Mein Provider hat mich gemahnt, das sei zu lang, da wรผrde der automatische Backup-Prozess gestรถrt... @zwovierzwo @nick @feb
#friendica @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Raroun @Nordnick :verified: @Matthias
Raroun
Raroun  
•
@Hiker
Nicht alle Tabellen werden von Friendica automatisch optimiert.
Die Dauer der Optimierung hรคngt stark von der zur Verfรผgung stehen Leistung ab.
Hier dauert die Optimierung einer kompletten 160gbyte groรŸen Friendica Datenbank derzeit ca.25 Minuten.
@Hiker
Hiker
Hiker  
•
@raroun Ja und wenn genau in diese Zeit das Backup laufen soll, dann gibts einen Konflikt - Backup einer Datenbank, die gerade neu geschrieben wird, ist relativ schwierig... @zwovierzwo @nick @feb
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Raroun @Nordnick :verified: @Matthias
Raroun
Raroun  
•
@Hiker
Das geht problemlos mit Dateisystem-Snapshots, machen wir auch so.
Be einem Shared hoster ist es leider schwierig nachvollziehen, bzw. zu erahnen wie dort die Datensicherungen durchgefรผhrt werden.
Eine Lรถsung hierfรผr habe ich nicht, aber vielleicht kann man mit dem Anbieter kommunizieren und eine Lรถsung finden, die beide Seiten zufrieden stellt.
Sollte dies fehlschlagen - aus welchem Grund auch immer - Anbieterwechsel und vorher die Anforderungen schildern.
@Hiker
Hiker
Hiker  
•
@raroun Hab ich schon versucht - bis zum Deaktivieren der Optimierung in Friendica bin ich noch nicht weiter gekommen... @zwovierzwo @nick @feb
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Raroun @Nordnick :verified: @Matthias
Raroun
Raroun  
•
@Michael Vogel @Matthias โœ”
@Nordnick :verified: @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Man kann auch manuell ein ANALYSE und RECREATE durchfรผhren.
Irgendwann haben sich die Entwickler dazu entschieden, das im "OPTIMZE" fรผr InnoDB automatisch zu machen.
Die Meldung teilt nur mit, das hier ein alternativer Weg gegangen wird, der nativ nicht unterstรผtzt wird.
@Michael Vogel @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Nordnick :verified: @Matthias
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’  
•
@Matthias โœ” @Hiker
50GB ๐Ÿ˜ณ
Ich will ja nix sagen aber wahrscheinlich hast du zig 100 Nutzer ๐Ÿค”
@Hiker @Matthias
Raroun
Raroun  
•
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Die Nutzerzahl ist gar nicht so entscheidend - eher wie stark die Instanz "vernetzt" ist und ob relay Server abonniert sind, oder halt nicht.
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’  
•
@Hiker @Matthias โœ”
wรคre es da nicht sinnvoll wenn man eine "anstรคndige" Datenbank wie Postgres verwendet
@Hiker @Matthias
Hiker
Hiker  
•
Das mรผssten wir die Autoren von #Friendica fragen... @feb
#friendica @Matthias
Matthias
Matthias  
•
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Hiker
Was macht die "anstรคndiger" als mysql? Du wirst nur andere Herausforderungen haben.
@Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Matthias
Matthias  
•
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Hiker
Jede DB braucht Pflege (egal wie sie heiรŸt). Wer die vernachlรคssigt wird unweigerlich in einen Flaschenhals hinein laufen.
@Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Hiker
Hiker  
•
@feb Aber wenn auf einer Ein-User-Instanz die Datenbank innert paar Monaten รผber 1 GB gross wird (trotz der automatischen Optimierung durch Friendica) und der Provider reklamiert, der Backup-Prozess werden immer wieder gestรถrt, wirft das Fragen auf.
Wenn ich den Provider richtig verstanden habe, wird jedes Mal, wenn worker gestartet wird (also relativ oft (alle 10 Min zB), wird auch an den Tabellen optimiert. @zwovierzwo
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @Matthias
Michael Vogel
Michael Vogel  
•
Es gibt eine Option die man deaktivieren kann, die automatisch einige Tabellen optimiert, die regelmรครŸig geschrieben und gelรถscht werden.
Michael Vogel
Michael Vogel  
•
Welchen Vorteil versprichst Du Dir davon? Den Platzbedarf hat man so oder so. Und wenn es sauber konfiguriert ist, lรคuft MariaDB auch mit groรŸen Datenmengen sehr schnell.
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’  
•

@Michael Vogel
Es geht prinzipiell nicht "nur" um die DatenbankgrรถรŸe sondern um die Geschwindigkeit. Aktuell lรคuft auf einer 8 Core Xenon und 32 GB Speicher sowie SSD eine #friendica .. und trotzdem wird die Instanz 1-single User und 1 Bot immer langsamer ...

Fรผr Projekte mit so groรŸe Datenmengen habe ich immer Postgres eingesetzt und fรผr schnelle immer wieder benรถtigte Info kommt eine Redis DB zum Einsatz.
Bisher bin ich damit sehr gut gefahren und hatte nie Probleme mit Geschwindigkeiten auch auf wesentlich schwรคcheren Systemen ๐Ÿค”

Aber OK ist halt jetzt so ... und ich muรŸ schauen wie ich damit umgehe.

@Hiker @Matthias โœ”

#friendica @Michael Vogel @Hiker @Matthias
Hiker
Hiker  
•
Ich beobachte vor allem, dass der Login-Prozess "ewig" dauert. Nach der Eingabe des Passwortes geht es 30 Sekunden und mehr, bis die "network" Seite geladen ist. @feb @heluecht
@Michael Vogel @Matthias
Steffen K9 ๐Ÿฎ
Steffen K9 ๐Ÿฎ  
•
Das ist ungewรถhnlich lange. Bei meinem Account lรคdt /network nach dem Login in weniger als 5 Sekunden. Spรคter lรคdt die Seiter dann in weniger als 2 Sekunden. Meine DB von libranet.de ist 315 GB groรŸ.
Steffen K9 ๐Ÿฎ
Steffen K9 ๐Ÿฎ  
•
My storage backend is filesystem. โ˜บ๏ธ
utopiArte
utopiArte  
•
Michael Vogel
Michael Vogel  
•
Hast Du die Datenbankeinstellungen angepasst oder lรคufst Du mir den Einstellungen der Distribution? Wenn man der Datenbank nicht ausreichend Speicher zur Verfรผgung stellt, wird sie sehr schnell langsam.
Nordnick :verified:
Nordnick :verified:  
•
@abu @Hiker
Wo lagert bei Euch ein Mediencache von anderen Instanzen?
@Hiker @alfredb
Michael Vogel
Michael Vogel  
•
Wir cachen keine externe Medien. Wir cachen ausschlieรŸlich externe Avatare.
Wolfgang P.
Wolfgang P.  
•
Es gibt auch die Einstellung bestimmte Daten anstatt in der Datenbank im Filesystem zu speichern. Das bringt einiges
alfredb
alfredb  
•

@Wolfgang P. Das mache ich schon so. Nun sind die Gigabytes einfach im Storage Verzeichnis.

Increase
DB 4.30 MB/Day
Storage 6.56 MB/Day
Total 10.86 MB/Day

@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’

@Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
This entry was edited (9 months ago)
Michael Vogel
Michael Vogel  
•
Du kannst in den Admin-Einstellungen unter dem Menรผpunkt "Performance" das Speichern von Avatar-Bildern deaktivieren. Dadurch werden diese Bilder bei Dir langsamer geladen, aber der Datenzuwachs dรผrfte sinken.
Wolfgang P.
Wolfgang P.  
•
@alfredb Was fรผr eine Lรถschfrist ? Ich habe 30 Tage.
@alfredb
alfredb
alfredb  
•

@Wolfgang P. Aktuell 90 Tage. Ich habe jedoch die 30 Tage auch ausprobiert, in der Hoffnung auf eine Abflachung der Kurve. Fehlanzeige, das muss etwas anderes sein.

@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’

@Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Hiker
Hiker  
•
@abu Habe ich genauso beobachtet. @helpers @powo01 @zwovierzwo
@Friendica Support @Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @alfredb
alfredb
alfredb  
•
@Hiker Ich habe mal gelesen, es sei der Avatar-Cache. Aber schaltet man den aus, wird die Sache eventuell viel trรคger.
@Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
@Wolfgang P. @Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Michael Vogel
Michael Vogel  
•
Probiere es im Zweifel einfach aus.
alfredb
alfredb  
•

@Michael Vogel Ich habe das vor einigen Wochen mal kurz probiert. Seitdem ist ein Teil der Avatare "geblurrt".

Wรคre toll, wenn ich das wieder wegbrรคchte.

@Hiker @Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’

@Michael Vogel @Wolfgang P. @Hiker @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
Matthias
Matthias  
•
@alfredb
Hast du den Avatar-Cache nur deaktiviert oder das Verzeichnis gelรถscht?
In der DB werden nach dem Deaktivieren weiter eine Relation aufgebaut aber keine neuen Avatare angelegt. Nach einiger Zeit wird die Relation entfernt und du ziehst die Daten wieder direkt รผber das Netz (so zumindest meine Beobachtung)
@alfredb
alfredb
alfredb  
•
@Matthias โœ” Ich habe nur fรผr etwa einen Tag die Option deaktiviert. Ich schaue mir das nun aber nochmals genauer an.
@Matthias
alfredb
alfredb  
•

@Matthias โœ”

... oder das Verzeichnis gelรถscht?


Welches Verzeichnis meinst du denn?

BTW hรคtte ich erwartet, dass die Funktion "Re-fetch contact data" die Originalbilder erneut abholt.

@Matthias
Matthias
Matthias  
•

@alfredb
Ich habe spรคter verstanden, dass du eine Funktion im Adminbereich meinst.

Es gibt noch eine, die รผber die Config eingerichtet wird

	'avatar_cache' => false,
	'avatar_cache_path' => 'pfad',
	'avatar_cache_url' => 'https://url/avatar/',
@alfredb
alfredb
alfredb  
•
@Matthias โœ” Sieht bei mir leer aus.
$ bin/console config | grep avatar
system.avatar_cache => 
system.avatar_cache_path => 
system.avatar_cache_url => 
system.remote_avatar_lookup => 
system.cache_contact_avatar => 1
@Matthias
Matthias
Matthias  
•
@alfredb
Ok, in dem Fall war meine Frage nach dem Verzeichnis nicht hilfreich ;)
@alfredb
alfredb
alfredb  
•
@Matthias โœ” Allein der Versuch zu helfen zรคhlt fรผr mich auch. ๐Ÿ‘
@Matthias
Hiker
Hiker  
•
@abu Hast du schon versucht, unter "Kontakte" auf den entsprechenden Account zu gehen und oben rechts "Aktionen" "Kontaktdaten neu laden" zu klicken? @helpers @powo01 @heluecht @zwovierzwo
@Friendica Support @Michael Vogel @Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @alfredb
Hiker
Hiker  
•
@abu Und entfolgen und dann wieder folgen auch nicht. Tja, solche Dinge hatte ich hier auch bei Sharkey... Die Avatare sind offenbar eine grosse Herausforderung im #Fediverse - auch in Bezug Speicherplatz... @helpers @powo01 @heluecht @zwovierzwo
#fediverse @Friendica Support @Michael Vogel @Wolfgang P. @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’ @alfredb
Raroun
Raroun  
•
@alfredb
Nach dem Umstellen des Wertes, muss Du ein OPTIMZE fahren.
Das ist wie eine Defragmentierung bei HDDยดs.
Nur weil Beitrรคge gelรถscht werden, wir die Datenbankdatei nicht kleiner. Gelรถschte Beitrรคge machen Speicherplatz in der Datei frei, welcher wieder belegt werden kann, verkleinert aber nicht die Datenbank.
Das Verkleinern macht dann das OPTIMZE - die Datenbanktabellen werden dann ohne Lรผcken neu aufgebaut.
Das Ergebnis ist eine kleinere Datenbank auf dem Storage.
@alfredb
Montag
Montag  
•
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
die mit Abstand grรถรŸten Tabellen sind bei mir apcontact mit 4,6GB und contact mit 4,3 GB. Friendica lรถscht wohl auch keine inaktiven Kontakt und mit dem grรถรŸer werdenden Fediverse werden wohl auch die potentiellen Kontakte mehr. Wรคre schรถn wenn man da mal aufrรคumen kรถnnte. Meine kleine Instanz hat jetzt auch langsam eine 22GB groรŸe Datenbank und das erscheint mir wirklich ein bisschen zu groรŸ.
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
alfredb
alfredb  
•

@Montag

Meine kleine Instanz hat jetzt auch langsam eine 22GB groรŸe Datenbank und das erscheint mir wirklich ein bisschen zu groรŸ.


So weit mรถchte (und werde) ich es nicht kommen lassen. Da schalte ich das vorher ab.
@๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’

@Montag @๐Ÿ‘ค ๐Ÿณ๐—ต๐—ผ๐—บ๐—ฎ๐˜€ โœ…๐Ÿ––๐Ÿ”’
โ‡ง