!Friendica Support
Gibt es eine Anleitung wie man eine #friendca instanz #umziehen kann.
Aktuell hat meine Datenbank ca. 18 GB und der Server kommt an die Grenzen.
wobei ich mich frage was da alles in der DB steht ๐ฒ
Allein schon die Abfrage auf die 40 Mio Datensรคtze bringt die DB und den Server ins schwitzen.
Matthias
โขSchau mal hier https://github.com/friendica/friendica/blob/develop/doc/Migrate.md
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขOk danke - hoffen wir mal das dies funktioniert - weil so geht das mit der DB nicht mehr weiter - alles wird zรคher und zรคher
Hiker
โข๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขnun ich hab auch nur 2 User hier laufen und die lรคuft ca. 1,5 - 2 Jahre.
Ich hab auch keine Ahnung was da alles drinnen steht.
Parallel hab ich nun eine Sharkey (Misskey) Instanz am laufen - mal schauen wie sich da die Datenbank entwickelt.
Hiker
โขMatthias
โขRรคume die DB von Zeit zu Zeit auf, damit der Platz wieder freigegeben wird.
Die DB hier ist โ50 GB groร, lรคuft seit fast einen Jahrzehnt und beherbergt einige hundert User.
Hiker
โขMatthias
โขmysqloptimize -p DB-Name
Hiker
โขNordnick :verified:
โข@Hiker
Ist es #MySQL oder #MariaDB?
Zumindest bei #MyISAM sollte auch via #SQL ein #OPTIMIZE funktionieren...
@feb @zwovierzwo
Hiker
โข10.6.16-MariaDB MariaDB Server
@feb @zwovierzwo
Hiker
โขTable does not support optimize, doing recreate + analyze instead@feb @zwovierzwoNordnick :verified:
โข@Hiker
Ah, okay, also keine Tabelle vom Typ #InnoDB, #MyISAM oder #ARCHIVE?!
https://dev.mysql.com/doc/refman/8.0/en/optimize-table.html
@feb @zwovierzwo
MySQL :: MySQL 8.0 Reference Manual :: 15.7.3.4 OPTIMIZE TABLE Statement
dev.mysql.comHiker
โขNordnick :verified:
โข@Hiker
Mhmm, sollte laut Doku doch eigentlich laufen?
https://mariadb.com/kb/en/optimize-table/
@feb @zwovierzwo
OPTIMIZE TABLE
MariaDB KnowledgeBaseHiker
โขHab es jetzt auch gelesen - es optimiert aber wirft trotzdem die Meldung. @feb @zwovierzwo
Raroun
โขNur MyISAM Tabllen unterstรผtzen eine Optimierung.
InnoDB halt nicht.
Das Ergebnis ist nahezu das gleiche. MyISAM kann "on the fly" optimiert werden, InnoDB nicht.
Bei InnoDB wir die Tabelle Analysiert und und dann ohne Lรผcken neu erstellt (also sauber kopiert) - von daher die Meldung.
Hiker
โขRaroun
โขNicht alle Tabellen werden von Friendica automatisch optimiert.
Die Dauer der Optimierung hรคngt stark von der zur Verfรผgung stehen Leistung ab.
Hier dauert die Optimierung einer kompletten 160gbyte groรen Friendica Datenbank derzeit ca.25 Minuten.
Hiker
โขRaroun
โขDas geht problemlos mit Dateisystem-Snapshots, machen wir auch so.
Be einem Shared hoster ist es leider schwierig nachvollziehen, bzw. zu erahnen wie dort die Datensicherungen durchgefรผhrt werden.
Eine Lรถsung hierfรผr habe ich nicht, aber vielleicht kann man mit dem Anbieter kommunizieren und eine Lรถsung finden, die beide Seiten zufrieden stellt.
Sollte dies fehlschlagen - aus welchem Grund auch immer - Anbieterwechsel und vorher die Anforderungen schildern.
Hiker
โขMichael ๐บ๐ฆ
โขHiker
โขRaroun
โข@Nordnick :verified: @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Man kann auch manuell ein ANALYSE und RECREATE durchfรผhren.
Irgendwann haben sich die Entwickler dazu entschieden, das im "OPTIMZE" fรผr InnoDB automatisch zu machen.
Die Meldung teilt nur mit, das hier ein alternativer Weg gegangen wird, der nativ nicht unterstรผtzt wird.
Michael ๐บ๐ฆ
โข๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โข50GB ๐ณ
Ich will ja nix sagen aber wahrscheinlich hast du zig 100 Nutzer ๐ค
Raroun
โขDie Nutzerzahl ist gar nicht so entscheidend - eher wie stark die Instanz "vernetzt" ist und ob relay Server abonniert sind, oder halt nicht.
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขwรคre es da nicht sinnvoll wenn man eine "anstรคndige" Datenbank wie Postgres verwendet
Hiker
โขMatthias
โขWas macht die "anstรคndiger" als mysql? Du wirst nur andere Herausforderungen haben.
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขnun eine Postgres ist fรผr groรe Daten gut geeignet
@Hiker
Matthias
โขJede DB braucht Pflege (egal wie sie heiรt). Wer die vernachlรคssigt wird unweigerlich in einen Flaschenhals hinein laufen.
Hiker
โขWenn ich den Provider richtig verstanden habe, wird jedes Mal, wenn worker gestartet wird (also relativ oft (alle 10 Min zB), wird auch an den Tabellen optimiert. @zwovierzwo
Michael ๐บ๐ฆ
โข๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขNun das sollte die Anwendung รผbernehmen
@Hiker @Friendica Support
alfredb
โข@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ Ich denke nicht, dass ein DB-Wechsel diese Probleme wirklich lรถsen wรผrde. Fรผr mich riecht das eher nach einem konzeptionellen Problem.
@Hiker @Matthias โ
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขdas mag wohl sein - so genau hab ich mir die Datenbankstruktur noch nicht angeschaut.
Michael ๐บ๐ฆ
โข๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โข@Michael Vogel
Es geht prinzipiell nicht "nur" um die Datenbankgrรถรe sondern um die Geschwindigkeit. Aktuell lรคuft auf einer 8 Core Xenon und 32 GB Speicher sowie SSD eine #friendica .. und trotzdem wird die Instanz 1-single User und 1 Bot immer langsamer ...
Fรผr Projekte mit so groรe Datenmengen habe ich immer Postgres eingesetzt und fรผr schnelle immer wieder benรถtigte Info kommt eine Redis DB zum Einsatz.
Bisher bin ich damit sehr gut gefahren und hatte nie Probleme mit Geschwindigkeiten auch auf wesentlich schwรคcheren Systemen ๐ค
Aber OK ist halt jetzt so ... und ich muร schauen wie ich damit umgehe.
@Hiker @Matthias โ
Hiker
โขSteffen K9 ๐ฎ
โขxy..
โข315 GB .. thats all text ? or also images.. I have also wondered how mostly text can become so large in the db. before friendica, I thought my piwik database with 20 MB would be too big
Steffen K9 ๐ฎ
โขfilesystem. โบ๏ธutopiArte
โขfilesystem als storage scheint eine wichtige und grundsรคtzliche einstellung zu sein.
hier ein link zu einer anleitung um einen server einzurichten bzw und/oder umzuziehen:
https://tupambae.org/display/0ac89072-9365-5d9d-8485-599077309156
(noch in bearbeitung)
Michael ๐บ๐ฆ
โขalfredb
โขIch habe das ยซWachstumยป der DB eine Weile รผberwacht. Die Grรถsse steigt unaufhaltsam um ca. 4.5 MB/Tag.
Nordnick :verified:
โขWo lagert bei Euch ein Mediencache von anderen Instanzen?
Michael ๐บ๐ฆ
โขTuxi โ
โขEin
mysqloptimize -p friendica-dbhatte bei mir vor einiger Zeit mal ordentlich Platz gemacht.๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขTuxi โ
โขJa klar. Du brauchst Zugriff auf die Konsole und mysql.
ginAd
โขWolfgang P.
โขalfredb
โข@Wolfgang P. Das mache ich schon so. Nun sind die Gigabytes einfach im Storage Verzeichnis.
Increase
DB 4.30 MB/Day
Storage 6.56 MB/Day
Total 10.86 MB/Day
@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Michael ๐บ๐ฆ
โข๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
โขAlso ich Speicher schon die Profilbilder nicht in der Datenbank
Wolfgang P.
โขalfredb
โข@Wolfgang P. Aktuell 90 Tage. Ich habe jedoch die 30 Tage auch ausprobiert, in der Hoffnung auf eine Abflachung der Kurve. Fehlanzeige, das muss etwas anderes sein.
@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
โขalfredb
โข@Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
โขMichael ๐บ๐ฆ
โขalfredb
โข@Michael Vogel Ich habe das vor einigen Wochen mal kurz probiert. Seitdem ist ein Teil der Avatare "geblurrt".
Wรคre toll, wenn ich das wieder wegbrรคchte.
@Hiker @Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Matthias
โขHast du den Avatar-Cache nur deaktiviert oder das Verzeichnis gelรถscht?
In der DB werden nach dem Deaktivieren weiter eine Relation aufgebaut aber keine neuen Avatare angelegt. Nach einiger Zeit wird die Relation entfernt und du ziehst die Daten wieder direkt รผber das Netz (so zumindest meine Beobachtung)
alfredb
โขalfredb
โข@Matthias โ
Welches Verzeichnis meinst du denn?
BTW hรคtte ich erwartet, dass die Funktion "Re-fetch contact data" die Originalbilder erneut abholt.
Matthias
โข@alfredb
Ich habe spรคter verstanden, dass du eine Funktion im Adminbereich meinst.
Es gibt noch eine, die รผber die Config eingerichtet wird
'avatar_cache' => false, 'avatar_cache_path' => 'pfad', 'avatar_cache_url' => 'https://url/avatar/',alfredb
โข$ bin/console config | grep avatar system.avatar_cache => system.avatar_cache_path => system.avatar_cache_url => system.remote_avatar_lookup => system.cache_contact_avatar => 1Matthias
โขOk, in dem Fall war meine Frage nach dem Verzeichnis nicht hilfreich ;)
alfredb
โขMichael ๐บ๐ฆ
โขHiker
โข@heluecht Kaum. Auch wenn ich auf seinen Account gehe, sind Teil der Avatare kaputt.
https://social.alfredbuehler.ch/photo/contact/80/34?ts=1704566917
@powo01 @zwovierzwo @abu
Hiker
โขalfredb
โข@Michael Vogel @Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
โขalfredb
โข@Hiker Nein, natรผrlich nicht. Die Bilder mรผssten wohl echt aus dem Cache geworfen werden. Aber wie?
@Michael Vogel @Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
โขRaroun
โขNach dem Umstellen des Wertes, muss Du ein OPTIMZE fahren.
Das ist wie eine Defragmentierung bei HDDยดs.
Nur weil Beitrรคge gelรถscht werden, wir die Datenbankdatei nicht kleiner. Gelรถschte Beitrรคge machen Speicherplatz in der Datei frei, welcher wieder belegt werden kann, verkleinert aber nicht die Datenbank.
Das Verkleinern macht dann das OPTIMZE - die Datenbanktabellen werden dann ohne Lรผcken neu aufgebaut.
Das Ergebnis ist eine kleinere Datenbank auf dem Storage.
Montag
โขdie mit Abstand grรถรten Tabellen sind bei mir
apcontactmit 4,6GB undcontactmit 4,3 GB. Friendica lรถscht wohl auch keine inaktiven Kontakt und mit dem grรถรer werdenden Fediverse werden wohl auch die potentiellen Kontakte mehr. Wรคre schรถn wenn man da mal aufrรคumen kรถnnte. Meine kleine Instanz hat jetzt auch langsam eine 22GB groรe Datenbank und das erscheint mir wirklich ein bisschen zu groร.alfredb
โข@Montag
So weit mรถchte (und werde) ich es nicht kommen lassen. Da schalte ich das vorher ab.
@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐