Hallo liebe Community,

wie euch sicher nicht entgangen ist, gibt es seit dem letzten Update auf die aktuelle Version v0.19 von Lemmy einige Probleme. Dies betrifft hauptsächlich zwei Bereiche:

  1. die Föderation
  2. häufige Fehlermeldungen

Der erste Punkt sollte eigentlich mit dem Update auf v0.19.1 behoben werden, was aber nicht ganz den gewünschten Effekt zeigt. Im Moment scheinen alle Beiträge nur einmal am Tag auf andere Instanzen gepusht zu werden.

Das zweite Problem wurde mit dem Update noch nicht behoben, ist aber den Entwicklern bekannt, besteht aber weiterhin. Einige Apps scheinen client-seitige Maßnahmen zu implementieren, die diese Fehler unterdrücken oder einfach ignorieren, z.B. Voyager (Download-Links sind auf deren GitHub-Seite zu finden, aber es kann sein, dass die Versionen in den App Stores das Update noch nicht bereitstellen).

Leider können wir auch nicht einfach ein Downgrade auf 0.18.5 durchführen, da Lemmy keine Unterstützung für die Migration der Datenbank auf eine frühere Version bietet. Und da viele von euch bereits ihre 2FA und Passwörter aktualisiert haben und seitdem viele Beiträge geschrieben wurden, wollen wir auch nicht das Backup von vor dem Update einspielen.

Ich verstehe, dass dies im Moment nicht sehr angenehm ist und möchte mich für die Unannehmlichkeiten entschuldigen.

  • Update 2023-12-31: Informationen zum Ausfall am 29/30.12.2023 gibt es hier.
  • Update 2024-01-03: Die Föderationsprobleme scheinen trotz Fix nicht gelöst zu sein und funktioniert nur sporadisch, wenn überhaupt.
  • Update 2024-01-11: Eine neue Version wurde eingespielt, welche die Probleme beheben sollte. Es kann noch etwas dauern bis der Server die aufgestauten Beiträge auf die anderen Server synchronisiert.

Gebt gerne Bescheid, falls weiterhin Probleme auftreten.

  • Square Singer@feddit.de
    15·
    11 months ago

    Braucht euch doch nicht dafür entschuldigen. Einerseits könnt ihr weder was dafür noch dagegen, und andererseits bietet ihr hier eine kostenlose Platform an. Selbst wenn es durch euch verursacht gewesen wäre, dürfte sich hier keiner darüber aufregen.

    Immerhin schuldet ihr uns nichts, sondern wir euch.

    Vielen Dank für eure tolle Arbeit, und vielen Dank, dass ihr das einfach so als Service für die Allgemeinheit anbietet!

    • Kissaki@feddit.deEnglish
      4·
      11 months ago

      Eine Entschuldigung ist trotzdem eine nette und gute Geste, die Zuversicht bestärkt dass die Führung Interesse an einer stabilen Plattform hat.

      Die Plattform lebt von und mit Stabilität. Ohne wäre feddit nicht groß geworden.

      Nachdem dies das zweite Mal ist mit mehrtägigen schwerwiegenden Problemen nach einem Versionsupgrade hoffe ich man ist da zukünftig vorsichtiger und wartet mindestens ein paar Tage oder Patch Release ab nach neuen feature releases. Denn dass man sich darauf vom Lemmy Projekt nicht verlassen kann sollte nun offensichtlich sein.

        • AlexS@feddit.deDeutsch
          5·
          10 months ago

          Die Fehlermeldungen bleiben.

          Das kostet uns gerade wirklich Reputation und Benutzer.

          • wgbirne@feddit.de
            8·
            10 months ago

            Gut möglich, dass die fehlerhafte Föderation eine erhöhte Last und damit diese Fehler verursacht hat. Hab noch nicht die Zeit gehabt genau zu verfolgen, was in der neuen Version alles geändert wurde. Aber es gab zuletzt in irgendeinem Issue Diskussionen darüber, ob man die Ressourcen der Federation-Queue deckeln sollte, damit einkommende http-Requests zeitnah beantwortet werden können. Anscheinend haben die bisher keine höhere Priorität und müssen sich hinten anstellen.

            Die feddit.de-Federation-Queue dürfte gerade noch sehr lang sein, sodass die Last durch das Abarbeiten des Backlogs aktuell noch sehr hoch sein dürfte. Also erstmal abwarten, ob die Fehler in den kommenden Tagen bestehen bleiben.

          • Pleb@feddit.de
            5·
            10 months ago

            Also Fehlermeldungen habe ich jetzt keine mehr bekommen. Es ist zwar gerade ein wenig langsam mit manchen Sachen, aber das dürfte, wie @wgbirne schon sagte, daran liegen, dass die Federation-Queue jetzt vom Server abgearbeitet werden muss.

            • Daqu@feddit.de
              6·
              10 months ago

              Ich bekomme, wie die letzten Wochen auch, so viele Timeouts, dass es kaum Spaß macht. Vielleicht läuft die Queue ja noch und es wird besser…

            • wgbirne@feddit.de
              4·
              10 months ago

              Also nachdem der Patch jetzt mehrere Stunden online ist, hab ich bisher 0 Fehlermeldungen erhalten. Insgesamt fühlt es sich sehr geschmeidig an und läuft vielleicht besser als je zuvor.

              Zusatzinfo: ich nutze lemmy ausschließlich mit Jerboa.

              • Pleb@feddit.de
                3·
                10 months ago

                Ich nutze lemmy auch am PC und ich sehe hier hin und wieder mal eine Fehlermeldung auf dem zweiten Bildschirm aufploppen. Hin und wieder hat er wohl noch Schluckauf, aber es läuft doch schon deutlich geschmeidiger als vor dem Update.

                Nur das mit der Föderation scheint noch immer nicht so ganz zu klappen. Zumindest sehe ich keine neuen Posts oder Kommentare, wenn ich den Haupteingang über lemmy.world/c/[email protected] anschaue. Und bei diesem ich_iel Pfosten sind unsere Kommentare leider auch nicht zu sehen.
                @nachtigall damit ihr da vielleicht auch noch ein Auge drauf habt.

                • nachtigall@feddit.deOPDeutsch
                  4·
                  10 months ago

                  Behalten wir im Auge. Aber wie wgbirne schon geschrieben hat, wird das sicher eine Weile dauern bis der fast 3-wöchige Backlog abgearbeitet ist.

      • Pleb@feddit.de
        5·
        10 months ago

        Oh, das ging aber fix. Die ersten Posts hier aus dem Haupteingang kann ich auf lemmy.world schon sehen. Bin mal gespannt wann und ob der ganze backlog noch durchföderiert wird.

        So oder so, wieder einmal vielen Dank für eure Arbeit, liebe Admins. O7

  • Black616Angel@feddit.de
    4·
    11 months ago

    Danke für die regelmäßigen Updates und allgemein für eure Arbeit.

    Wenn es Möglichkeiten gibt, euch zu unterstützen, könnt ihr die auch gerne äußern. (oder schreiben, wo die zu finden sind)

  • frueher_war_besser@feddit.de
    4·
    11 months ago

    Easy Leute - das wird schon wieder 👍

    Danke vielmals für den tolle Service und auch für die Kommunikation. (sowas würde ich mir von etablierten Firmen auch mal wünschen)

  • Haven5341@feddit.de
    3·
    10 months ago

    Mittlerweile bezweifel ich ein bisschen, dass die Probleme nur an der neuen Lemmy-Version liegen. Wenn ich auf https://lemmy.ml surfe, dann scheine ich nicht mal im Ansatz die Probleme zu haben, die ich auf https://feddit.de habe und die sind auch auch 0.19.1.

    Seit ihr ganz sicher, dass das wirklich nur an der Version liegt?

    • nachtigall@feddit.deOPDeutsch
      3·
      10 months ago

      Es gibt halt keine Anhaltspunkte, woran es sonst liegen könnte. Ich hatte ja die Vermutung, dass die DB immer abgeschossen wird wegen zu wenig CPU/RAM, aber die Auslastung spricht dagegen. Lemm.ee und anderen kleinere Instanzen auf 0.19.x geht es aber auch wie uns, was wiederum für Probleme im Code spricht. Es ist sehr frustrierend im Moment.

      • muelltonne@feddit.de
        5·
        10 months ago

        Wenn man sich den Statusmonitor mal anschaut, dann fällt stark auf, dass die Seite so ca. alle 15 Minuten offline geht. Und zwar auch erstaunlich regulär, ich hab es jetzt nicht den ganzen Tag sauber geloggt, aber die Uhrzeiten scheinen immer ähnlich zu sein. Das würde auf einen irgendwie komisch laufenden Cronjob hinweisen, der alle 15 Minuten feuert.

        https://status.feddit.de/status/lemmy

      • Haven5341@feddit.de
        2·
        10 months ago

        Danke für die Info.

        Wenn es hilft: Ich hatte heute Nachmittag einmal unter den unzähligen Fehlermeldungen/Hängern eine, die sagte, dass die Instanz gerade neu gestartet wird. Wenn ihr das nicht selbst wart, ist das vielleicht ein Anhaltspunkt.

        • taladar@feddit.de
          2·
          10 months ago

          Da hatte ich auch schon eine. Der Gedanke dass die häufige Nicht-Erreichbarkeit an einem Restart-Loop oder so etwas liegt ist mir auch schon gekommen.

      • Pleb@feddit.de
        1·
        10 months ago

        Wo du lemm.ee ansprichst, ich habe gesehen, dass bei denen die Föderation wieder funktioniert. Link zu deren Post dazu.

        Deren Admin dort hat wohl was an der Infrastruktur im Hintergrund geändert und die Software nochmal selbst etwas gepatcht. Der ist aber wohl auch Contributor zur Lemmy Codebase. Ich weiß ja nicht wie sehr ihr da drin steckt, aber ich unterstelle jetzt einfach mal, dass es wohl besser ist nicht selbst daran rumzufrickeln und zu warten bis es einen neuen Patch gibt.

  • denkdran@feddit.de
    3·
    10 months ago

    feddit.de ist die einzige Instanz die ich finde, die hier (https://phiresky.github.io/lemmy-federation-state/site?domain=feddit.de) “0 dead instances” anzeigt. Instanzen die bei anderen “dead” sind, werden bei feddit.de unter “failed” angezeigt. Kann es sein dass feddit.de hier doch ein eigenes Problem hat? Vielleicht gibt es da ständig Timeouts bei der Federation weil versucht wird tote Instanzen zu kontaktieren?

    Bei lemmy.ml sieht das ganz anders aus…: https://phiresky.github.io/lemmy-federation-state/site?domain=lemmy.ml

    Edit: @[email protected] Wobei es ja jetzt nach dem Upscaling wieder sauber zu laufen scheint, woohoo! :)

  • Gollum@feddit.deDeutsch
    2·
    10 months ago

    Wenn ich feddit im Browser auf dem iPhone öffne, dann aktualisiert sich die Seite kontinuierlich, was eine ordentliche Benutzung eigentlich unmöglich macht. Hängt das auch mit den aktuellen Problemen zusammen?

  • Schaedelbach@feddit.de
    2·
    11 months ago

    Sind die zwei oben genannten Probleme auch der Grund, warum mich die App, die ich auf meinem Telefon nutze (Voyager) momentan teilweise mehrmals am Tag ausloggt? Passiert total random, einmal mitten während ich einen Kommentar getippt habe, zack, ausgeloggt. Wenn ich mich danach einlogge, ist alles normal. Seit zwei Tagen passierts nicht mehr so häufig aber Anfang der Woche bestimmt drei, vier mal am Tag.

    • nachtigall@feddit.deOPDeutsch
      1·
      11 months ago

      Ja, der zweite Punkt ist die Ursache dafür. Mit dem Update auf Version 1.32.4 sollte das Problem bei Voyager behoben werden, kann allerdings sein, dass der App Store, den du nutzt, die neue Version noch nicht freigeschaltet hat.

      • Schaedelbach@feddit.de
        1·
        11 months ago

        Danke dir für die Antwort!

        Ps: danke für die Mühen, die du (und die anderen, die Feddit betreiben) Dir machst, um Lemmy für Leute wie mich zugänglich zu machen! Feddit ist mit Abstand die angenehmste Instanz!

    • nachtigall@feddit.deOPDeutsch
      1·
      11 months ago

      sopuli.xyz läuft ja auch schon auf der neusten Version. Sind dir da eventuell auch Probleme mit Communities auf anderen Instanzen aufgefallen?

      • [email protected]@feddit.de
        2·
        11 months ago

        Andere große Instanzen wie lemmy.world, lemmy.ml und sh.itjust.works funktionieren scheinbar. Ich verfolge aber nur communities von feddit.de wirklich aktiv, daher mag das nichts heißen.

        Edit: na gut, ein Post von mir von sopuli nach lemmy.world ist nach 24h immernoch nicht förderiert. Das ist aber von sopuli, und nicht nach sopuli…

          • 7eter@feddit.de
            1·
            11 months ago

            Ein Post von mir feddit->lemmy.world ist nach >24h noch nicht forderiert.

            Eben getestet von lemmy.ml->world ging es sofort.

            Lemmy.ml ist auch bereits auf 19.1

            Soviel zu meinen Beobachtungen…

            Nun gut erstmal frohe Weihnachten euch allen!

            • nachtigall@feddit.deOPDeutsch
              1·
              10 months ago

              Danke. Das bestärkt meine These, dass das ein lokales Problem ist, weil unser eher kleine Server (bzw. die DB) durch das neue Update und die persistente Federationqueue einfach überlastet ist.

  • Pleb@feddit.de
    2·
    11 months ago

    Es ist zwar ärgerlich, aber da scheint man im Moment ja nichts dran ändern zu können. Aber vielen Dank, dass ihr als Admin-Team euch nicht nur darum (und die Seite im Allgemeinen) kümmert, sondern dazu auch vernünftig mit uns kommuniziert.

    Frohe Feiertage euch allen!

  • Björn Tantau@swg-empire.de
    2·
    10 months ago

    Ich freue mich gerade überhaupt diesen Post auf meiner Instanz sehen zu können. Auch wenn nicht alle Kommentare da sind.

    Edit: Und nachdem ich meine Instanz neugestartet habe erscheint mein Kommentar auch bei feddit. Der SQL-Befehl, um bei jeder Instanz Updated=Now() zu setzen hat dagegen gar nicht funktioniert. Mal sehen, ob mein Edit es direkt rüber schafft.

    • nachtigall@feddit.deOPDeutsch
      1·
      10 months ago

      Der SQL-Befehl, um bei jeder Instanz Updated=Now() zu setzen hat dagegen gar nicht funktioniert.

      Bei uns leider auch nicht :/

      Mal sehen, ob mein Edit es direkt rüber schafft.

      Hat er \o/ Ich fürchte nur, dass meine Antwort es nicht zurück zu dir schafft.

      • Björn Tantau@feddit.de
        2·
        10 months ago

        Aktuell habe ich die Vermutung, dass es als Workaround reicht nur den Lemmy-Server (also nicht die Worker oder UI) einmal neu zu starten. Immer wenn ich das gemacht hatte und ein Auge auf meine Posts und Kommentare geworfen hatte schienen die für immer zeitig föderiert zu werden.

        Nur wenn ich alle Docker Container gleichzeitig neu starte fangen irgendwann die Probleme an. Aber sobald ich dann nur lemmy-server-1 neu starte und nichts mehr anfasse scheint es stabil zu bleiben.

        Edit: Doch nicht. Es kann sogar sein, dass ältere Kommentare stecken bleiben während neuere föderiert werden. Das heißt ich müsste quasi bei jedem meiner Posts kontrollieren, ob es föderiert.

  • Magnetar@feddit.de
    1·
    11 months ago

    Vorschlag: Beim nächsten Release ein paar Tage warten, die andere Instanzen mit der neuen Version klarkommen, bevor ihr hier updatet.

    • supermarkus@feddit.de
      0·
      11 months ago

      Und dann warten alle erst einmal, dass andere den ersten Schritt gehen und am Ende geht ihn keiner.

      • weker01@feddit.de
        0·
        11 months ago

        Wenn die neuen Features oder Bugfixes niemanden zum updaten verführt, dann ist es ja auch ein gutes nicht zu updaten.

        Fortschritt nur damit es Fortschritt gibt hilft niemanden.

        • supermarkus@feddit.de
          01·
          11 months ago

          Wenn die neuen Features oder Bugfixes niemanden zum updaten verführt, dann ist es ja auch ein gutes nicht zu updaten.

          Es gibt keine bugfreie Software und selbstverständlich werden immer auch Bugs gefixt. Geantwortet habe ich auf die Aussage, dass man erstmal in Zukunft andere die Updates machen lassen will, ohne selber ein Setup zur Evaluation von Updates aufzusetzen.