Altes Forum und Wiki ab sofort online! 😀

[Gryzor]

Hallo zusammen!

Ich freue mich anzukündigen, dass das Wiki und das alte Forum wieder online sind!

CPCWiki ist endlich auf dem neuesten Stand der Mediawiki-Versionen, hat ein eleganteres Aussehen und moderne Funktionen.

Das alte Forum ist in der Zwischenzeit ebenfalls wieder online, allerdings im schreibgeschützten Modus. Ihr werdet sehen, dass alle Berechtigungen entzogen wurden, damit es wie in der Zeit eingefroren bleibt.

Glaubt mir, da steckte eine Menge Arbeit drin – von mir selbst, aber vor allem von @Highlander, der beim Einrichten der Infrastruktur fantastische Arbeit geleistet hat.

Trotzdem wird es sicherlich noch Probleme geben. Ich weiß zum Beispiel, dass einige Erweiterungen im Wiki (die meisten wurden ohnehin deaktiviert) nicht perfekt funktionieren.

Ich wäre euch also dankbar, wenn ihr Dinge testen und eventuelle Erkenntnisse hier melden könntet.

Damit halte ich die erste und größte Phase der Migration für abgeschlossen. Wir werden uns nun darauf konzentrieren, Probleme zu beheben und Feineinstellungen vorzunehmen.

Vielen Dank für eure Geduld!

PS: Erwähnenswert ist noch, dass in dem Moment, als das Wiki wieder online ging, die üblichen Bots wieder scharenweise herabfielen. Sie haben es geschafft, die Seite(n) lahmzulegen, selbst auf diesem neuen, weitaus überlegenen Server. Wir haben eine Reihe von Maßnahmen ergriffen (Rate Limiting, Bot-Erkennung und -Abwehr auf der Seite, WAF-Regeln, die ganze Länder blockieren usw.). Ich denke jedoch, dass die Cloudflare-Challenges jetzt viel besser funktionieren und ihr nur dann eine sehen solltet, wenn mit eurer Verbindung etwas Verdächtiges vorliegt.

[salvogendut]

Sieht klasse aus! Gute Arbeit!

[SagaDS]

Ja! Herzlichen Glückwunsch euch beiden.

Vielen Dank für eure tolle Arbeit.

[angelcaio]

Fantastisch!!
Es wurden sehr wertvolle Informationen wiederhergestellt. Tolle Arbeit!!

[Squeekboxandj]

Gut gemacht, ich habe das CPC Wiki über den Sommer echt vermisst. Schön zu sehen, dass nicht alles verloren ist.

[ervin]

Wahnsinn!!! Danke an @Gryzor und @Highlander, dass ihr die Sache wieder zum Leben erweckt habt!

[UltimateKitten]

Tolle Sache

[Novabug]

Unglaubliche Arbeit von allen Beteiligten. Ich freue mich so sehr, dass das Wiki wieder da ist!

[Gryzor]

Willkommen zurück, Mann!

[MacDeath]

Cool.

[Targhan]

Vielen Dank für eure tolle Arbeit! Das neue Forum sieht super aus. Ich war so an das alte gewöhnt, dass es vielleicht ein bisschen dauert, bis ich mich ganz zu Hause fühle, aber das wird schon .

[Gryzor]

Willkommen zurück, Kumpel!

Ja, es sieht ein bisschen anders aus, aber sobald du dich ein wenig reinfuchst, wirst du merken, dass es gar nicht so unterschiedlich ist!

[cpcitor]

@Gryzor

Das alte Forum ist in der Zwischenzeit wieder online, wenn auch nur im schreibgeschützten Modus. Du wirst sehen, dass alle Berechtigungen widerrufen wurden, um es in der Zeit einzufrieren.

„In der Zeit eingefroren“, da triffst du den Nagel auf den Kopf. Die Idee ist, die Gespräche, den Wert und die Geschichte zu bewahren.

Du hattest 100-prozentig recht, wieder ein funktionierendes Forum aufzubauen, und sei es nur, um die Seiten zur Archivierung rendern zu können.

Nun, diese Seiten sollen sich ja nicht mehr ändern, oder? Nun ja, per Definition nicht.

Eine ganze funktionierende Software zu warten, die dynamisch Seiten rendert, die sich … nie mehr ändern sollen, fühlt sich sinnlos an.

Und beim aktuellen Zustand des Internets bist du gewissermaßen gezwungen, sie zu warten, zu aktualisieren usw., aus Angst, dass sie gehackt wird.

Hast du schon mal darüber nachgedacht, sie in eine statische Website umzuwandeln? Du könntest einen Website-Fetcher (z. B. wget oder etwas Ähnliches) verwenden, um einen vollständigen, eigenständigen HTML-Snapshot aller Forumsseiten abzurufen. Dann ziehst du der SMF-Installation den Stecker und lieferst diese Seiten unter denselben URLs aus. Sofort verbraucht das Ausliefern der Seiten viel weniger CPU, die Angriffsfläche wird verkleinert und die Wartung vereinfacht, während gleichzeitig garantiert ist, dass das gerenderte HTML, CSS usw. über die Zeit konstant bleiben.

Ein Nachteil: Jeder nicht-öffentliche Aspekt (private Nachrichten usw.) ginge verloren. Du könntest die Änderung mehrmals ankündigen und sie z. B. nach einer Frist von einem Jahr durchführen, damit die Leute sich sichern können, was immer sie möchten.

Was denkst du, @Gryzor?

[SerErris]

@cpcitor

Eine ganze funktionierende Software zu warten, die dynamisch Seiten rendert, die sich eigentlich … nie ändern sollen, fühlt sich sinnlos an.

Und beim aktuellen Zustand des Internets ist man irgendwie gezwungen, sie zu warten, zu aktualisieren usw., aus Angst, dass sie gehackt wird.

Das ist tatsächlich meine größte Sorge, dass das Forum aufgrund dieser beiden Überlegungen irgendwann aufgegeben wird und dann alle Informationen verloren sind.

Ich denke, wir müssen etwas dagegen tun, dass das hier im Forum passiert (vielleicht in einem Archiv-Bereich). Ich helfe dabei gerne.

[Gryzor]

Ehrlich gesagt kein unberechtigter Einwand, aber in der Praxis bricht die Lösung irgendwie in sich zusammen. Ich denke seit gestern Abend darüber nach und es gibt ein paar Stolpersteine, die von Natur aus unmöglich (?) zu überwinden sind:

1. wget-Probleme

SMF generiert dynamische URL-Permutationen für wirklich jedes einzelne Thema:

• Sortierfilter (?sort=subject;desc, ?sort=starter)

• Seitennummerierung und Sprung-Links (?topic=123.prev_next=next, ?topic=123.prev_next=prev)

• Hilfsklassen-Ansichten (?action=printpage, ?action=profile, ?action=help)

• Sitzungskennungen und Board-Index-Variationen

Wenn du wget -m ohne Dutzende von Regex-Regeln auf SMF anwendest, WIRD der Spider in unendliche Crawl-Schleifen geraten. Da das Forum rund 250k Beiträge hat, kann es spielend leicht 15 MILLIONEN (nach dem, was ich sehe) Scrape-bare URLs generieren – viel Glück damit!.

2. Das URL- & Webserver-Problem

Ich habe ein paar Tests durchgeführt; Standard-Webserver liefern keine statischen Dateien aus Query-Strings aus, wie SMF sie verwendet.

Zur Erklärung: Wenn ein Benutzer index.php?topic=1240.0 aufruft, sieht der Webserver index.php als Dateipfad und ?topic=1240.0 als Query-Argumente. Wenn PHP wegfällt, versucht der Server einfach immer wieder, die statische Datei index.php auszuliefern. Um statisch gescrapte Dateien den ursprünglichen SMF-Query-String-URLs zuzuordnen, musst du komplizierte Rewrite-Regeln für Caddy schreiben, die Query-Argumente in flache Dateinamen auf der Festplatte übersetzen. Wenn dieses Mapping fehlschlägt, zerschießt du jeden eingehenden Link von Google und dem CPCWiki selbst, was ein absoluter SEO-Albtraum ist.

3. Anhänge/Downloads

SMF liefert Anhänge dynamisch über index.php?action=dlattach;topic=... aus. Das wird mit einem Crawler mit hoher Wahrscheinlichkeit spektakulär fehlschlagen.

4. Suche

Wenn wir es als statische Seiten belassen, macht das die Suchfunktion (so wie sie ist) komplett zunichte. Wir könnten zwar einen separaten clientseitigen Suchindex (wie Pagefind) in die gescrapten HTML-Templates einbauen, aber das widerspricht teilweise dem Zweck.

Lösung?

Die beste Lösung, die mir eingefallen ist: Die Datenbank mit einem Skript parsen, um eine Liste eindeutiger Themen-URLs zu generieren, und dann wget verwenden, um die URLs in der generierten Liste abzurufen – aber das löst den Rest der Probleme nicht.

Absicherung (Hardening)

Wenn die Sorge vor Vandalismus usw. der Grund ist, können wir das Ganze ganz einfach dichtmachen, indem wir einfach die Rechte für INSERT, UPDATE, DELETE, DROP, ALTER ON auf der Datenbank entziehen. Das Webroot auf Read-Only setzen und 503-Fehler für bestimmte Aktionen zurückgeben, wie zum Beispiel:

@blocked {
    query action=login*
    query action=register*
    query action=post*
    query action=pm*
}
respond @blocked "Forum is read-only" 403

… und die Sache ist geritzt.

Aber hey, selbst wenn sich ein Angreifer irgendwie Zugriff verschafft, um im aktuellen System Unfug anzustellen: Wir haben mittlerweile an einem Dutzend Stellen Backups

[Gryzor]

Das IST langfristig gesehen tatsächlich ein Problem. Ich habe mir darüber noch nicht allzu viele Gedanken gemacht, aber es wird der Zeitpunkt kommen, an dem der CPC ganz natürlich aufhört zu existieren. Keine Ahnung, wie es von da an weitergehen soll.

[SerErris]

@Gryzor

Aber hey, selbst wenn sich ein Angreifer irgendwie Zugriff verschafft, um auf dem System im aktuellen Zustand Unfug anzustellen, haben wir mittlerweile Sicherungen an einem Dutzend verschiedener Orte

Das ist schon mal ein fantastischer Anfang

[scorp6128]

Klasse, dass das alte Forum wieder da ist.

Habe es vermisst und freue mich, wieder dabei zu sein.

Vielen Dank für all die harte Arbeit, die ihr aufgewendet habt, um das zu ermöglichen.

[Gryzor]

Willkommen zurück, Mann!