@Life_is @awinkler ok, das klingt nach einem Job für uns cc @SafeguardingResearch
Ausgehend von https://www.wikidata.org/wiki/Wikidata:Database_download, welche Dateien bräuchte es zum Wiederherstellen?
@lavaeolus @Life_is @awinkler @SafeguardingResearch würde vorschlagen mit dem Team hinter qlever Kontakt aufzunehmen: https://ad.informatik.uni-freiburg.de/ Meine irgendwo gelesen zu haben, dass die ihre Wikidata-Daten wöchentlich aktualisieren. Denke mir, die wären dankbar, wenn sie das nicht mehr ausschließlich selbst administrieren müssten. ;)
@stefan_hessbrueggen @awinkler @SafeguardingResearch interessant!
"QLever queries the latest data from
ttps://dumps.wikimedia.org/wikidatawiki/entities, which is currently updated once per week by the Wikidata team."
Das sind die JSON-dumps, mit denen komme ich aber nicht so schnell auf die von @Life_is erwähnten 4,5-5TB
@lavaeolus @awinkler @SafeguardingResearch @Life_is das kann das Team sicher besser beantworten als ich. Die haben auch, iirc, eine Ausgründung, das Wikidata-Angebot ist ein showcase.
@stefan_hessbrueggen @lavaeolus @SafeguardingResearch @Life_is wikidata ist in qle er etwas abgespeckt, glaube ich. Weniger labels z.B.
@awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @Life_is da Wikidata ursprünglich mal ein Projekt von Wikimedia Deutschland war, würde ich direkt dort nachfragen @wikimediaDE. Auch halte ich die Leute dort alle für kompetent und die Unternehmung für relativ auskömmlich finanziert, so dass es mich wundern würde, wenn es da nicht etablierte und getestete Backup-Szenarien gäbe.
Als ich WMDE gefragt habe, war die Antwort: "Danke für das Angebot, aber das ist nicht nötig, wir haben das im Griff."
Ich hoffe ja, das stiimmt. Aber was "sie" da "wie" in welchem "Griff" haben, haben sie mit mir nicht geteilt und meines wissens auch mit sonst niemand.
Wikidata wurde wirklich in deutschland von WMDE programiert. Finanziert wurde das aus einer Spende von 6 millionen - der größten einzelspende die wikipedia je erhalten hat - von Google. Auch viele der Manager von WMF sind oder waren bei Google. Google allerdings ist eine US-Firma, die sich offenbar nicht entschlossen hat in Opposition zu Trump zu gehen.
Ich halte es für möglich, dass die Entscheidenden bei WMF und WMDE trump zwar als gefahr sehen - aber nicht als Gefahr für die existenz von wikipedia.
@awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @wikimediaDE
@Life_is @tillgrallert @awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @wikimediaDE
Die ursprüngliche Google Spende waren 325k, nicht 6M. Und Wikimedia hatte größere Einzelspenden. AI² hatte für Wikidata 650k gespendet.
Hast Du zufällig einen Link zu einer Übersicht, wer wann wieviel gespendet hat?
@tillgrallert @awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @wikimediaDE
@Life_is @tillgrallert @awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @wikimediaDE
Für Wikidata spezifisch, oder an Wikimedia im allgemeinen?
Beides, aber insbesondere wikidata.
@tillgrallert @awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @wikimediaDE
@Life_is @tillgrallert @awinkler @stefan_hessbrueggen @lavaeolus @SafeguardingResearch @wikimediaDE
Großspenden an die Wikimedia Foundation sind in den Jahresberichten aufgelistet. Selbiges für Wikimedia Deutschland. Für Wikidata dürfte der Wikipedia Artikel das hoffentlich auflisten.
Das ist jetzt alles aus dem Kopf geantwortet, ist mir heute ein wenig zu spät, das nachzuschauen.
Gesprochen nachdem ich im Kontext von @SafeguardingResearch engeren nicht-öffentlichen Kontakt hatte: Es ist wirklich alles unter Kontrolle.
Ja, im worst-case wird es knirschen - aber Dinge werden nicht verloren gehen.
Siehe hier daraus speist sich meine Einschätzung,: https://wikitech.wikimedia.org/wiki/Wikimedia_infrastructure
Die Infrastruktur ist nicht vergleichbar mit dem was uns sonst so begegnet / Bauchschmerzen bereitet
@lavaeolus @vrandecic @Life_is @SafeguardingResearch @tillgrallert @stefan_hessbrueggen @wikimediaDE Gut zu hören! Denkst Du auch, dass im worst case z.B. Accounts, das ganze Drumherum fürs Editing, Schnittstellen und Auflösbarkeit von URLs aufrechterhalten werden können? Das erscheint mir (als Laien) bei einem irgendwo oben beschriebenen Angriff auf die Domain an sich ziemlich herausfordernd.
@awinkler Operations fine, domain wäre aus meiner Sicht ein anderes Problem weil single point of failure + sehe keinen Weg drumherum
Das ist aber nur Privatmeinung meinerseits
@vrandecic @Life_is @SafeguardingResearch @tillgrallert @stefan_hessbrueggen @wikimediaDE
Dass es möglich ist, ein Projekt auf eine andere Domain umzuziehen, hat Elon Musk mit dem Umzug von twitter.com zu x.com ja demonstriert. Technisch also kein problem.
Wenn allerdings unter der eingeführten Domain sofort eine andere "Enzyklopädie" erscheint, werden wohl fast alle Leser zu dieser neuen Enzyklopädie wechseln. Insbesondere weil eine häufige Kritik an Wikipedia ja ist "Ist unzuverlässig, weil da ja jeder mitschreiben kann". Da ist eine von Donald Trump und Elon Musk (zwei alten weißen Männern, die sich nicht hinter Pseudonymen verstecken, sondern mit Klarnamen und korrektem Profilbild im Internet posten) lektoriert wird doch viel zuverlässiger. Sowohl Trump als auch Musk gehen ja auch wirksam gegen die Fakenews auf CBS, CNN, usw vor, betreiben selbst soziale Medien (truth.social und X) auf denen die Meinungsfreiheit hochgehalten wird (insbesondere die von Trump, Musk, Putin, Weidel, Orban).
Die WMF hat in den USA 800 Mitarbeiter. Die WMDE in Deutschland nimmt Spenden ein und gibt diese für die Förderung von freiem Wissen aus, ist aber nicht Betreiber der Wikipedia.
Die oben zitierten Backup-Strategien könnten funktionieren, solange die Backups dem Zugriff der US-Regierung entzogen werden können. Ob es dafür einen Plan gibt, geht aus den öffentlichen Informationen nicht hervor.
Auch der Abschnitt dort über externe Backups ist nicht wirklich vertrauenerweckend. Die verlinkte seite ist als "potentiell outdated" gekennzeichnet, wurde zuletzt 2021 bearbeitet und enthält Elipsen und Fragezeichen. Die seite verlinkt auf eine tatsächlich "outdated" frühere seite, die zuletzt 2019 bearbeitet wurde und von "10TBs" speicherplatz spricht. Heute benötigen allein die öffentlichen aktuellen versionen der dateien auf commons >600TB (aber hübsch, dass ein früher genutzter Backup server "wintermute" heißt).
Ein Tool von Wikipedia ist "baglama2". Es dient dazu, dass GLAM institutionen die nutzung ihrer Dateien, die sie wikipedia zur verfügung stellen, nachvollziehen können (das was der überwachungskapitalismus mit cookies und tracking macht (oder versucht)). Autor des Tools ist Magnus Manske (der ursprüngliche Entwickler der Software MediaWiki). Das Tool funktioniert seit 2 Jahren nicht mehr. Ursache ist die Überschreitung einer Festplatten-Quota der verwendeten Datenbank. Solche Dinge lassen mich ein wenig zweifeln, dass eine Recovery wirklich möglich ist.
"Entities" backups gibt es außer für Wikidata auch für Commons (wo die wikidata-funktionalität für SDC (structurated data commons) verwendet wird, das tool, das nach entscheidung der WMF vor mehreren jahren, die Categories ersetzen soll, was aber von der commons-community writgehend ignoriert wird. Ich behaupte mal deshalb, weil die einzigen verfügbaren bearbeitungs tool eine ärmliche UI/UX haben). Allerdings erst seit März diesen jahres. Und das verwendete Ausgabeformat scheint noch veriiert (optimiert) zu werden.
@vrandecic @SafeguardingResearch @tillgrallert @stefan_hessbrueggen @wikimediaDE
@Life_is @lavaeolus @vrandecic @SafeguardingResearch @tillgrallert @stefan_hessbrueggen @wikimediaDE der Umzug von Twitter -> X ist in einem m.E. entscheidenden Detail anders gelagert: X kontrolliert nach wie vor die Twitter-Domain und kann sich um Redirects kümmern. Das wäre bei den Wikimedia-Sachen dann anders.
@vrandecic @Life_is @wikimediaDE
Ich sehe hier eher den Punkt, dass:
a) Sorge/Unklarheit über Backup / Infrastruktur allg. von speziell Wikidata, aber generell aller Wikimedia related Projekte, herrscht
b) Menschen bereit sind zu unterstützen, gerade bei dezentralen und verteilten Lösungen
Eigentlich eine ganz gute Position - wichtig ist jetzt Kommunikation, öffentlich und nicht-öffentlich
Anteilig sind wir (@SafeguardingResearch) da auch dran
@lavaeolus @awinkler @SafeguardingResearch
Im Prinzip diese:
https://dumps.wikimedia.org/wikidatawiki/20250501/
Aber ohne die im Abschnitt "Articles, templates, media/file descriptions, and primary meta-pages, in multiple bz2 streams, 100 pages per stream" - das ist ein Duplikat des vorherigen Abschnitts.
Und dann (eben entdeckt) möglicherweise auch noch diese:
https://dumps.wikimedia.org/wikidatawiki/entities/
@Life_is d.h. den XML dump unter "Recombine multiple bz2 streams" und die JSON-dumps - macht Sinn
Vermutlich sollte bei einem ersten größeren Backup auch das Data model und Database schema enthalten.
Klingt aber auf jeden Fall machbar und für einen klaren Case für SciOp