AI writing detectors are junk. OpenAI shut down its own classifier after it performed worse than a coin toss.
People are using them to end careers.
Hachette pulled Mia Ballard's novel after one viral video and amateur forensics. Her career was gone. There was no verdict.
Dumas had 73 collaborators. He is canon. Reddit would burn him down today.
I want no part of it.
https://www.joanwestenberg.com/p/the-ai-writing-witch-hunt-is-idiotic
@Daojoan I used an ai checker on both a pure ai written document and a pure human written one. It found both were 25% ai 🙄
@Daojoan The era of A and B is over. This is so far battlefields, art - and soon, forensics. We have not time for old governments, the clock struck and fell off the wall.
@Daojoan Very well said. I would also like to add another cautionary note. As you point out, all these LLMs are trained by ingesting human writing so how can we possibly know with absolute certainty that something is AI generated? The first step is these internet lynch mobs you speak of. The next step, I reckon, is AI (companies) actively claiming ownership over human created content.
@Daojoan
Correction: I used a fake detector it seems, as I searched for pangram AI but got a site "Pangram Detector" as first hit that looked legit but wasn't the original pangram.com! So likely using a way less sophisticated algorithm than the original, if any.
I revisited the site after some people wondered and checked and no Contact other than an E-Mail, no company name etc.
Sorry about the fuss...
@PaGn @Daojoan Hey, hast du ein Beispiel? Ich hab's jetzt schon mit wirklich vielen öffentlichen und nicht-öffentlichen Texten probiert und noch nie einen false positive oder iwas anderes als 100% human bekommen.
Dabei bin ich bei öffentlichen Texten generell skeptisch, weil Pangram ja wie alle anderen KI Firmen das komplette Netz wahrscheinlich einmal runtergeladen hat, und dann bei einem Match das eigene KI-Modell einfach short circuiten könnte, sodass man die tatsächliche false positive rate des Modells als Nutzer so auch gar nicht rauskriegen kann. Insbesondere dessen wundert es mich, dass du bei öffentlichen Daten false positives überhaupt gefunden hast
@gnuplusknoppers @Daojoan Muss auch mal sehen welche KI-Checker ich genommen hatte. Eines war testweise frei verfügbar (aus einem Heise-Artikel, irgendeine News mit 99,9% im Benchmark), hatte auch ein zweites via Google gefundenes Produkt benutzt, das ähnlich verwunderliche Ergebnisse brachte, u.a. in der Analyse viele Sätze hervorgehoben, die klar KI sein sollten.
Reine Bezahl-Produkte könnte ich nicht prüfen, nur um Missverständnisse zu vermeiden.
Gucke mal ob ich das im Cache finde...
@gnuplusknoppers @Daojoan
Habs noch mal schnell rausgesucht:
a) https://web.archive.org/web/20150402034927/https://www.umweltbundesamt.de/themen/klima-energie/treibhausgas-emissionen von 2015
b) https://web.archive.org/web/20150323053846/http://www.umweltbundesamt.de/das-uba/wer-wir-sind
Ganzen Text der Seite roh (inkl. Überschriften, Abb. und Dateien unten) und per Copy & Paste einkopiert (damit die URL keinen Hinweis auf das Alter gibt) in:
https://pangramaidetector.com/
Ergebnis: 76% und 84% AI-generiert.
Unklar warum...
@gnuplusknoppers @Daojoan Haha, habe mir gerade die Seite des Detectors nochmal angeguckt, scheint einfach Fake zu sein. Hatte nach pangram gesucht und das kam bei der Suche als erster Treffer...
Habe jetzt noch mal geguckt: kein Impressum, nur ne Mail usw.
pangram.com wäre die echte Seite gewesen!
Korrigiere mal den OP.
Sorry.
@Daojoan I think the problem, that differentiates this from other "witch hunts", is that as far as I'm aware a majority of books now submitted to publishers or self published are partly or entirely AI generated. So *not* looking for signs of AI, one way or another, just isn't a viable option now.
Oct 31, 2026, 3:46 AM@Daojoan Sounds like really interesting article. But it's on Substack so...
SS;DR
#SSDR
#SubsStackDidn'tRead