Werden LLMs weiter fantastische Mengen an Energie verbrauchen?

Das TRAINING von LLMs verbraucht derzeit fantastische Mengen an Energie. Dieser Bedarf sinkt, und die Frequenz, mit der wir neue LLMs trainieren wird auch sinken.

Tatsächlich sind die meisten Gewinne, die wir aktuell bei LLMs sehen, weniger in Verbesserungen bei den Modellen, sondern mehr bei Verbesserungen in den Agentic Harnesses und anderen Umfeldern zu sehen.

Die Modelle sind, von wenigen Ausnahmen abgesehen, für die Mehrheit der Anwendungen bereits "gut genug". Defizite existieren im Packaging, also in der Integration, der Art, Qualität und Entdeckbarkeit von Information und bei der Hilfestellung zur Qualitätssicherung durch das, was wir mechanistic Quality Gates nennen (bei SWE also Typsysteme, Tests und andere Dinge). Defizite existieren auch im Prozess.

All das ist normal für die linke Seite von Cynefin.

INFERENZ, also die Nutzung von LLMs zur Generierung von irgendwas, braucht Energie, aber im Vergleich eher wenig.

Ein Qwen3.8-27b auf meinem Macbook treibt den Stromverbrauch von bummelig 8 Watt auf bummelig 100 Watt hoch, und ein Turn dauert sagen wir 10-20 Sekunden. Ich kann das MBP 10 Stunden mit 100 Watt betreiben, und habe eine kWh verbraucht, also Strom für 32 Cent, wenn ich keine Solaranlage hätte.

Energie für INFERENZ kommt vor allen Dingen durch das Wachstum von Inferenz zustande – wir haben hier etwas neues, und wir wissen noch nicht, wozu es gut ist, wie man es effizient einsetzt und jeder und sein Hund probieren damit rum.

Wir haben auch eine doppelte Kapitalkrise – den absehbaren Wegfall von 3 Mrd USD GEWINN pro Tag aus Öl und den Zusammenbruch von Moore's Law in der IT, der auch für Dekaden stabile Rentiergewinne beschert haben.

Die Menschen, die so ihr Geld verdienen, sind nicht dumm. Sie suchen verzweifelt neue Gebiete, in die sie investieren können und so bekamen wir alle 3 Jahre ein neue Testsau, die durch das Dorf getrieben wurde – Bitcoin und NFT, Metaverse und jetzt halt LLMs. Im Gegensatz zu Bitcoin und Metaverse sind die LLms ein Treffer, sie sind nicht und werden nicht nach 3 Jahren wieder weg gehen.

Für viele Rentiers ist es ihrer Meinung nach die letzte Investition, die sie je machen werden, weil sie mehr oder weniger an den Maschinengott glauben. Darum sehen wir einen absurden Überinvest in eine Technologie, die objektiv zu unreif ist, um diese Menge an Kapital sinnvoll zu verarbeiten, und daher sehen wir diesen absurden RZ Ausbau, der am Ende mit an Sicherheit grenzender Wahrscheinlichkeit seinen Invest nicht zurück verdienen können wird.

Innovation zu managen ist hart, insbesondere wenn einen die Millairden jucken und man schweres FOMO hat.