Wir wissen, daß ein neurales Netz zu trainieren leicht ist, wenn man ein Budget von 2.4 kWh/Tag hat und man sich 20 Jahre Zeit gibt – jede Mutter eines Kindes bekommt das hin.

Das sind 2.4 kWh * 365 * 20 = 17520.0 kWh oder 17.5 MWh an Kalorien plus was immer man anteilig an weiterer Energie in das Leben einer jungen Person gesteckt hat.

Das ist nicht nichts, aber es ist vermutlich sehr viel weniger als das Training eines LLMs jetzt gerade verbraucht.

Wir wissen also, daß es mit weniger Energie geht, und wir sehen gerade Fortschritte beim Training von LLMs, die beträchtlich sind.

Auch bei Inferenz ist das so.

Das äußert sich auch in sinkenden Token-Kosten, schnelleren LLMs, kleineren LLMs und LLMs, die auf einem Laptop mit 100 Watt statt auf einem Cluster mit 7000 Watt Dinge tun, die vor 18 Monaten nur auf dem Cluster möglich waren.

Sobald der Release Zyklus von Modellen so langsam wird, daß es sich lohnt, Dinge in Hardware zu tun, ändert sich noch einmal alles. Wir haben schon Prototypen von Hardware-LLMs gesehen. Sie waren veraltet, als die Chips fertig waren, aber sie waren 100x schneller und haben 100x weniger Energie verbraucht als das, was wir mit der vorhandenen Hardware notgedrungen in Software machen.

Auch das wird den Markt noch einmal grundlegend verändern – wer führt das Modell aus, wo läuft es, was kostet es, und wie kann es genutzt werden.