Login
You're viewing the functional.cafe public feed.
  • Aug 30, 2026, 8:49 AM

    Ich lese immer wieder, dass man gegen den großen Stormverbrauch und die ganzen negativen Implikationen (zb Lernen auf Basis der eingegebenen Daten) KI ja einfach lokal betreiben könnte.

    Ist das denn wirklich so? Wie viel Strom verbraucht das Training der Modelle, die man dann lokal nutzt? Auf Basis welcher Daten werden die trainiert? Wie hält man die aktuell?

    Von Fragen wie Urheberrecht, die unabhängig von lokal oder nicht auftreten ganz abgesehen.

    💬 3🔄 2⭐ 9

Replies

  • 💬 0🔄 0⭐ 0
  • Aug 30, 2026, 10:24 AM

    @phpandcigars klar, aber daheim kann man das evtl noch mittels solarenergie rechtfertigen. deshalb wollte ich explizit auf den stromverbrauch beim training raus, weil man das (afaik?) nicht daheim tun kann.

    💬 1🔄 0⭐ 1
  • Aug 30, 2026, 10:53 AM

    @psy @phpandcigars die Abwärme erzeugst du im Sommer trotzdem und mit einer Wärempumpe lässt es sich vermutlich besser / effizienter Heizen als mit ASICs?

    💬 0🔄 0⭐ 2
  • Aug 30, 2026, 11:10 AM

    @Skorpy @psy @phpandcigars

    Gab mal versuche das zu kombinieren (also ASICs + Wärmepumpe), die Firmen sind aber wenn ich mich richtig erinnere Pleite gegangen.

    Was aktuell von manchen versucht wird zu diskutieren ist Rechenzentren via Wärmetauscher und Wärmepumpen an ein Städtisches Fernwärmenetz anzuschließen. Bisher habe ich dort aber wenig bis keinen gesehen, der sich wirklich mit dem Bau von Rechenzentren auskennt...

    💬 1🔄 0⭐ 0
  • Aug 30, 2026, 9:50 PM

    @agowa338 @psy @phpandcigars lohnte sich 2015 wirtschaftliche als wir das durchgerechnet hatten nicht, für Nahnetz/eigenes Gebäude ist das ein bisschen was anderes. Aber was ist wenn die Abwärme im Sommer nicht abgenommen wird… (GSI / Green IT Cube)

    💬 1🔄 0⭐ 0
  • Aug 30, 2026, 10:22 PM

    @Skorpy @psy @phpandcigars

    Weißt du ob das mit den gesteigerten Anforderungen für "AI datacenter", also für die Nvidia GPU Racks anders ist? Die erzeugen ja wesentlich mehr Abwärme. Das könnte ggf. ja schon genug sein um irgend etwas sinnvolles damit zu machen,oder?

    Häufig wird von Laien bei dem Thema dann irgend was von für Chemische Industrie oder zur "vorwärmen" des Wassers bei anderen Kraftwerken und dann in eine Turbine genannt. Und einmal war auch was mit Salz verflüssigen als speicher.

    💬 0🔄 0⭐ 0
  • 💬 0🔄 0⭐ 0
  • Aug 30, 2026, 10:21 AM

    @psy aus meiner Sicht ist das einzige was lokale Modelle besser können dich vor der Enshittification der kommerziellen zu bewahren. Und das war's dann aber auch schon.

    💬 0🔄 0⭐ 3
  • Aug 30, 2026, 10:56 AM

    @neverpanic @psy und Datenabfluss wenn du es gescheit machst reduzieren :p

    Naja und dann ist noch die Frage, läuft das auf der CPU, GPU oder NPU die sowieso in deinem Rechner steckt oder hast du extra dafür Hardware gekauft also Purpose build AI Hardware die am besten für nix anderes nutzbar ist…

    💬 0🔄 0⭐ 1
  • Aug 30, 2026, 11:01 AM

    @Skorpy @neverpanic @psy

    Und theoretisch zumindest kannst du das Modell weiter trainieren um ein hyper-spezifisches Model exakt für dein Problem zu trainieren und dann zu entsorgen.

    Wie gut das aber in der Praxis funktioniert habe ich selbst noch nicht ausprobiert, sondern nur bei experten gesehen (siehe devcon talks wo Leute ein paar der goldbug challenges mit speziell trainierten Modellen lösen konnten)

    💬 0🔄 0⭐ 0
  • Aug 30, 2026, 8:53 AM

    @psy

    Ist das denn wirklich so?
    Jein, zum größten Teil ist das schönreden. Als Einzelperson eher unwahrscheinlich, aber als Gruppe oder Fachschaft an einer Uni hingegen...

    Wie viel Strom verbraucht das Training der Modelle, die man dann lokal nutzt?
    Viel, aber du trainierst ja nur 1x und die meisten nutzen dann ein pre-trained model lokal.

    Auf Basis welcher Daten werden die trainiert?
    Ja

    Wie hält man die aktuell?
    Als Einzelperson indem du eine neuere Kopie des pre-trained Models holst...

    💬 0🔄 0⭐ 0
  • Aug 30, 2026, 11:02 AM

    @psy ich hatte mir einen Nachmittag mal amdxdna angeschaut damit ich meiner Meinung nach ein bisschen besser mitreden kann.

    Ich glaube es lief dann github.com/ROCm/FastFlowLM mit Qwen

    Energieverbrauch scheint tatsächlich wirklich gering, Hardware kommt leider sowieso heutzutage beim Laptop mit

    FFLM/Qwen hat nicht dafür gesorgt das ich da weiterhin Interesse dran habe. Also ganz abgesehen von der Moral und allem drum herum…

    💬 0🔄 0⭐ 0