Bin gespannt, wie laut der sich gerade herausschälende Berufszweig der "Builder" – Vibecoder meist ohne Programmiererfahrung – aufjaulen wird, wenn diese Blase platzt. Die können dann noch zwei Jahre die freien Modelle fahren, die nur alle von den US-Frontier-Modellen abgeleitet sind, und dann ist Sense. Dann werden sie zu ungenau, schlittern ins Unbrauchbare. Die Großmodell-Kategorie wird dann ein Artefakt.
@frumble wird so nicht passieren. Man kann auch relativ billig Modelle nach trainieren, wenn man die Gewichte hat und die haben wir ja von Modellen, die kaum schlechter sind als die Frontier-Modelle. Es haben zB Leute auch schon die chinesische Zensur-Schicht aus den Modellen raus trainiert. Außerdem funktionieren die Modelle auch jetzt schon sehr gut mit Sachen, die nach ihrem letzten Training passiert sind. Dann machen sie halt erst ne Webrecherche und arbeiten dann damit.
@benni Bin skeptisch, das erfordert im Nach-Training erhebliches Micromanagement und Domänenwissen. Das lässt sich, schätze ich, nicht im großen Stil umsetzen. Vermute im Modell auch erheblichen Butterfly-Effekt, alles ist miteinander austariert. Das lässt sich an Ecken patchen, aber dadurch geraten die Vektorwolken aus dem Tritt und es schleichen sich immer mehr unerklärbare Verhaltensweisen ein.
@frumble Brauchen die Vibecoder denn dringend aktuelle Modelle? Die Programmiersprachen sind ja da, man darf halt nur keine neueren Sprachen oder Sprachversionen verlangen. Wenn der Vibecoding-Sog stark genug ist, gibt es die dann einfach nicht mehr, die Sprachen richten sich nach dem Wissensstand der Modelle und bleiben mindestens kompatibel. Für manche Projekte braucht man vielleicht aktuelles Weltwissen, aber der Normalfall wird das vermutlich nicht sein.
@hllizi Lies mal den verlinkten Thread von L. Rhodes, dann wird das vielleicht klarer. Da ist ein Shift zu erwarten, während dem sie immer unpräziser auf die Variablen der geänderten Wirklichkeit reagieren. Hab auch wie hier schon an Benni geschrieben meine Zweifel daran, dass sich das inkrementell fixen ließe. So wie ich LLMs momentan verstehe, brauchst du da regelmäßiges echtes Volltraining.
@frumble ja, ich habe das Problem ungefähr verstanden, denke ich. Meine Frage ist eher, wie relevant diese Diskrepanz für ein Durchschnittliches Vibecoding-Projekt ist. Ein Buchhaltungs-App heute unterscheidet sich vermutlich nicht groß von einer in fünf Jahren, sofern sie keine rechtlichen Vorgaben implementieren soll und mit Sprachen arbeitet, die es heute schon gibt.
@hllizi Es gibt ja nicht nur Programmiersprachen, das Zeug läuft ja auf Plattformen, die sich selbst wandeln. Windows mit seiner ABI-Kompatibilität vielleicht noch am wenigsten, aber die anderen? Gilt erst recht für die Integration mit diversen Clouds. Frameworks sind als Meta-Programmiersprachen noch dynamischer in ihrer Entwicklung.