Früher konnte Software etwas oder eben nicht. Hardware hatte genug Leistung für ein Spiel auf bestimmten Grafikeinstellungen und Bildwiederholrate. Aber bei KI-Modellen ist viel unklarer, welche Fähigkeiten sie exakt haben. Und somit muss man ein Gefühl für deren Fähigkeiten entwickeln.

Wenn ich auf der Arbeit die klare Anforderung bekomme ein bestimmtes numerisches Problem in einer festen Zeit zu lösen, so kann ich Hardware entsprechend evaluieren. Entweder ist die Hardware schnell genug oder nicht. Natürlich kann man immer noch versuchen die Software zu verbessern, aber lassen wir die einmal fest.

Suche ich nach einer Software, so kann die entweder das, was ich brauche oder nicht. Somit ist das eigentlich auch ganz klar.

Wobei es da auch schon immer Graubereiche gibt. So sind meine alltäglichen Anforderungen an ein Laptop gar nicht klar umrissen. Beim RAM kann ich schon relativ gut abschätzen, wie viel ich brauche. Aber bei der CPU? Privat nutze ich einen Intel Core i5, mein altes Arbeitslaptop hatte einen Intel Core i7 und das neue einen Intel Core Ultra 7. Ich merke da schon klare Unterschiede, aber mit ein bisschen länger Warten kann man auch auf schwachen Prozessoren Dinge tun. Außer man will es in Echtzeit haben, dann geht es einfach nicht. Mein altes ThinkPad X220 hatte einen Intel Core i5-2000 drin, der hatte schlicht nicht genug Leistung für Zoom-Meetings; das ging einfach nicht.

KI-Fähigkeiten

Nun bei KI-Modellen fühlt sich das alles noch schwammiger an. So hatte ich gestern über Antworten verschiedener KI-Modelle geschrieben. Dabei hatte ich die gleiche Frage an verschiedene Modelle gegeben. Google Gemini Flash 3.5 hat sich dabei selbst widersprochen. Das gleiche Modell hat auch bei anderen Dingen immer wieder Quatsch erfunden, eine nicht existente NVIDIA CPU zum Beispiel. Das Modell ist also etwas zu klein.

Ich habe einmal ein Schreiben mit KI aufsetzen lassen. Das habe ich zum Vergleich mit Claude Sonnet auf der Webseite und Claude Opus in meiner Entwicklungsumgebung gemacht. Am Ende hat Opus da ein deutlich besseres Schreiben erzeugt weil mein Kontext besser verstanden wurde. Es hat sich sogar eine sehr interessante Verknüpfung und Einleitung ausgedacht, die Sonnet nicht hatte.

Was jetzt für mich zurückbleibt ist das Gefühl, Claude Sonnet wäre für die meisten Dinge fähig genug. Claude Opus ist schon beeindruckend fähig. Gemini Flash finde ich eher unzuverlässig und unterkomplex. Gemini Pro macht einen vernünftigen Eindruck auf dem Level von Claude Sonnet.

Bei ChatGPT bekomme ich in der Weboberfläche schon gar nicht mehr mitgeteilt, welches Modell sich um meine Anfrage gekümmert hat. Damit kann man noch nicht einmal mehr etwas über die Modelle lernen.

Und das finde ich wirklich frustrierend. Wie soll man das Werkzeug aussuchen, wenn die Fähigkeiten gar nicht klar sind? Man muss die Modelle nutzen und dann herausfinden, wenn etwas nicht geht. Das gleiche Problem mit verschiedenen Modellen lösen lassen und ein Gefühl entwickeln. Das finde ich aktuell noch frustrierend.

Gerade durch eigene Instruktionen an das Modell kann man noch viel machen. Viele Leute teilen ihre Claude.md oder Gemini.md, in der sie verschiedene Instruktionen an das Modell gesammelt haben. Erstaunlicherweise sind so Anweisungen wie »mach keinen Scheiß« manchmal wirklich hilfreich. Und somit hat es was von Voodoo. Man betet zum Modell und hofft auf die richtige Umsetzung der Ideen.

Weil die Modelle eben nur die Wahrscheinlichkeit für das jeweils nächste Token modellieren, kann man nicht genau sagen, welcher Teil im Prompt welchen Effekt hatte. Man kann Ablationsstudien betrieben und diverse Teile wegnehmen. Allerdings hilft das auch nur begrenzt nach vorne.

Die Modelle bleiben auch nicht über die Zeit konstant. Somit muss man sich immer genau anschauen welche Version der Modelle man sich angeschaut hatte.

Kosten

An sich kann man es sich einfach machen und einfach das größte Modell nutzen. Wobei man sich auch dann überlegen will, ob man Claude Opus, Gemini Pro oder GPT-5.5 Pro nutzen will.

Das andere sind schlicht die Kosten. Schaut man in den Preisvergleich von Presenc, findet man dort eine absurd große Bandbreite. Ich habe die für mich relevanten Modelle übernommen und nach Ausgabepreis sortiert. Die Preise sind immer in USD pro Million Token Input und Output:

Modell Eingabe Ausgabe
Claude Opus 4.7 5,00 25,00
Claude Sonnet 4.6 3,00 15,00
Gemini 3.1 Pro Preview 2,00 12,00
Claude Haiku 4.5 1,00 5,00
Gemini 3 Flash Preview 0,50 3,00
Gemini 3.1 Flash-Lite 0,25 1,50

Dem Preis nach platziert Google das Gemini Pro etwas unterhalb von Claude Sonnet. Und das Flash ist sogar noch unter Haiku. Wenn das auch die Qualität widerspiegelt, erklärt das durchaus meine Erfahrungen damit.

Als Nutzer:in kann man nun an zwei Dingen eingreifen, um die Kosten zu beeinflussen:

  1. Man versucht ein kleineres Modell zu nehmen, damit die Token weniger kosten.
  2. Man versucht mit weniger Token auszukommen.

Bei kleineren Modellen kommt man aber womöglich nicht so schnell ans Ziel wie mit einem größeren Modell. Es gibt mehr Halluzinationen, mehr merkwürdige Antworten, weniger gute Ansätze. Entsprechend braucht man deutlich mehr Token.

Weniger Tokens kann man erreichen indem man den Kontext verkleinert. Die großen Kosten entstehen aber in der Erzeugung. Und gerade durch das Reasoning/Thinking entstehen ein vielfaches an Token im Vergleich zu der finalen Ausgabe des Modells. Die Modelle brauchen diese zusätzliche versteckte Ausgabe allerdings, um bessere Ergebnisse zu erzielen.

Fazit

Dass KI erstaunliche Dinge kann, ist inzwischen klar. Allerdings werden die Kosten nun realer. Und das ist auch spannend, da nicht rentable Anwendungen dann wieder wegfallen. Oder aber es muss noch mehr in die Optimierung von Hard- und Software gesteckt werden.

Das Gefühl für verschiedene Modelle wird jedenfalls eine Fähigkeit sein, die man als Softwareentwickler brauchen wird. In der ersten Phase waren die Leute, die mit subventionierten großen Modellen irgendwas produktives machen konnten die Vorreiter. Aber inzwischen können das immer mehr Leute. Bei vier bis fünfstelligen Kosten für KI pro Monat wird der Mehrwert eines Mitarbeiters vielleicht in nächster Zeit dann auch durch die effektive Nutzung günstigerer Modelle sein.