Ein trainiertes Modell laufen lassen, um Output zu erzeugen, im Gegensatz zum Training. Jeder API-Aufruf an ein Sprachmodell ist Inferenz, und die Inferenz-Kosten pro Token prägen die Ökonomie von LLMs.
Definition: Ein trainiertes Modell laufen lassen, um Output zu erzeugen, im Gegensatz zum Training. Jeder API-Aufruf an ein Sprachmodell ist Inferenz, und die Inferenz-Kosten pro Token prägen die Ökonomie von LLMs.
Das Ausführen eines Modells, um Output zu erzeugen, im Gegensatz zum Training. Jeder API-Aufruf, den du machst, ist Inferenz. Inferenz ist das, wofür du zahlst. Die Inferenz-Kosten pro Token, dazu Rate Limits und Throttling, machen die LLM-Ökonomie 2026 kompliziert.
Die Einheit, in der ein Sprachmodell Eingaben verarbeitet und Ausgaben erzeugt. Im Schnitt grob vier Zeichen Englisch, weniger bei Code und nicht-lateinischen Schriften.
Der strukturierte Weg, auf dem ein Stück Software mit einem anderen spricht. API-Zugriff auf ein Foundation-Modell gibt dir Kontrolle über Prompts, Parameter, Versions-Pinning und Datenfluss, die kein Chat-Interface bietet.
Ein KI-System, das auf grossen Mengen von Text trainiert wurde, um menschenähnliche Sprache vorherzusagen und zu generieren. Am besten als Konzept-Transformationsmaschine zu verstehen, nicht als Wissensdatenbank.