Die Gesamtzahl an Tokens, die ein Modell in einer einzelnen Anfrage annimmt, Eingabe und Ausgabe zusammengerechnet. Größere Fenster treiben Kosten und Latenz nach oben, und die Qualität lässt am hinteren Ende oft nach.
Definition: Die Gesamtzahl an Tokens, die ein Modell in einer einzelnen Anfrage annimmt, Eingabe und Ausgabe zusammengerechnet. Größere Fenster treiben Kosten und Latenz nach oben, und die Qualität lässt am hinteren Ende oft nach.
Die maximale Zahl an Tokens, die ein Modell in einer Anfrage halten kann, Eingabe und Ausgabe zusammengerechnet. Größere Fenster lassen dich mehr Transkripte oder Dokumente auf einmal einspeisen, aber die Kosten steigen, die Latenz steigt, und die Qualität lässt am hinteren Ende des Fensters oft nach. „Kopier einfach die ganze Studie da rein“ ist selten der richtige Zug.
Die Einheit, in der ein Sprachmodell Eingaben verarbeitet und Ausgaben erzeugt. Im Schnitt grob vier Zeichen Englisch, weniger bei Code und nicht-lateinischen Schriften.
Ein trainiertes Modell laufen lassen, um Output zu erzeugen, im Gegensatz zum Training. Jeder API-Aufruf an ein Sprachmodell ist Inferenz, und die Inferenz-Kosten pro Token prägen die Ökonomie von LLMs.
Eine Technik, die LLM-Antworten verbessert, indem zunächst relevante Informationen aus einer spezifischen Wissensbasis abgerufen werden, um die Ausgabe des Modells zu fundieren.