Die Einheit, in der ein Sprachmodell Eingaben verarbeitet und Ausgaben erzeugt. Im Schnitt grob vier Zeichen Englisch, weniger bei Code und nicht-lateinischen Schriften.
Definition: Die Einheit, in der ein Sprachmodell Eingaben verarbeitet und Ausgaben erzeugt. Im Schnitt grob vier Zeichen Englisch, weniger bei Code und nicht-lateinischen Schriften.
Die Einheit, die ein Modell sieht und erzeugt. Grob vier Zeichen Englisch, weniger bei Code oder nicht-lateinischen Schriften. Kosten, Rate-Limits und Context-Window werden alle in Tokens gemessen, nicht in Wörtern. Dein Text ist dichter, als du denkst.
Die Gesamtzahl an Tokens, die ein Modell in einer einzelnen Anfrage annimmt, Eingabe und Ausgabe zusammengerechnet. Größere Fenster treiben Kosten und Latenz nach oben, und die Qualität lässt am hinteren Ende oft nach.
Ein trainiertes Modell laufen lassen, um Output zu erzeugen, im Gegensatz zum Training. Jeder API-Aufruf an ein Sprachmodell ist Inferenz, und die Inferenz-Kosten pro Token prägen die Ökonomie von LLMs.
Die Text-Eingabe, die du an ein Sprachmodell schickst. Die meisten „KI funktioniert nicht“-Klagen lassen sich auf die Qualität des Prompts zurückführen, bevor sie mit der Qualität des Modells zu tun haben.