Was ist ein Token-Limit?
Ein Token-Limit ist die Obergrenze dafür, wie viele Tokens, also Textstücke von jeweils etwa drei Vierteln eines Wortes, ein KI-Modell in einer einzigen Anfrage verarbeiten kann, inklusive Gesprächsverlauf und eigener Antwort.
Modelle lesen keine Wörter, sondern Tokens. Ein Token ist ungefähr drei Viertel eines englischen Wortes, tausend Wörter kosten also etwa dreizehnhundert Tokens. Satzzeichen, Code und nicht-englischer Text werden weniger effizient in Tokens zerlegt, deshalb frisst eine Seite Code viel mehr Budget als eine Seite Fließtext.
Das Limit gilt für die ganze Anfrage, nicht für deine letzte Nachricht. Genau das verstehen fast alle falsch. Auch eine Nachfrage aus drei Wörtern wird vor dem Senden an die komplette bisherige Unterhaltung angehängt, also kann eine winzige Nachricht genau die sein, die einen langen Thread über die Kante kippt. Tool-Definitionen und verbundene Integrationen zählen zum selben Budget, deshalb kannst du mit dem Abschalten ungenutzter Tools echten Platz zurückgewinnen.
so funktioniert das in folk
Folk behält sein eigenes Token-Budget im Blick und verdichtet, bevor es knapp wird, du musst das also nicht selbst im Auge behalten. Kein Zähler, den du babysitten musst, und kein Punkt, an dem die Unterhaltung nicht mehr weitergeht.
häufig gefragt
Wie viele Wörter sind ein Token?
Im Englischen ungefähr drei Viertel eines Wortes, 1,000 Tokens sind also etwa 750 Wörter. Code, Satzzeichen und andere Sprachen werden weniger effizient zerlegt und verbrauchen pro Zeichen mehr vom Budget.
Warum steht da maximale Länge erreicht, obwohl meine Nachricht kurz war?
Weil das Limit die ganze Unterhaltung zählt, nicht deine letzte Nachricht. Jeder vorherige Austausch wird bei jeder Runde erneut mitgeschickt, also kann eine kurze Nachricht genau die sein, die die Summe über die Grenze schiebt.
Zählen hochgeladene Dateien zum Token-Limit?
Ja. Dateien, Bilder, Tool-Definitionen und Systemanweisungen verbrauchen alle dasselbe Budget wie deine Nachrichten. Deshalb ist ein Thread mit mehreren Anhängen viel schneller voll als einer mit reinem Text.