Wat is een tokenlimiet?
Een tokenlimiet is het plafond voor hoeveel tokens, stukjes tekst van ongeveer driekwart woord elk, een AI-model in één verzoek kan verwerken, inclusief zowel de gespreksgeschiedenis als zijn eigen antwoord.
Modellen lezen geen woorden, ze lezen tokens. Een token is ongeveer driekwart Engels woord, dus duizend woorden kosten rond de dertienhonderd tokens. Leestekens, code en niet-Engelse tekst worden minder efficiënt omgezet in tokens, daarom eet een pagina code veel meer budget op dan een pagina proza.
De limiet geldt voor het hele verzoek, niet voor je laatste bericht. Dat is het detail dat bijna iedereen verkeerd heeft. Een reactie van drie woorden wordt nog steeds achter het hele voorgaande gesprek geplakt voordat hij wordt verstuurd, dus een piepklein bericht kan degene zijn die een lange thread over de rand duwt. Tooldefinities en gekoppelde integraties tellen mee voor hetzelfde budget, daarom kan het uitzetten van ongebruikte tools echt ruimte opleveren.
hoe dit werkt in folk
Folk let op zijn eigen tokenbudget en comprimeert voordat het op is, dus jij hoeft het niet bij te houden. Er is geen teller om op te passen en geen punt waarop het gesprek weigert door te gaan.
veelgesteld
Hoeveel woorden is een token?
Ongeveer driekwart woord in het Engels, dus 1.000 tokens is zo'n 750 woorden. Code, leestekens en andere talen worden minder efficiënt omgezet en verbruiken meer budget per teken.
Waarom staat er maximale lengte als mijn bericht kort was?
Omdat de limiet het hele gesprek telt, niet je laatste bericht. Elke eerdere uitwisseling wordt bij elke beurt opnieuw verstuurd, dus een kort bericht kan degene zijn die het totaal over het plafond duwt.
Tellen geüploade bestanden mee voor de tokenlimiet?
Ja. Bestanden, afbeeldingen, tooldefinities en systeeminstructies verbruiken hetzelfde budget als je berichten, daarom raakt een thread met meerdere bijlagen veel sneller vol dan eentje met alleen tekst.