Hvad er et kontekstvindue?
Et kontekstvindue er den maksimale mængde tekst, en AI-model kan holde i arbejdshukommelsen på én gang. Hver besked, fil og værktøjsdefinition i samtalen tæller med.
Alt, hvad du sender til en model, konkurrerer om den samme begrænsede plads: systemprompten, hver besked i tråden, uploadede filer, værktøjsdefinitioner og det svar, modellen er ved at skrive. Den plads er kontekstvinduet, målt i tokens i stedet for ord. Når en samtale fylder det, skal noget væk, og det er næsten altid det ældste indhold.
Det er derfor, en assistent kan citere din første besked perfekt ved femte tur og ikke ane, hvad du sagde ved tur nummer to hundrede. Teksten er stadig på din skærm, fordi grænsefladen gemmer den, men den bliver ikke længere sendt til modellen. Kontekstvinduer varierer meget fra produkt til produkt og plan til plan, og det tal, en virksomhed reklamerer med, er modellens kapacitet, ikke nødvendigvis det, forbrugerchat-appen faktisk indlæser ved hver tur.
hvordan det fungerer i folk
Folk kompakterer lange tråde automatisk, men den mere nyttige forskel er, at dens hukommelse ikke er begrænset til en tråd. Det, du fortalte den sidste måned, er stadig tilgængeligt næste gang, du skriver, uanset hvilken flade du tilfældigvis bruger.
ofte stillede
Hvad sker der, når du rammer grænsen for kontekstvinduet?
Enten nægter assistenten at fortsætte tråden, eller også dropper den lydløst de ældste beskeder og bliver ved med at svare, som om de aldrig havde været der. Den lydløse version er mere almindelig og meget sværere at opdage.
Betyder et større kontekstvindue bedre svar?
Ikke automatisk. Opmærksomheden spredes tyndere, efterhånden som konteksten vokser, så kvaliteten bliver ofte dårligere længe før den hårde grænse. Denne effekt kaldes context rot, og det er derfor, fokuserede tråde som regel slår én enorm.
Øger et betalt abonnement kontekstvinduet?
Nogle gange, men sjældnere end folk forventer. Betalte planer hæver typisk grænsen for beskeder i stedet for loftet per samtale, så en opgradering stopper ofte ikke en lang tråd i at blive fyldt op.