Hva er et kontekstvindu?
Et kontekstvindu er den maksimale mengden tekst en AI-modell kan holde i arbeidsminnet samtidig. Hver melding, fil og verktøydefinisjon i samtalen teller med.
Alt du sender til en modell konkurrerer om den samme begrensede plassen: systemprompten, hver melding i tråden, opplastede filer, verktøydefinisjoner og svaret modellen er i ferd med å skrive. Den plassen er kontekstvinduet, målt i tokens og ikke i ord. Når en samtale fyller det, må noe vekk, og det er nesten alltid det eldste innholdet.
Dette er grunnen til at en assistent kan sitere den første meldingen din perfekt ved femte tur, og ikke ha peiling på hva du sa ved tur nummer to hundre. Teksten er fortsatt på skjermen din fordi grensesnittet lagrer den, men den blir ikke lenger matet til modellen. Kontekstvinduer varierer mye fra produkt til produkt og plan til plan, og tallet et selskap annonserer, er modellens kapasitet, ikke nødvendigvis det forbruker-chat-appen faktisk laster inn ved hver tur.
hvordan dette funker i folk
Folk komprimerer lange tråder automatisk, men den mer nyttige forskjellen er at hukommelsen ikke er begrenset til en tråd. Det du fortalte den forrige måned, er fortsatt tilgjengelig neste gang du sender melding, uansett hvilken flate du tilfeldigvis bruker.
ofte stilte spørsmål
Hva skjer når du når grensen for kontekstvinduet?
Enten nekter assistenten å fortsette tråden, eller så dropper den stille de eldste meldingene og fortsetter å svare som om de aldri var der. Den stille versjonen er mer vanlig og mye vanskeligere å legge merke til.
Betyr et større kontekstvindu bedre svar?
Ikke automatisk. Oppmerksomheten blir tynnere når konteksten vokser, så kvaliteten blir ofte dårligere lenge før den harde grensen. Denne effekten kalles context rot, og det er derfor fokuserte tråder vanligvis slår én enorm en.
Øker kontekstvinduet hvis du betaler for et abonnement?
Noen ganger, men sjeldnere enn folk tror. Betalte planer hever vanligvis grensen for antall meldinger, ikke taket per samtale, så det hjelper ofte ikke å oppgradere når en lang tråd blir full.