Kva er eit kontekstvindauge?
Eit kontekstvindauge er den maksimale mengda tekst ein KI-modell kan halde i arbeidsminnet på ein gong. Kvar melding, fil og verktøydefinisjon i samtalen tel med.
Alt du sender til ein modell kjempar om den same avgrensa plassen: systemprompten, kvar melding i tråden, opplasta filer, verktøydefinisjonar og svaret modellen er i ferd med å skrive. Denne plassen er kontekstvindauget, målt i token i staden for ord. Når ein samtale fyller det, må noko ut, og det er nesten alltid det eldste innhaldet.
Dette er grunnen til at ein assistent kan sitere den første meldinga di perfekt ved femte runde, og ikkje ha noko peiling på kva du sa ved runde to hundre. Teksten er framleis på skjermen din fordi grensesnittet lagrar han, men han blir ikkje lenger sendt til modellen. Kontekstvindauge varierer mykje frå produkt til produkt og plan til plan, og talet eit selskap annonserer, er modellens kapasitet, ikkje nødvendigvis det forbrukar-chat-appen faktisk lastar inn for kvar runde.
korleis dette fungerer i folk
Folk kompakterer lange trådar automatisk, men den meir nyttige skilnaden er at minnet ikkje er avgrensa til ein tråd. Det du fortalde det i førre månad, er framleis tilgjengeleg neste gong du sender melding, uansett kva flate du tilfeldigvis brukar.
ofte stilte spørsmål
Kva skjer når du når grensa for kontekstvindauget?
Anten nektar assistenten å halde fram tråden, eller så droppar han stille dei eldste meldingane og held fram med å svare som om dei aldri hadde vore der. Den stille versjonen er vanlegare og mykje vanskelegare å leggje merke til.
Betyr eit større kontekstvindauge betre svar?
Ikkje automatisk. Merksemda blir tynnare utover som konteksten veks, så kvaliteten blir ofte dårlegare lenge før den harde grensa. Denne effekten blir kalla context rot, og det er grunnen til at fokuserte trådar vanlegvis slår ein enorm ein.
Blir kontekstvindauget større av å betale for eit abonnement?
Av og til, men mindre enn folk trur. Betalte planer aukar vanlegvis meldingsratetak, ikkje taket per samtale, så oppgradering stoppar ofte ikkje ein lang tråd frå å fyllast opp.