Mis on kontekstiaken?
Kontekstiaken on maksimaalne tekstihulk, mida AI mudel suudab korraga töömälus hoida: iga sõnum, fail ja tööriista definitsioon vestluses läheb selle arvesse.
Kõik, mida sa mudelile saadad, võistleb sama piiratud ruumi pärast: süsteemi prompt, iga sõnum vestluses, üleslaaditud failid, tööriistade definitsioonid ja vastus, mida mudel parasjagu kirjutama hakkab. See ruum on kontekstiaken, mida mõõdetakse tokenites, mitte sõnades. Kui vestlus selle täidab, peab midagi välja langema ja see on peaaegu alati kõige vanem sisu.
Seetõttu võib assistent viies voorus sinu esimest sõnumit täiuslikult tsiteerida, aga kahesajandas voorus pole tal õrna aimugi, mida sa ütlesid. Tekst on endiselt sinu ekraanil, sest kasutajaliides hoiab seda alles, aga mudelile seda enam ei anta. Kontekstiaknad erinevad toote ja plaani kaupa väga palju ning number, mida ettevõte reklaamib, on mudeli maht, mitte tingimata see, mida tarbija vestlusrakendus igal voorul tegelikult laeb.
kuidas see folkis töötab
Folk kompakteerib pikad vestlused automaatselt, aga kasulikum erinevus on see, et selle mälu ei ole vestlusega piiratud. See, mida sa talle eelmisel kuul ütlesid, on järgmine kord, kui kirjutad, ikka saadaval, ükskõik millisel platvormil sa parasjagu oled.
korduma kippuvad
Mis juhtub, kui jõuad kontekstiakna piirini?
Kas assistent keeldub vestlust jätkamast või viskab vaikselt välja kõige vanemad sõnumid ja vastab edasi, nagu neid poleks kunagi olnud. Vaikne versioon on tavalisem ja seda on palju raskem märgata.
Kas suurem kontekstiaken tähendab paremaid vastuseid?
Mitte automaatselt. Tähelepanu hajub konteksti kasvades üha enam, nii et kvaliteet langeb sageli ammu enne kõva piiri. Seda efekti nimetatakse konteksti mädanemiseks ja see on põhjus, miks keskendunud vestlused on tavaliselt paremad kui üks tohutu vestlus.
Kas tellimuse eest maksmine suurendab kontekstiakent?
Mõnikord, aga vähem kui inimesed ootavad. Tasulised plaanid tõstavad tavaliselt sõnumite limiite, mitte vestluse ülempiiri, seega uuendamine ei takista sageli pika vestluse täitumist.