Kaj je kontekstno okno?
Kontekstno okno je največja količina besedila, ki jo AI model lahko hrani v delovnem spominu naenkrat – vsako sporočilo, datoteka in definicija orodja v pogovoru se štejejo vanj.
Vse, kar pošlješ modelu, tekmuje za isti končni prostor: sistemski poziv, vsako sporočilo v niti, naložene datoteke, definicije orodij in odgovor, ki ga model šele bo napisal. Ta prostor je kontekstno okno, merjeno v žetonih, ne v besedah. Ko pogovor zapolni to, mora nekaj oditi, in to je skoraj vedno najstarejša vsebina.
Zato lahko asistent pri petem krogu popolnoma citira tvoje prvo sporočilo, pri dvestotem pa nima pojma, kaj si rekel. Besedilo je še vedno na tvojem zaslonu, ker ga vmesnik shrani, ampak se modelu ne posreduje več. Kontekstna okna se močno razlikujejo glede na izdelek in paket, število, ki ga podjetje oglašuje, pa je zmogljivost modela, ne nujno tisto, kar potrošniška klepetalna aplikacija dejansko naloži pri vsakem krogu.
kako to deluje v folku
Folk samodejno kompakcira dolge niti, ampak bolj uporabna razlika je, da njegov spomin ni omejen na nit. Kar si mu povedal prejšnji mesec, je na voljo tudi naslednjič, ko pišeš, na kateri koli platformi, ki jo pač uporabljaš.
pogosta vprašanja
Kaj se zgodi, ko dosežeš mejo kontekstnega okna?
Asistent bodisi noče nadaljevati pogovora bodisi tiho izpusti najstarejša sporočila in odgovarja naprej, kot da jih nikoli ni bilo. Tiha različica je pogostejša in veliko težje opazna.
Ali večje kontekstno okno pomeni boljše odgovore?
Ne samodejno. Pozornost se tanjša, ko kontekst raste, zato kakovost pogosto pade veliko prej kot ob trdi omejitvi. Ta učinek se imenuje kontekstna gniloba in zato so osredotočene niti običajno boljše od ene ogromne.
Ali plačilo naročnine poveča kontekstno okno?
Včasih, a manj, kot ljudje pričakujejo. Plačljivi načrti običajno dvignejo omejitve hitrosti sporočil, ne pa zgornje meje na pogovor, zato nadgradnja pogosto ne prepreči, da se dolg pogovor zapolni.