Što je kontekstni prozor?
Kontekstni prozor je maksimalna količina teksta koju AI model može držati u radnoj memoriji odjednom, svaka poruka, datoteka i definicija alata u razgovoru se računaju u to.
Sve što pošalješ modelu natječe se za isti ograničeni prostor: sistemski prompt, svaka poruka u nizu, uploadane datoteke, definicije alata i odgovor koji model tek treba napisati. Taj prostor je kontekstni prozor, mjeren u tokenima, a ne riječima. Kad razgovor ispuni taj prostor, nešto mora otići, a to je gotovo uvijek najstariji sadržaj.
Zato asistent može savršeno citirati tvoju prvu poruku u petom krugu, a u dvjestotom krugu nema pojma što si rekao. Tekst je još uvijek na tvom zaslonu jer ga sučelje pohranjuje, ali se više ne dostavlja modelu. Kontekstni prozori uvelike variraju ovisno o proizvodu i planu, a broj koji tvrtka reklamira je kapacitet modela, ne nužno ono što potrošačka chat aplikacija stvarno učitava u svakom krugu.
kako ovo funkcionira u folku
Folk automatski kompaktira duge niti, ali korisnija razlika je da njegovo pamćenje nije ograničeno na nit. Ono što si mu rekao prošlog mjeseca još je dostupno sljedeći put kad mu pišeš, na kojoj god platformi da se nalaziš.
često postavljana pitanja
Što se dogodi kad dosegneš ograničenje kontekstnog prozora?
Ili asistent odbije nastaviti nit, ili tiho izbaci najstarije poruke i nastavi odgovarati kao da nikada nisu postojale. Tiha verzija je češća i mnogo ju je teže primijetiti.
Znači li veći kontekstni prozor bolje odgovore?
Ne automatski. Pažnja se stanjuje kako kontekst raste, pa kvaliteta često opada mnogo prije tvrdog limita. Taj se efekt zove kontekstna trulež i zato fokusirane niti obično pobjeđuju jednu ogromnu.
Povećava li plaćanje pretplate kontekstni prozor?
Ponekad, ali manje nego što ljudi očekuju. Plaćeni planovi obično podižu ograničenja brzine poruka, a ne gornju granicu po razgovoru, pa nadogradnja često ne sprječava da se duga nit napuni.