Šta je kontekstni prozor?
Kontekstni prozor je maksimalna količina teksta koju AI model može držati u radnoj memoriji odjednom - svaka poruka, datoteka i definicija alata u razgovoru se računaju u to.
Sve što pošalješ modelu takmiči se za isti ograničeni prostor: sistemski prompt, svaka poruka u niti, uploadovane datoteke, definicije alata i odgovor koji model tek treba napisati. Taj prostor je kontekstni prozor, mjeren u tokenima, a ne riječima. Kada razgovor ispuni taj prostor, nešto mora otići, a to je gotovo uvijek najstariji sadržaj.
Zato asistent može savršeno da citira tvoju prvu poruku u petom krugu, a da nema pojma šta si rekao do dvestotog kruga. Tekst je i dalje na tvom ekranu jer ga interfejs čuva, ali se više ne prosleđuje modelu. Kontekstni prozori se znatno razlikuju od proizvoda do proizvoda i od plana do plana, a broj koji kompanija reklamira je kapacitet modela, a ne nužno ono što potrošačka chat aplikacija zaista učitava u svakom krugu.
kako ovo funkcioniše u folku
Folk automatski kompaktiše duge threadove, ali korisnija razlika je da njegovo pamćenje nije vezano samo za thread. Ono što si mu rekao prošlog mjeseca i dalje je dostupno sljedeći put kad mu pišeš, na kojoj god platformi da se zatekneš.
često postavljana pitanja
Šta se dešava kad dostigneš ograničenje kontekstnog prozora?
Ili asistent odbija da nastavi nit, ili tiho odbacuje najstarije poruke i nastavlja da odgovara kao da ih nikada nije bilo. Tiha verzija je češća i mnogo teže se primećuje.
Da li veći kontekstni prozor znači bolje odgovore?
Ne automatski. Pažnja se stanjuje kako kontekst raste, pa kvaliteta često opada mnogo prije tvrdog limita. Taj efekat se zove context rot, i zato fokusirane niti obično pobjeđuju jednu ogromnu.
Da li plaćanje pretplate povećava kontekstni prozor?
Ponekad, ali manje nego što ljudi očekuju. Plaćeni planovi obično podižu ograničenja brzine poruka, a ne gornju granicu po razgovoru, pa nadogradnja često ne spriječi da se dugačak razgovor napuni.