Šta je kontekstni prozor?
Kontekstni prozor je maksimalna količina teksta koju AI model može da drži u radnoj memoriji odjednom. Svaka poruka, fajl i definicija alata u razgovoru se računaju u taj prostor.
Sve što pošalješ modelu takmiči se za isti ograničeni prostor: sistemski prompt, svaka poruka u niti, otpremljeni fajlovi, definicije alata i odgovor koji model tek treba da napiše. Taj prostor je kontekstni prozor, mjeri se u tokenima, a ne u riječima. Kada razgovor popuni taj prostor, nešto mora da izađe, a to je skoro uvijek najstariji sadržaj.
Zato asistent može savršeno da citira tvoju prvu poruku u petom koraku, a da nema pojma šta si rekao do dvestotog. Tekst je i dalje na tvom ekranu jer ga interfejs čuva, ali se više ne prosleđuje modelu. Kontekstni prozori se mnogo razlikuju od proizvoda do proizvoda i od plana do plana, a broj koji kompanija reklamira je kapacitet modela, ne nužno ono što potrošačka chat aplikacija zaista učitava u svakom koraku.
how this works in folk
Folk automatski kompaktuje duge threadove, ali korisnija razlika je da njegovo pamćenje nije vezano samo za jedan thread. Ono što si mu rekao prošlog mjeseca je i dalje dostupno sljedeći put kad mu pišeš, na kojoj god platformi da se zatekneš.
frequently asked
Šta se dešava kada dostigneš granicu kontekstnog prozora?
Ili asistent odbije da nastavi nit, ili tiho odbacuje najstarije poruke i nastavlja da odgovara kao da ih nikada nije bilo. Tiha verzija je češća i mnogo teže se primećuje.
Da li veći kontekstni prozor znači bolje odgovore?
Ne automatski. Pažnja se stanjuje kako kontekst raste, pa kvalitet često opada mnogo prije tvrdog limita. Taj efekat se zove context rot, i zato fokusirane niti obično pobjeđuju jednu ogromnu.
Da li plaćanje pretplate povećava kontekstni prozor?
Ponekad, ali manje nego što ljudi očekuju. Plaćeni planovi obično podižu ograničenje broja poruka, a ne plafon po razgovoru, pa nadogradnja često ne spriječava da se duga nit napuni.