Kas yra konteksto langas?
Konteksto langas yra didžiausias teksto kiekis, kurį AI modelis gali vienu metu laikyti darbinėje atmintyje, kiekviena žinutė, failas ir įrankio apibrėžimas pokalbyje į jį įskaičiuojami.
Viskas, ką siunti modeliui, konkuruoja dėl tos pačios ribotos erdvės: sistemos promptas, kiekviena žinutė gijoje, įkelti failai, įrankių apibrėžimai ir atsakymas, kurį modelis ruošiasi parašyti. Ta erdvė yra konteksto langas, matuojamas žetonais, o ne žodžiais. Kai pokalbis ją užpildo, kažkas turi išeiti, ir tai beveik visada seniausias turinys.
Štai kodėl asistentas gali puikiai pacituoti tavo pirmą žinutę penktame žingsnyje, o dviejų šimtų žingsnyje jau neprisiminti, ką sakei. Tekstas vis dar matomas ekrane, nes sąsaja jį saugo, bet jis jau nesiunčiamas modeliui. Konteksto langai labai skiriasi priklausomai nuo produkto ir plano, o skaičius, kurį įmonė reklamuoja, yra modelio talpa, o ne būtinai tai, ką vartotojo pokalbių programa iš tikrųjų įkelia kiekviename žingsnyje.
kaip tai veikia folk
Folk automatiškai suspaudžia ilgas gijas, bet naudingesnis skirtumas yra tas, kad jo atmintis nėra susieta su gija. Tai, ką jam pasakei praėjusį mėnesį, vis dar prieinama kitą kartą rašant, bet kurioje platformoje bebūtum.
dažnai užduodami klausimai
Kas atsitinka, kai pasieki konteksto lango limitą?
Arba asistentas atsisako tęsti pokalbį, arba tyliai išmeta seniausias žinutes ir toliau atsakinėja taip, lyg jų niekada nebūtų buvę. Tylusis variantas pasitaiko dažniau ir jį pastebėti daug sunkiau.
Ar didesnis konteksto langas reiškia geresnius atsakymus?
Ne automatiškai. Dėmesys plonėja augant kontekstui, todėl kokybė dažnai pablogėja gerokai prieš kietą limitą. Šis efektas vadinamas konteksto irimu, ir dėl to susikaupusios gijos paprastai nugali vieną milžinišką.
Ar mokėjimas už prenumeratą padidina konteksto langą?
Kartais, bet mažiau nei žmonės tikisi. Mokami planai paprastai padidina pranešimų limitus, o ne vieno pokalbio limitą, todėl atnaujinimas dažnai neapsaugo ilgo pokalbio nuo užpildymo.