Mi az a kontextusablak?
A kontextusablak az a maximális szövegmennyiség, amit egy AI modell egyszerre a munkamemóriájában tarthat, a beszélgetés minden üzenete, fájlja és eszközdefiníciója beleszámít.
Minden, amit egy modellnek küldesz, ugyanazért a véges helyért verseng: a rendszerprompt, a szál minden üzenete, a feltöltött fájlok, az eszközdefiníciók és a válasz, amit a modell éppen írni készül. Ez a hely a kontextusablak, amelyet tokenekben mérnek, nem szavakban. Amikor egy beszélgetés megtölti, valaminek mennie kell, és az szinte mindig a legrégebbi tartalom.
Ezért tud egy asszisztens az ötödik körben tökéletesen idézni az első üzenetedből, majd a kétszázadik körre fogalma sincs, mit mondtál. A szöveg még mindig ott van a képernyőn, mert a felület tárolja, de már nem kerül be a modellbe. A kontextusablakok termékenként és csomagonként nagyon eltérnek, és amit egy cég hirdet, az a modell kapacitása, nem feltétlenül az, amit a fogyasztói chatalkalmazás ténylegesen betölt minden körben.
hogyan működik ez a folkban
A Folk automatikusan tömöríti a hosszú szálakat, de a hasznosabb különbség, hogy a memóriája nem egy szálhoz van rendelve. Amit múlt hónapban mondtál neki, az még mindig elérhető, amikor legközelebb írsz, bármelyik felületen is vagy éppen.
gyakori kérdések
Mi történik, amikor eléred a kontextusablak határát?
Vagy az asszisztens megtagadja a beszélgetés folytatását, vagy csendben eldobja a legrégebbi üzeneteket, és úgy válaszol tovább, mintha sosem lettek volna. A csendes változat gyakoribb, és sokkal nehezebb észrevenni.
A nagyobb kontextusablak jobb válaszokat jelent?
Nem automatikusan. A figyelem elvékonyodik, ahogy a kontextus nő, így a minőség gyakran jóval a kemény limit előtt romlik. Ezt a hatást context rotnak hívják, és ezért jobbak általában a fókuszált szálak, mint egyetlen óriási.
Növeli az előfizetés a kontextusablakot?
Néha, de kevésbé, mint amire az emberek számítanak. A fizetős csomagok általában inkább az üzenetküldési sebességkorlátokat emelik, nem a beszélgetésenkénti plafont, így a csomagváltás gyakran nem akadályozza meg, hogy egy hosszú beszélgetés megteljen.