Çfarë është një dritare konteksti?
Një dritare konteksti është sasia maksimale e tekstit që një model AI mund të mbajë në memorien e punës njëherësh, çdo mesazh, skedar dhe përkufizim mjeti në bisedë llogaritet në të.
Çdo gjë që dërgon në një model konkurron për të njëjtën hapësirë të fundme: prompt-i i sistemit, çdo mesazh në fije, skedarët e ngarkuar, përkufizimet e mjeteve dhe përgjigja që modeli është gati të shkruajë. Kjo hapësirë është dritarja e kontekstit, e matur në tokenë sesa në fjalë. Kur një bisedë e mbush atë, diçka duhet të largohet, dhe pothuajse gjithmonë është përmbajtja më e vjetër.
Kjo është arsyeja pse një asistent mund ta citojë në mënyrë të përsosur mesazhin tënd të parë në kthesën e pestë dhe të mos ketë asnjë ide se çfarë ke thënë në kthesën e dyqindtë. Teksti është ende në ekranin tënd sepse ndërfaqja e ruan atë, por nuk po i dërgohet më modelit. Dritaret e kontekstit ndryshojnë shumë sipas produktit dhe planit, dhe numri që reklamon një kompani është kapaciteti i modelit, jo domosdoshmërisht ajo që aplikacioni i bisedës për konsumatorin ngarkon në të vërtetë në çdo kthesë.
si funksionon kjo në folk
Folk i kompakton automatikisht bisedat e gjata, por ndryshimi më i dobishëm është se kujtesa e tij nuk kufizohet në një bisedë. Ajo që i tregove muajin e kaluar është ende e disponueshme herën tjetër që shkruan, në cilëndo platformë që përdor.
pyetjet e shpeshta
Çfarë ndodh kur arrin kufirin e dritares së kontekstit?
Ose asistenti refuzon të vazhdojë bisedën, ose i hedh në heshtje mesazhet më të vjetra dhe vazhdon të përgjigjet sikur të mos kishin ekzistuar kurrë. Versioni i heshtur është më i zakonshëm dhe shumë më i vështirë për t'u vënë re.
A do të thotë një dritare konteksti më e madhe përgjigje më të mira?
Jo automatikisht. Vëmendja shpërndahet më hollë ndërsa konteksti rritet, kështu që cilësia shpesh bie shumë përpara limitit të fortë. Ky efekt quhet context rot, dhe është arsyeja pse bisedat e fokusuara zakonisht mundin një bisedë të vetme gjigante.
A e rrit dritaren e kontekstit nëse paguan abonim?
Ndonjëherë, por më pak nga sa njerëzit presin. Planet me pagesë zakonisht rrisin kufijtë e shpejtësisë së mesazheve, jo tavanin për bisedë, kështu që përmirësimi shpesh nuk e ndalon një bisedë të gjatë të mbushet.