Mikä on konteksti-ikkuna?
Konteksti-ikkuna on suurin tekstimäärä, jonka tekoälymalli voi pitää työmuistissaan kerralla. Jokainen viesti, tiedosto ja työkalun määritelmä keskustelussa lasketaan siihen.
Kaikki, mitä lähetät mallille, kilpailee samasta rajallisesta tilasta: järjestelmäkehote, jokainen viestiketjun viesti, ladatut tiedostot, työkalujen määritelmät ja vastaus, jonka malli on juuri kirjoittamassa. Tämä tila on konteksti-ikkuna, joka mitataan tokeneina eikä sanoina. Kun keskustelu täyttää sen, jotain on pakko pudottaa, ja se on melkein aina vanhin sisältö.
Siksi avustaja voi siteerata ensimmäistä viestiäsi täydellisesti viidennellä vuorolla, mutta ei yhtään tiedä, mitä sanoit vuorolla 200. Teksti on edelleen ruudullasi, koska käyttöliittymä tallentaa sen, mutta sitä ei enää syötetä mallille. Konteksti-ikkunat vaihtelevat suuresti tuotteen ja tilauksen mukaan, ja yrityksen mainostama luku on mallin kapasiteetti, ei välttämättä se, mitä kuluttajachat-sovellus oikeasti lataa joka vuorolla.
miten tämä toimii folkissa
Folk tiivistää pitkät ketjut automaattisesti, mutta hyödyllisempi ero on, että sen muisti ei rajoitu yhteen ketjuun. Se, mitä kerroit sille viime kuussa, on edelleen käytettävissä, kun seuraavan kerran viestittelet, millä tahansa alustalla satutkaan olemaan.
usein kysytyt
Mitä tapahtuu, kun saavutat konteksti-ikkunan rajan?
Joko avustaja kieltäytyy jatkamasta ketjua tai se pudottaa hiljaa vanhimmat viestit ja jatkaa vastaamista kuin niitä ei olisi koskaan ollutkaan. Hiljainen versio on yleisempi ja paljon vaikeampi huomata.
Tarkoittaako isompi konteksti-ikkuna parempia vastauksia?
Ei automaattisesti. Huomio ohenee, kun konteksti kasvaa, joten laatu usein heikkenee kauan ennen kovaa rajaa. Tätä kutsutaan kontekstin rappeutumiseksi, ja siksi keskittyneet ketjut voittavat yleensä yhden valtavan.
Kasvattaako tilauksen maksaminen konteksti-ikkunaa?
Joskus, mutta vähemmän kuin ihmiset odottavat. Maksulliset paketit yleensä nostavat viestien määrärajoja, eivät keskustelukohtaista ylärajaa, joten tilauksen päivittäminen ei usein estä pitkää ketjua täyttymästä.