Co je kontextové okno?
Kontextové okno je maximální množství textu, které AI model udrží najednou v pracovní paměti. Počítá se do něj každá zpráva, soubor i definice nástroje v konverzaci.
Všechno, co pošleš modelu, soutěží o stejný omezený prostor: systémový prompt, každá zpráva ve vlákně, nahrané soubory, definice nástrojů a odpověď, kterou se model chystá napsat. Tím prostorem je kontextové okno, měřené v tokenech, ne ve slovech. Když ho konverzace zaplní, něco musí pryč, a téměř vždy to je ten nejstarší obsah.
To je důvod, proč asistent dokáže perfektně citovat tvou první zprávu v pátém tahu a nemá ponětí, co jsi řekl ve dvoustém tahu. Text je stále na tvé obrazovce, protože si ho rozhraní ukládá, ale už se nepředává modelu. Kontextová okna se velmi liší podle produktu a tarifu a číslo, které společnost inzeruje, je kapacita modelu, ne nutně to, co spotřebitelská chatovací aplikace skutečně načítá v každém tahu.
jak to funguje ve folku
Folk automaticky kompaktuje dlouhá vlákna, ale užitečnější rozdíl je, že jeho paměť není vázaná na vlákno. Co jsi mu řekl minulý měsíc, je pořád dostupné, až mu příště napíšeš, na jakékoli platformě zrovna budeš.
časté dotazy
Co se stane, když dosáhneš limitu kontextového okna?
Buď asistent odmítne pokračovat ve vlákně, nebo tiše zahodí nejstarší zprávy a dál odpovídá, jako by nikdy neexistovaly. Tichá verze je běžnější a mnohem těžší si jí všimnout.
Znamená větší kontextové okno lepší odpovědi?
Ne automaticky. Pozornost se s rostoucím kontextem ředí, takže kvalita často klesá dávno před tvrdým limitem. Tomuto efektu se říká kontextová hniloba, a proto obvykle vyhrají zaměřená vlákna nad jedním obřím.
Zvyšuje placení předplatného kontextové okno?
Někdy ano, ale méně, než lidé čekají. Placené plány obvykle zvyšují limity pro rychlost zpráv, ne strop na konverzaci, takže upgrade často nezabrání tomu, aby se dlouhé vlákno zaplnilo.