Czym jest okno kontekstu?
Okno kontekstu to maksymalna ilość tekstu, jaką model AI może naraz utrzymać w pamięci roboczej. Liczy się do niego każda wiadomość, plik i definicja narzędzia w rozmowie.
Wszystko, co wysyłasz modelowi, konkuruje o tę samą skończoną przestrzeń: prompt systemowy, każda wiadomość w wątku, wgrane pliki, definicje narzędzi i odpowiedź, którą model zaraz napisze. Ta przestrzeń to okno kontekstu, mierzone w tokenach, a nie w słowach. Kiedy rozmowa je zapełni, coś musi odpaść, i prawie zawsze jest to najstarsza treść.
Dlatego asystent potrafi idealnie zacytować twoją pierwszą wiadomość w piątej turze i nie mieć pojęcia, co powiedziałeś w dwusetnej. Tekst nadal jest na twoim ekranie, bo interfejs go przechowuje, ale nie jest już podawany modelowi. Okna kontekstu mocno różnią się w zależności od produktu i planu, a liczba, którą reklamuje firma, to pojemność modelu, niekoniecznie to, co aplikacja czatu dla konsumentów faktycznie ładuje w każdej turze.
jak to działa w folk
Folk automatycznie kompaktuje długie wątki, ale ważniejsza różnica jest taka, że jego pamięć nie jest ograniczona do wątku. To, co powiedziałeś mu w zeszłym miesiącu, nadal jest dostępne, gdy napiszesz następnym razem, na dowolnej powierzchni, z której akurat korzystasz.
często zadawane pytania
Co się dzieje, gdy osiągniesz limit okna kontekstu?
Albo asystent odmawia kontynuowania wątku, albo po cichu porzuca najstarsze wiadomości i odpowiada dalej, jakby nigdy ich nie było. Cicha wersja jest częstsza i dużo trudniejsza do zauważenia.
Czy większe okno kontekstu oznacza lepsze odpowiedzi?
Niekoniecznie. Uwaga rozprasza się coraz bardziej, im większy kontekst, więc jakość często spada na długo przed twardym limitem. Ten efekt nazywa się context rot i dlatego skupione wątki zwykle biją jeden ogromny.
Czy płatna subskrypcja zwiększa okno kontekstu?
Czasem, ale mniej, niż ludzie się spodziewają. Płatne plany zwykle podnoszą limity liczby wiadomości, a nie sufit pojedynczej rozmowy, więc wykupienie planu często nie sprawia, że długi wątek przestaje się zapełniać.