Apa itu context window?
Context window adalah jumlah maksimum teks yang bisa ditampung model AI dalam memori kerjanya sekaligus. Setiap pesan, file, dan definisi alat dalam percakapan ikut dihitung.
Semua yang kamu kirim ke model berebut ruang terbatas yang sama: system prompt, setiap pesan di thread, file yang diunggah, definisi alat, dan jawaban yang akan ditulis model. Ruang itulah context window, diukur dalam token, bukan kata. Saat percakapan memenuhinya, harus ada yang dibuang, dan hampir selalu itu konten paling lama.
Inilah kenapa asisten bisa mengutip pesan pertama kamu dengan sempurna di giliran kelima, tapi sama sekali nggak tahu apa yang kamu bilang di giliran ke-200. Teksnya masih ada di layar kamu karena antarmukanya menyimpannya, tapi sudah tidak lagi diberikan ke model. Ukuran context window sangat bervariasi tergantung produk dan paketnya, dan angka yang diiklankan perusahaan adalah kapasitas model, belum tentu yang benar-benar dimuat aplikasi chat konsumen di setiap giliran.
cara kerjanya di folk
Folk memadatkan thread panjang secara otomatis, tapi perbedaan yang lebih berguna adalah memorinya tidak terbatas pada satu thread. Apa yang kamu ceritakan bulan lalu masih tersedia saat kamu chat lagi, di platform mana pun yang lagi kamu pakai.
sering ditanyain
Apa yang terjadi saat batas context window tercapai?
Entah asisten menolak melanjutkan thread, atau diam-diam membuang pesan paling lama dan terus menjawab seolah pesan itu tidak pernah ada. Versi yang diam-diam lebih umum dan jauh lebih sulit disadari.
Apakah context window yang lebih besar berarti jawaban yang lebih bagus?
Tidak otomatis. Perhatian model makin menipis saat konteks bertambah, jadi kualitas sering turun jauh sebelum batas maksimalnya. Efek ini disebut context rot, dan itulah kenapa thread yang fokus biasanya lebih bagus daripada satu thread raksasa.
Apakah langganan berbayar memperbesar context window?
Kadang, tapi tidak sebanyak yang orang kira. Paket berbayar biasanya menaikkan batas jumlah pesan, bukan batas per percakapan, jadi upgrade sering tidak mencegah thread panjang jadi penuh.