Шта је контекстни прозор?
Контекстни прозор је максимална количина текста коју АИ модел може да држи у радној меморији одједном - свака порука, фајл и дефиниција алата у разговору се рачунају у то.
Све што пошаљеш моделу такмичи се за исти ограничени простор: системски промпт, свака порука у нити, отпремљени фајлови, дефиниције алата и одговор који модел тек треба да напише. Тај простор је контекстни прозор, мерен у токенима, а не у речима. Када разговор попуни тај простор, нешто мора да оде, а то је скоро увек најстарији садржај.
Зато асистент може савршено да цитира твоју прву поруку у петом кораку, а да нема појма шта си рекао до двестоте поруке. Текст је још на твом екрану јер га интерфејс чува, али се више не прослеђује моделу. Прозори контекста се веома разликују од производа до производа и од плана до плана, а број који компанија рекламира је капацитет модела, не нужно оно што апликација за ћаскање за потрошаче стварно учитава у сваком кораку.
како ово функционише у folk-у
Folk аутоматски компактује дуге нити, али кориснија разлика је да његова меморија није ограничена на нит. Оно што си му рекао прошлог месеца је и даље доступно следећи пут када пишеш, на којој год површини да се налазиш.
често постављана питања
Шта се дешава кад достигнеш лимит контекстног прозора?
Или асистент одбије да настави нит, или тихо избаци најстарије поруке и настави да одговара као да их никада није било. Тиха верзија је чешћа и много теже се примећује.
Да ли већи контекстни прозор значи боље одговоре?
Не аутоматски. Пажња се шири тање како контекст расте, па квалитет често опада много пре чврстог лимита. Овај ефекат се зове трулеж контекста, и зато фокусиране теме обично побеђују једну огромну.
Да ли плаћање претплате повећава контекстни прозор?
Понекад, али мање него што људи очекују. Плаћени планови обично подижу ограничења брзине порука, а не плафон по разговору, тако да надоградња често не спречава да се дуга нит попуни.