Τι είναι ένα context window;
Ένα context window είναι η μέγιστη ποσότητα κειμένου που μπορεί να κρατήσει ένα μοντέλο AI στην ενεργή μνήμη ταυτόχρονα - κάθε μήνυμα, αρχείο και ορισμός εργαλείου στη συνομιλία προσμετράται σε αυτό.
Ό,τι στέλνεις σε ένα μοντέλο ανταγωνίζεται για τον ίδιο πεπερασμένο χώρο: το system prompt, κάθε μήνυμα στο νήμα, τα αρχεία που ανεβάζεις, τους ορισμούς εργαλείων και την απάντηση που πρόκειται να γράψει το μοντέλο. Αυτός ο χώρος είναι το context window, μετρημένο σε tokens αντί για λέξεις. Όταν μια συνομιλία το γεμίζει, κάτι πρέπει να φύγει, και είναι σχεδόν πάντα το παλαιότερο περιεχόμενο.
Γι' αυτό ένας βοηθός μπορεί να παραθέσει τέλεια το πρώτο σου μήνυμα στη στροφή πέντε και να μην έχει ιδέα τι είπες στη στροφή διακόσια. Το κείμενο είναι ακόμα στην οθόνη σου επειδή η διεπαφή το αποθηκεύει, αλλά δεν τροφοδοτείται πλέον στο μοντέλο. Τα context windows ποικίλλουν πολύ ανά προϊόν και πλάνο, και ο αριθμός που διαφημίζει μια εταιρεία είναι η χωρητικότητα του μοντέλου, όχι απαραίτητα αυτό που φορτώνει πραγματικά η εφαρμογή συνομιλίας καταναλωτή σε κάθε στροφή.
πώς λειτουργεί αυτό στο folk
Το Folk συμπιέζει αυτόματα τα μεγάλα threads, αλλά η πιο χρήσιμη διαφορά είναι ότι η μνήμη του δεν περιορίζεται σε ένα thread. Αυτό που του είπες τον προηγούμενο μήνα είναι ακόμα διαθέσιμο την επόμενη φορά που θα στείλεις μήνυμα, σε όποια επιφάνεια χρησιμοποιείς.
συχνές ερωτήσεις
Τι συμβαίνει όταν φτάνεις στο όριο του context window;
Ή ο βοηθός αρνείται να συνεχίσει το νήμα, ή πετάει σιωπηλά τα παλιότερα μηνύματα και συνεχίζει να απαντάει σαν να μην ήταν ποτέ εκεί. Η σιωπηλή εκδοχή είναι πιο συνηθισμένη και πολύ πιο δύσκολο να την προσέξεις.
Ένα μεγαλύτερο context window σημαίνει καλύτερες απαντήσεις;
Όχι αυτόματα. Η προσοχή αραιώνει όσο μεγαλώνει το context, οπότε η ποιότητα συχνά πέφτει πολύ πριν το σκληρό όριο. Αυτό το φαινόμενο λέγεται context rot, και γι' αυτό οι εστιασμένες συζητήσεις συνήθως κερδίζουν μία τεράστια.
Η πληρωμή για συνδρομή αυξάνει το παράθυρο περιβάλλοντος;
Μερικές φορές, αλλά λιγότερο από ό,τι περιμένει ο κόσμος. Τα συνδρομητικά πλάνα συνήθως αυξάνουν τα όρια ρυθμού μηνυμάτων παρά το ανώτατο όριο ανά συνομιλία, οπότε η αναβάθμιση συχνά δεν εμποδίζει ένα μεγάλο νήμα να γεμίσει.