Τι είναι το όριο token;
Το όριο token είναι το ανώτατο όριο στο πόσα tokens (κομμάτια κειμένου περίπου τρία τέταρτα μιας λέξης το καθένα) μπορεί να επεξεργαστεί ένα μοντέλο AI σε ένα μόνο αίτημα, συμπεριλαμβανομένου τόσο του ιστορικού της συνομιλίας όσο και της δικής του απάντησης.
Τα μοντέλα δεν διαβάζουν λέξεις, διαβάζουν tokens. Ένα token είναι περίπου τα τρία τέταρτα μιας αγγλικής λέξης, οπότε χίλιες λέξεις κοστίζουν περίπου χίλια τριακόσια tokens. Η στίξη, ο κώδικας και το μη αγγλικό κείμενο κάνουν tokenization λιγότερο αποδοτικά, γι' αυτό μια σελίδα κώδικα καταναλώνει πολύ περισσότερο budget από μια σελίδα πεζού λόγου.
Το όριο ισχύει για ολόκληρο το αίτημα, όχι για το τελευταίο μήνυμά σου. Αυτή είναι η λεπτομέρεια που σχεδόν όλοι κάνουν λάθος. Μια απάντηση τριών λέξεων εξακολουθεί να προσαρτάται σε ολόκληρη την προηγούμενη συνομιλία πριν σταλεί, οπότε ένα μικροσκοπικό μήνυμα μπορεί να είναι αυτό που θα σπρώξει μια μεγάλη συνομιλία πάνω από το όριο. Οι ορισμοί εργαλείων και οι συνδεδεμένες ενσωματώσεις χρεώνονται στο ίδιο budget, γι' αυτό η απενεργοποίηση αχρησιμοποίητων εργαλείων μπορεί να ελευθερώσει πραγματικό χώρο.
πώς λειτουργεί αυτό στο folk
Το Folk παρακολουθεί το δικό του προϋπολογισμό token και συμπυκνώνει πριν τελειώσει, οπότε δεν είσαι εσύ αυτός που το παρακολουθεί. Δεν υπάρχει μετρητής να κρατάς και κανένα σημείο όπου η συζήτηση αρνείται να συνεχιστεί.
συχνές ερωτήσεις
Πόσες λέξεις είναι ένα token;
Περίπου τρία τέταρτα μιας λέξης στα αγγλικά, άρα 1,000 tokens είναι περίπου 750 λέξεις. Ο κώδικας, η στίξη και άλλες γλώσσες κάνουν tokenization λιγότερο αποδοτικά και καταναλώνουν περισσότερο budget ανά χαρακτήρα.
Γιατί λέει μέγιστο μήκος όταν το μήνυμά μου ήταν σύντομο;
Γιατί το όριο μετράει ολόκληρη τη συνομιλία, όχι μόνο το τελευταίο μήνυμά σου. Κάθε προηγούμενη ανταλλαγή ξαναστέλνεται με κάθε γύρο, οπότε ένα σύντομο μήνυμα μπορεί να είναι αυτό που σπρώχνει το σύνολο πάνω από το ταβάνι.
Τα αρχεία που ανεβάζεις μετράνε στο όριο tokens;
Ναι. Τα αρχεία, οι εικόνες, οι ορισμοί εργαλείων και οι οδηγίες συστήματος καταναλώνουν τον ίδιο προϋπολογισμό με τα μηνύματά σου, γι' αυτό ένα thread με πολλά συνημμένα γεμίζει πολύ πιο γρήγορα από ένα απλό κείμενο.