¿Qué es un límite de tokens?
Un límite de tokens es el tope de cuántos tokens, pedazos de texto de más o menos tres cuartos de palabra cada uno, puede procesar un modelo de IA en una sola solicitud, contando tanto el historial de la conversación como su propia respuesta.
Los modelos no leen palabras, leen tokens. Un token equivale más o menos a tres cuartos de una palabra en inglés, así que mil palabras cuestan cerca de mil trescientos tokens. La puntuación, el código y el texto en otros idiomas distintos al inglés se tokenizan de forma menos eficiente, por eso una página de código consume mucho más presupuesto que una página de prosa.
El límite aplica a toda la solicitud, no a tu último mensaje. Ese es el detalle en el que casi todos se equivocan. Una respuesta de tres palabras igual se agrega a toda la conversación anterior antes de enviarse, así que un mensaje chiquito puede ser el que haga desbordar un hilo largo. Las definiciones de herramientas y las integraciones conectadas se cobran del mismo presupuesto, por eso desactivar las herramientas que no usas puede liberar espacio real.
cómo funciona esto en folk
Folk vigila su propio presupuesto de tokens y compacta antes de quedarse sin espacio, así que no tienes que estar al pendiente. No hay contador que cuidar ni un momento en que la conversación se niegue a continuar.
preguntas frecuentes
¿Cuántas palabras es un token?
Más o menos tres cuartos de una palabra en inglés, así que 1,000 tokens son unas 750 palabras. El código, la puntuación y otros idiomas se tokenizan de forma menos eficiente y consumen más presupuesto por carácter.
¿Por qué dice que llegué a la longitud máxima si mi mensaje era corto?
Porque el límite cuenta toda la conversación, no tu último mensaje. Cada intercambio anterior se vuelve a enviar en cada turno, así que un mensaje corto puede ser el que pase el total del tope.
¿Los archivos que subo cuentan para el límite de tokens?
Sí. Los archivos, imágenes, definiciones de herramientas e instrucciones del sistema consumen el mismo presupuesto que tus mensajes, por eso un hilo con varios adjuntos se llena mucho más rápido que uno de solo texto.