Si llevas un tiempo usando ChatGPT te habrás dado cuenta de que la IA no puede leer aquellos textos que son demasiado largos. Así mismo, el chatbot tampoco puede escribir textos muy largos por mucho que se lo pidamos, ya que cuenta con una limitación técnica que le impide sobrepasar un determinado umbral máximo de caracteres.
Para que te hagas una idea, si introduces un texto de entrada demasiado largo, verás un error como este que ves justo aquí abajo.
A continuación, vamos a intentar aclarar cómo funciona el sistema de tokens en ChatGPT y cómo afecta al número máximo de palabras que podemos emplear en nuestros prompts y en las propias respuestas que recibimos por parte de la inteligencia artificial de OpenAI.
Cómo funciona el límite de caracteres en los textos de entrada y salida en ChatGPT
Si estamos usando la versión estándar y gratuita de ChatGPT, es decir, la que utiliza el modelo GPT-3.5 debemos tener en cuenta que los prompts o textos de entrada tienen un límite máximo de 4096 tokens.
Generalmente un token equivale a una palabra, aunque dependiendo de la palabra, su complejidad y longitud, puede que necesitemos más de un token para representar esa palabra. Este coste también depende del idioma que estemos utilizando: en inglés normalmente un token equivale a una palabra, aunque otros idiomas que utilicen palabras más intrincadas pueden requerir dos tokens por palabra.
Por tanto, podemos asumir que en un prompt o texto de entrada para ChatGPT podemos utilizar un máximo aproximado de 4096 palabras. Este mismo sistema también se aplica a las respuestas de ChatGPT, con ese límite máximo de 4096 tokens o palabras por cada respuesta.
¿Se puede extender el límite máximo de 4096 palabras de ChatGPT?
Esta limitación de 4096 palabras o tokens ha sido establecida manualmente para GPT-3.5. Al fin y al cabo, se trata de la versión gratuita de ChatGPT, y un mayor número de palabras también requiere un mayor consumo de recursos para un servicio que se está ofreciendo a coste cero para el usuario.
En este sentido, hay varias soluciones que podemos aplicar para intentar sobrepasar ese límite máximo de palabras, tanto en las entradas como en el propio texto generado por ChatGPT.
1- Pásate a ChatGPT Plus
Esta primera solución es la más obvia de todas. Si quieres más margen para tus conversaciones con la IA, contrata la versión premium de la aplicación. ChatGPT Plus funciona con el modelo GPT-4, que es más avanzado y su límite de tokens duplica al de su versión gratuita, con un máximo de 8.192 tokens tanto de entrada (prompts) como de salida (respuestas).
2- Utiliza prompts resumidos y pide al chat que continúe
La verdad es que 4.000 palabras para un prompt es un límite bastante extenso. De todas maneras, si necesitas analizar un texto muy largo lo mejor que puedes hacer es dividir el texto en bloques y pedirle a ChatGPT que haga un resumen de cada uno de los bloques. Después, una vez hayas reducido el texto considerablemente podrás meterlo dentro de un solo prompt sin superar el límite máximo.
En lo que respecta a las respuestas, si ChatGPT no aporta toda la información necesaria en una única respuesta, una vez haya finalizado pídele que continúe en el siguiente prompt. Es un truco muy sencillo, pero la mayoría de veces funciona perfectamente.
3- Comunícate en otro idioma
Este método no está al alcance de todo el mundo, pero hay algunos idiomas que son más fáciles de procesar por ChatGPT y por tanto consumen menos tokens. Idiomas como el mandarín o el coreano son el ejemplo más claro, ya que utilizan un menor número de caracteres.
Si hablas algún otro idioma, prueba y compara los resultados para ver si te merece la pena escribir tus prompts en español, o es mejor aplicar ese cambio en el lenguaje.
4- Cambia de aplicación
El límite de caracteres para los prompts depende de la implementación específica de la plataforma o aplicación que estés usando. Por tanto, si el límite que te ofrece ChatGPT no cumple con tus necesidades siempre puedes emplear un chatbot alternativo que permita usar más tokens que ChatGPT.
Ahí está por ejemplo el modelo más avanzado de ChatGPT, llamado GPT-4 32K y que acepta 32.768 tokens, aunque esta versión de ChatGPT todavía no está disponible a nivel comercial. El chatbot que sí está disponible, sin embargo, es Claude.ai, un generador de textos muy parecido a ChatGPT que acepta prompts de una longitud de hasta 100.000 tokens.
Claude.ai es un chatbot desarrollado por algunos extrabajadores de OpenAI, y aunque la aplicación todavía está en fase beta, ya se puede probar y por el momento además es gratuita.
Quizá te interese: Claude 2, el ‘ChatGPT killer’ de los exempleados de OpenAI
¡Nos leemos en el siguiente post!
