Los chatbots IA como ChatGPT, Gemini, Copilot o Claude han demostrado sobradamente que pueden servir para un montón de cosas: desde escribir poemas, hasta programar, nada se les escapa de las manos. Son como la Thermomix, que lo mismo te hace un cocido que te prepara unos macarrones.
Sin embargo, no paramos de oír constantemente que el nuevo ChatGPT es X veces superior, o que ha mejorado tanto que ya es más inteligente que un estudiante universitario, y cosas similares. ¿Cuánto de verdad hay en ese tipo de afirmaciones?
Al final, cuando probamos un nuevo modelo de lenguaje (LLM) casi siempre suele decepcionar en las consultas más básicas, por mucho que nos digan que es capaz de interpretar imágenes, de leer en voz alta, consumir menos tokens en sus respuestas, o de hacer la O con un canuto. ¿Cómo podemos medir la capacidad real de un modelo de lenguaje IA?
Lo primero que tenemos que decir es que, al menos por ahora, todavía no hay ningún test oficial que nos diga lo inteligente que es “en la práctica” un generador de texto como ChatGPT. Lo que sí que podemos hacer es realizar una serie de pruebas para ver cómo se comporta ante determinados retos clave.
1- El test de la manzana
Este es uno de los exámenes más difíciles de superar para una IA. Básicamente consiste en pedirle al chatbot que genere 10 frases diferentes que terminen con la palabra manzana.
Aunque para los humanos esto puede parecer un juego de niños, las habilidades que se requieren para procesar esta petición son muy elevados para un modelo autorregresivo como ChatGPT. La IA debe tener una gestión de la anticipación, manejar diferentes estructuras del lenguaje, mantener la coherencia, manejar la comprensión y la creatividad, e incluso saber mantener un equilibrio entre la repetición y la novedad.
Incluso los modelos más avanzados de hoy en día, como GPT-4 (ChatGPT, Copilot) apenas consiguen acertar la mitad de las veces. Por no hablar de modelos anteriores, que suspenden miserablemente.
2- El acertijo del gallo
Esta es una prueba que consiste en plantear un acertijo, que nos servirá para medir la capacidad de comprensión de la IA, así como su habilidad lógica. El acertijo del gallo es un buen ejemplo de ello:
“Si un gallo pone un huevo en lo alto de una montaña y el viento sopla de este a oeste ¿hacia dónde caerá el huevo?”
Un chatbot con pocas luces te dirá que el huevo caerá hacia el oeste, pero si utilizas una IA mínimamente avanzada sabrá que los gallos no ponen huevos.
3- Pídele que te haga un resumen
Ya lo dijo Sam Altman, fundador de OpenAI: la gente utiliza ChatGPT principalmente para hacer resúmenes. Parece que es lo que mejor saben hacer, así que antes de dar el salto a una nueva IA, primero deberíamos comprobar sus habilidades en este ámbito.
La IA debe tener una elevada capacidad de síntesis y también debe ser capaz de detectar toda la información relevante de un texto, dejando la paja de lado. No es una tarea sencilla.
4- Da un paso más y pídele un resumen de un video de YouTube
Sin dejar los resúmenes de lado, ahora pídele que te resuma el contenido de un video de YouTube. Pásale la URL o enlace del video y comprueba su respuesta.
Esto te servirá para medir su capacidad de síntesis y su capacidad para separar los datos relevantes de los irrelevantes, pero también para ver si es capaz de conectarse a internet e interactuar con otros sitios web como YouTube para completar tus solicitudes.
5- Un chiste de humor negro
Aunque los modelos de lenguaje han sido entrenados con millones de datos, los programadores suelen establecer ciertos límites de uso. Esto se hace para promover un uso responsable y para evitar herir sensibilidades.
Sin embargo, esto también puede provocar un sesgo en algunas de las respuestas del chatbot, dependiendo los temas que se vayan a tratar. Pon a prueba los límites éticos del modelo de lenguaje solicitando que te cuente un chiste de humor negro.
6- Programación básica: macros para Word y Excel
Los actuales modelos de lenguaje conocen docenas de lenguajes de programación, aunque normalmente se les da mejor revisar código que crearlo ellos mismos. Para medir su capacidad en este ámbito, pídele a tu IA que desarrolle un programa básico, como por ejemplo, una macro para Word o Excel.
Las macros de Office se realizan en Visual Basic, que es un lenguaje relativamente sencillo pero muy práctico. Es poco probable que acierte a la primera, pero si obtienes un código 100% funcional sabrás que puedes pedirle cosas más complejas con un mínimo de garantías.
7- Termina con una pregunta de actualidad
Cuando los expertos dicen que las IAs generativas sufren “alucinaciones” suele ser con preguntas como ésta. Escribe un prompt pidiéndole al chatbot que te diga quién ganó cierto evento deportivo, quién es el presidente de tal país, o cual es el último iPhone del mercado.
Si la respuesta aporta un dato antiguo (o directamente inventado) sabrás que su base de conocimiento solo llega hasta cierto punto, y que además, tampoco se conecta a internet para extraer datos actualizados.
Por supuesto, también puedes preguntarle directamente hasta qué fecha está actualizada su base de conocimiento.
Quizá también te interese:
- BeatBot es una IA que genera música y letra según tus indicaciones
- ChatGPT ‘pirata’: la IA estaba dando claves para Windows 10 y 11
- Cómo enviar stickers generados por IA en Instagram
¿Tienes Telegram instalado? Recibe el mejor post de cada día en nuestro canal. O si lo prefieres, echa un vistazo a nuestro nuevo canal de WhatsApp.
Portada | Aitor Eizagirre con IA
