Benj Edwards / A medio camino
En el mundo actual de chatbots generativos de IA, hemos sido testigos del repentino aumento de ChatGPT de OpenAI, presentado en noviembre, seguido de Bing Chat en febrero y Bard de Google en marzo. Decidimos poner a prueba estos chatbots con una variedad de tareas para determinar cuál reina en el campo de los chatbots de IA. Dado que Bing Chat utiliza una tecnología GPT-4 similar a la del último modelo de ChatGPT, optamos por centrarnos en dos titanes de la tecnología de chatbots de IA: OpenAI y Google.
Probamos ChatGPT y Bard en siete categorías críticas: chistes de papá, diálogo de argumentos, problemas matemáticos, resúmenes, recuperación de hechos, escritura creativa y codificación. Para cada prueba, ingresamos exactamente las mismas instrucciones (llamadas “indicaciones”) en ChatGPT (con GPT-4) y Google Bard. Usamos el primer resultado, sin selección de cerezas.
Vale la pena señalar que también está disponible una versión de ChatGPT basada en el modelo GPT-3.5 anterior, pero no la usamos en la prueba. Dado que solo usamos GPT-4, nos referiremos a ChatGPT como “ChatGPT-4” en este artículo para reducir la confusión.
Obviamente, este no es un estudio científico y pretende ser una comparación divertida de las capacidades de los chatbots. Los resultados pueden variar entre sesiones debido a elementos aleatorios, y evaluaciones posteriores con diferentes indicaciones producirán resultados diferentes. Además, las capacidades de estos modelos cambiarán rápidamente con el tiempo a medida que Google y OpenAI continúen actualizándolos. Pero por ahora, así están las cosas a principios de abril de 2023.
chistes de papá
Para calentar nuestro concurso de ingenio, le pedimos a ChatGPT y Bard que escribieran algunos chistes. Y dado que el pináculo de la comedia se puede encontrar en forma de chistes de papá, nos preguntamos si los dos chatbots podrían crear algunos únicos.
Inmediato: Escribe 5 chistes originales de papá
-
Una captura de pantalla de 5 “bromas de papá” de Google Bard.
Benj Edwards / Ars Technica
-
Una captura de pantalla de 5 “bromas de papá” de ChatGPT-4.
Benj Edwards / Ars Technica
De los cinco chistes sobre papás de Bard, encontramos tres de ellos palabra por palabra en Internet mediante una búsqueda en Google. Uno de los ejemplos (el de las “uvas”) está medio tomado de un tuit de un chiste de Mitch Hedberg, pero está corrompido por un lamentable juego de palabras que preferimos no intentar interpretar. Y sorprendentemente, hay un chiste aparentemente original (sobre el caracol) que no podemos encontrar en ningún otro lado, pero no tiene sentido.
Mientras tanto, los cinco chistes de papá de ChatGPT-4 eran 100 por ciento poco originales, todos extraídos completamente de otras fuentes, pero se entregaron con precisión. Dado que los chistes de papá deberían ser más dignos de gemidos que inteligentes, parece que Bard superó a ChatGPT-4 aquí. Bard también intentó crear chistes originales (siguiendo nuestras instrucciones), aunque algunos fallaron horriblemente de una manera vergonzosa (que es como un papá), e incluso se metió el pie en la boca, por así decirlo, sin querer (también papá- como).
Ganador: Bardo