Google ha prometido constantemente que su modelo Gemini AI sería mejor que el GPT-4 de OpenAI, el modelo que impulsa ChatGPT Plus. Ahora que se lanzó Google Gemini, finalmente podemos ponerlo a prueba y ver cómo se compara Gemini con GPT-4.
Cuando Google lanzó Bard en marzo de 2023, había muchas razones para estar emocionado. Finalmente, el monopolio ChatGPT de OpenAI se rompería y tendríamos una competencia digna.
Pero Bard nunca fue el titán de la IA que la gente esperaba, y GPT-4 sigue siendo la plataforma de chatbot de IA generativa dominante. Ahora, Gemini de Google está aquí, pero ¿es el tan esperado modelo de IA mejor que ChatGPT?
¿Qué es el modelo de IA Gemini de Google?
Gemini es el modelo de IA generativa más capaz de Google, capaz de comprender y operar en diferentes formatos de datos, incluidos texto, audio, imágenes y videos. Es el intento de Google de crear un modelo de IA unificado aprovechando las capacidades de sus tecnologías de IA más capaces. Gemini estará disponible en tres variantes:
- Géminis Ultra: La variante más grande y capaz diseñada para manejar tareas altamente complejas.
- Géminis profesional: El mejor modelo para escalar y ofrecer alto rendimiento en una amplia gama de tareas, pero menos capaz que Ultra.
- Géminis Nano: El modelo más eficiente diseñado para la implementación de tareas en el dispositivo. Por ejemplo, los desarrolladores pueden utilizar Gemini Nano para crear aplicaciones móviles o sistemas integrados, llevando una potente IA al espacio móvil.
En su blog oficial, The Keyword, Google dice que Gemini Ultra supera al estado del arte en varios puntos de referencia. Google afirma que Gemini Ultra supera al GPT-4 líder en la industria en varios puntos de referencia clave.
Con una puntuación sin precedentes del 90,0% en el riguroso punto de referencia MMLU, Google dice que Gemini Ultra es el primer modelo que supera el rendimiento a nivel humano en esta prueba multifacética que abarca 57 sujetos.
Gemini Ultra también puede comprender, explicar y generar código de alta calidad en algunos de los lenguajes de programación más populares del mundo, incluidos Go, JavaScript, Python, Java y C++. Sobre el papel, todos estos son excelentes resultados. Pero todos estos son puntos de referencia, y los puntos de referencia no siempre cuentan la historia completa. Entonces, ¿qué tan bien se desempeña Gemini en tareas del mundo real?
Cómo utilizar la IA de Google Géminis
De las tres variantes del modelo Gemini AI, puedes empezar a utilizar Gemini Pro ahora mismo. Gemini Pro está actualmente disponible en el chatbot Bard de Google. Para usar Gemini Pro con Bard, dirígete a bard.google.com e inicia sesión con tu cuenta de Google.
Google dice que Gemini Ultra se lanzará en enero de 2024, por lo que por ahora hemos tenido que conformarnos con probar Gemini Pro contra ChatGPT.
Cómo se compara Gemini con GPT-3.5 y GPT-4
Cuando se lanza un nuevo modelo de IA, se prueba con los modelos de IA GPT de OpenAI, que generalmente se aceptan como el modelo de última generación al que se deben comparar otros modelos. Entonces, usando Bard y ChatGPT, probamos la habilidad de Gemini en matemáticas, escritura creativa, generación de código y procesamiento preciso de entradas de imágenes.
Comenzando con la pregunta matemática más fácil que se nos ocurrió, les pedimos a ambos chatbots que la resolvieran: -1 x -1 x -1.
Bardo fue el primero. Repetimos la pregunta dos veces y todos respondimos incorrectamente. Obtuvimos la respuesta al tercer intento, pero eso no cuenta.
Probamos ChatGPT ejecutándose en GPT-3.5. El primer ensayo acertó.
Para probar las habilidades de interpretación de imágenes de Géminis, le asignamos la tarea de interpretar algunos memes populares. Se negó, diciendo que no puede interpretar imágenes con personas. ChatGPT, que ejecuta GPT-4V, estaba dispuesto y era capaz de hacerlo sin problemas.
Intentamos otro intento de hacer que interpretara una imagen mientras probábamos su capacidad de codificación y resolución de problemas. Le dimos a Bard, ejecutando Gemini Pro, una captura de pantalla y le pedimos que interpretara y escribiera código HTML y CSS para replicar la captura de pantalla.
Aquí está la captura de pantalla fuente.
A continuación se muestra el intento de Gemini Pro de interpretar y replicar la captura de pantalla usando HTML y CSS.
Y aquí está el intento de GPT-4 de replicar la captura de pantalla. El resultado no es sorprendente, considerando que GPT-4 históricamente ha sido fuerte en codificación. Anteriormente demostramos el uso de GPT-4 para crear una aplicación web desde cero.
Le pedimos a Gemini Pro que creara un poema sobre Tesla (la marca de vehículos eléctricos). Mostró mejoras marginales con respecto a pruebas anteriores que hemos realizado en el pasado. Aquí está el resultado:
En este punto, pensamos que sería más apropiado comparar los resultados con el GPT-3.5 en lugar del GPT-4 sobrealimentado. Entonces, le pedimos a ChatGPT que ejecuta GPT-3.5 que creara un poema similar.
Puede que sea una elección personal, pero la visión de Gemini Pro parece mejor. Pero te dejaremos ser el juez.
¿Es Géminis mejor que ChatGPT?
Antes de que Google lanzara Bard, pensamos que sería la competencia ChatGPT que estábamos esperando, pero no lo fue. Ahora, Gemini está aquí y, hasta ahora, Gemini Pro no parece el modelo que le dará a ChatGPT el golpe de gracia.
Google dice que Gemini Ultra será mucho mejor. Realmente esperamos que así sea y que cumpla o supere las afirmaciones hechas en el anuncio de Gemini Ultra. Pero hasta que veamos y probemos la mejor versión de la herramienta de IA generativa de Google, no sabremos si puede desbancar a otros modelos de IA competidores. Tal como están las cosas, GPT-4 sigue siendo el campeón indiscutible del modelo de IA.