Una semana después de su último gran anuncio sobre IA, Google parece haberse eclipsado a sí mismo. El jueves pasado, Google lanzó Gemini Ultra 1.0, que supuestamente representaba el mejor modelo de lenguaje de IA que Google pudo reunir, disponible como parte del asistente de IA renombrado “Gemini” (anteriormente Bard). Hoy Google Anunciado Gemini Pro 1.5, que dice “logra una calidad comparable a la de 1.0 Ultra, mientras utiliza menos computación”.
Felicitaciones, Google, lo has logrado. Has socavado tu propio producto de IA de primer nivel. Si bien Ultra 1.0 posiblemente sea mejor que Pro 1.5 (qué estamos diciendo aquí), Ultra se presentó como un punto de venta clave de su nivel “Gemini Advanced” de su servicio de suscripción Google One. Y ahora parece mucho menos avanzado que hace siete días. Todo esto se suma al confuso cambio de nombres que Google ha estado haciendo recientemente. (Para que quede claro, aunque en realidad no aclara nada, la versión gratuita de Bard/Gemini utiliza actualmente el modelo Pro 1.0. ¿Entendido?)
Google afirma que Géminis 1.5 representa una nueva generación de LLM que “ofrece un gran avance en la comprensión del contexto a largo plazo” y que puede procesar hasta 1 millón de tokens, “logrando la ventana de contexto más larga de cualquier modelo de base a gran escala hasta el momento”. Los tokens son fragmentos de una palabra. La primera parte de la afirmación sobre la “comprensión” es polémica y subjetiva, pero la segunda parte probablemente sea correcta. Según se informa, el GPT-4 Turbo de OpenAI puede manejar 128.000 tokens en algunas circunstancias, y 1 millón es bastante más: unas 700.000 palabras. Una ventana de contexto más grande permite procesar documentos más largos y tener conversaciones más largas. (La familia de modelos Gemini 1.0 maneja un máximo de 32.000 tokens).
Pero cualquier avance técnico casi no viene al caso. ¿Qué deberíamos hacer con una empresa que acaba de anunciar al mundo su supremacía en IA la semana pasada, sólo para reemplazarla parcialmente una semana después? ¿Es un testimonio del rápido avance técnico de la IA en los laboratorios de Google, una señal de que la burocracia estaba frenando Ultra 1.0 durante demasiado tiempo, o simplemente una señal de mala coordinación entre investigación y marketing? Sinceramente no lo sabemos.
Así que volvamos a Géminis 1.5. ¿Qué es realmente y cómo estará disponible? Google implica que, al igual que 1.0 (que tenía versiones Nano, Pro y Ultra), estará disponible en varios tamaños. En este momento, Pro 1.5 es el único modelo que Google está presentando. Google dice que 1.5 usa un nuevo mezcla de expertos (MoE), lo que significa que el sistema activa selectivamente diferentes “expertos” o submodelos especializados dentro de una red neuronal más grande para tareas específicas basadas en los datos de entrada.
Google dice que Gemini 1.5 puede realizar “razonamientos complejos sobre grandes cantidades de información” y da un ejemplo de analizar una transcripción de 402 páginas de la misión del Apolo 11 a la Luna. Es impresionante procesar documentos de ese tamaño, pero es muy probable que el modelo, como cualquier modelo de lenguaje grande, confabule interpretaciones en contextos grandes. No confiaríamos en que pueda analizar en profundidad 1 millón de tokens sin errores, por lo que eso es poner mucha fe en manos de LLM poco comprendidas.
Para aquellos interesados en profundizar en los detalles técnicos, Google tiene publicó un informe técnico en Gemini 1.5 eso parece mostrar que Gemini se desempeña favorablemente frente a GPT-4 Turbo en varias tareas, pero también es importante tener en cuenta que la selección e interpretación de esos puntos de referencia pueden ser subjetivas. El informe proporciona algunas cifras sobre cuánto mejor es 1.5 en comparación con 1.0, diciendo que es un 28,9 por ciento mejor que 1.0 Pro en “Matemáticas, Ciencias y Razonamiento” y un 5,2 por ciento mejor en esas materias que 1.0 Ultra.
Pero por ahora, todavía estamos un poco sorprendidos de que Google lance este modelo en particular en este momento particular. ¿Está tratando de adelantarse a algo que sabe que podría estar a la vuelta de la esquina, como el inédito GPT-5 de OpenAI, por ejemplo? Seguiremos investigando y le informaremos lo que encontremos.
Google dice que una vista previa limitada de 1.5 Pro ya está disponible para desarrolladores a través de AI Studio y Vertex AI con una ventana de contexto de 128.000 tokens, que se ampliará hasta 1 millón de tokens más adelante. Gemini 1.5 aparentemente aún no ha llegado al chatbot Gemini (anteriormente Bard).