Descargo de responsabilidad: Las opiniones expresadas a continuación pertenecen únicamente al autor.
En los últimos seis meses desde el innovador debut de la tercera iteración de ChatGPT, nos hemos acostumbrado a ver a la empresa detrás de él, OpenAI, y su bot como un modelo del futuro en los medios.
El dinero comenzó a fluir cuando Microsoft aumentó su apuesta de $10 mil millones en OpenAI a principios de este año.
Mientras tanto, Alphabet/Google, que solía ser considerado uno de los principales candidatos en la carrera, se ha convertido en objeto de bromas públicas sobre el lanzamiento fallido y apresurado de Bard AI, ampliamente visto como evidencia de cómo el gigante de un billón de dólares sorprende a la competencia. – y podría – ve todo su modelo de negocio (basado en el acceso a la información a través de google.com) potencialmente amenazado.
Pocos siquiera pensaron que Mark Zuckerberg, distraído por su obsesión con el metaverso, podría convertirse en un gran contendiente… hasta que sucedió algo que puso la mesa de cabeza.
¿Golpe de genialidad o suerte?
Hace unos días, se publicó en un servidor público de Discord un documento interno titulado “No tenemos foso, y Weder sí OpenAI”, escrito por un investigador de Google, lo que generó un debate sobre el futuro de la IA, especialmente como una tecnología cerrada. vigilado de cerca por las megacorporaciones.
Si bien obviamente esta no es la postura oficial de toda la empresa, tiene mucho sentido, especialmente cuando consideramos dónde están todos hoy y dónde se han producido hasta la fecha la mayoría de las innovaciones del mundo real en el despliegue masivo de IA.
“Miramos mucho por encima de nuestros hombros en OpenAI. ¿Quién cruzará el próximo hito? ¿Cuál será el siguiente paso?
Pero la verdad incómoda es No estamos en condiciones de ganar esta carrera armamentista, y OpenAI tampoco. Mientras discutimos, una tercera facción come tranquilamente nuestro almuerzo.
Por supuesto que estoy hablando de código abierto. En pocas palabras, nos superan. Las cosas que consideramos ‘grandes problemas abiertos’ ahora están resueltas y en manos de la gente”.
Si bien nuestros modelos todavía tienen una pequeña ventaja en términos de calidad, la brecha se está cerrando sorprendentemente rápido. Los modelos de código abierto son más rápidos, más personalizables, más privados y, libra por libra, más potentes.
Están haciendo cosas a $ 100 y $ 13 mil millones con las que estamos luchando a $ 10 millones y $ 540 mil millones. Y eso en semanas, no meses. Esto tiene un profundo impacto en nosotros:
- No tenemos una salsa secreta. Nuestra mayor esperanza es aprender y colaborar con las actividades de otros fuera de Google. Deberíamos priorizar la habilitación de integraciones 3P.
- La gente no paga por un modelo restringido cuando las alternativas gratuitas y sin restricciones son cualitativamente comparables. Deberíamos considerar dónde reside realmente nuestro valor añadido.
- Los modelos gigantes nos ralentizan. A la larga, los mejores modelos son aquellos que se pueden iterar rápidamente. Deberíamos hacer pequeñas variantes más que como una ocurrencia tardía ahora que sabemos lo que es posible en el régimen de parámetros <20B.
– Google “No tenemos un foso y OpenAI tampoco”
En pocas palabras, la comunidad de código abierto ha podido iterar rápidamente en función de la información disponible, mucho más rápido que OpenAI y Google, que se basan en modelos internos extremadamente grandes y complejos a los que nadie más tiene acceso.
Pero, ¿cómo fue eso posible? ¿Cómo podría un grupo de hackers nerds superar a gigantes multimillonarios que habían pasado años desarrollando sus modelos de lenguaje? No podrían haber hecho todo desde cero, ¿verdad? ¿Tienes que tener algo con lo que trabajar primero?
Sí, lo hicieron. El propio modelo de lenguaje de Meta se filtró en 4chan en marzo de 2023.
Ya sea que la filtración haya sido una decisión consciente de la empresa o un ataque (ya sea interno o externo), le dio a la comunidad global acceso de primera mano al código fuente de un modelo patentado, incluso si estaba un poco subdesarrollado en ese momento.
En dos meses, los entusiastas llenaron los espacios por sí mismos.
“A principios de marzo, la comunidad de código abierto consiguió su primer modelo base verdaderamente poderoso cuando Metas LLaMA se filtró al público. No tenía instrucción ni voto de conversación ni RLHF. Sin embargo, la comunidad entendió de inmediato la importancia de lo que se les había dado.
Siguió una tremenda ola de innovación, con solo unos pocos días entre los principales desarrollos. Aquí estamos, apenas un mes después, y hay sabores con ajuste de instrucciones, cuantificación, mejoras de calidad, puntaje humano, multimodalidad, RLHF, etc., muchos de los cuales se construyen uno encima del otro.
Lo más importante es que han resuelto el problema de escalado hasta el punto en que cualquiera puede jugar. Muchas de las nuevas ideas provienen de la gente común.
La barrera de entrada para la capacitación y la experimentación se ha reducido del rendimiento general de una gran organización de investigación a una persona, una noche y una computadora portátil robusta”.
– Google “No tenemos un foso y OpenAI tampoco”
Todos pueden hacer una valiosa contribución hoy, y la comunidad decide por sí misma qué funciona y qué no.
Este es el mismo camino que Stable Diffusion ha estado siguiendo durante el último año, ya que es el único modelo de generación de imágenes de código abierto convencional que cualquiera puede descargar y modificar en su propia computadora.
El resultado ha sido cientos de sitios web, mercados y comunidades donde miles, si no millones, de personas están trabajando para entrenar previamente sus propios modelos a una escala y un ritmo que ninguna organización por sí sola podría.
Mientras tanto, OpenAI ha dejado algo atrás a Dall-E 2 y el único competidor de código cerrado, Midjourney, es el último en contraatacar, tratando de superar a la competencia de medio mundo que trabaja en sus propias mejoras para Stable Diffusion. laboral .
Después de la filtración, Meta, voluntariamente o no, logró colocarse a ambos lados de ese espectro en el ámbito de los modelos de lenguaje.
Obviamente, se trata de una enorme empresa multimillonaria con fines de lucro que emplea a decenas de miles de su propia gente y que, sin embargo, disfruta de millones de horas-hombre disponibles de forma totalmente gratuita por parte de la comunidad mundial de desarrolladores y que se basa incansablemente en su tecnología.
“Debido a que el modelo filtrado era suyo, efectivamente acumularon la mano de obra gratuita de todo un planeta. Dado que la mayoría de las innovaciones de código abierto se basan en su arquitectura, nada les impide incorporarlas directamente en sus productos.
El valor de poseer el ecosistema no puede exagerarse. Google mismo ha utilizado este paradigma con éxito en sus ofertas de código abierto como Chrome y Android. Al ser dueño de la plataforma en la que ocurre la innovación, Google se consolida como un líder de pensamiento y facilitador, y obtiene la capacidad de dar forma a la narrativa sobre ideas más grandes que él mismo.
Cuanto más controlamos nuestros modelos, más atractivas hacemos las alternativas abiertas. Tanto Google como OpenAI han adoptado una postura defensiva frente a los patrones de publicación que les permiten mantener un control estricto sobre cómo se utilizan sus modelos. Pero este control es una ficción. Cualquiera que desee utilizar LLM para fines no autorizados puede simplemente elegir entre los modelos disponibles gratuitamente”.
– Google “No tenemos un foso y OpenAI tampoco”
Si Zuckerberg (o alguien cercano a él) no planeó esto, es posible que haya ganado accidentalmente un boleto de lotería, uno que podría ser de mucho más valor que su éxito con Facebook.
¿El nuevo Google?
Los paralelismos con la forma en que Google se convirtió en el gigante que es hoy en día son bastante sorprendentes.
Ha crecido tanto al facilitar el crecimiento orgánico de las plataformas. Ha proporcionado herramientas útiles a millones de personas en gran medida de forma gratuita, comprando su lealtad en el proceso y convirtiéndose en un intermediario rentable, ofreciendo servicios de valor añadido entre las partes interesadas (empezando por la más obvia: la publicidad).
Controla la mayor parte del mercado mundial de sistemas operativos móviles precisamente por la naturaleza de código abierto de Android, que innumerables empresas (grandes y pequeñas) han adquirido, en el estanque que Google controla y luego puede monetizar (ya sea a través de publicidad o servicios). como su propia tienda de aplicaciones, computación en la nube, soluciones empresariales, etc.).
¿Cuántas personas usarían el motor de búsqueda de Google si hubiera una tarifa por usarlo? ¿Se habría convertido Android en el estándar global para el 80 por ciento de los teléfonos inteligentes? ¿Hubiera sido capaz YouTube de monopolizar los videos como lo hace hoy?
El modelo de lenguaje filtrado de Meta, aunque actualmente es inferior a los que utilizan ChatGPT o Bard, está comenzando a convertirse en el estándar para todos los manipuladores.
Y si bien la filtración fue “técnicamente” ilegal y nadie puede comercializar servicios basados en algo adquirido en violación de la ley, Meta solo necesita establecer su propio mercado regulado para capitalizarlo.
Construir un hogar para todas estas innovaciones de base donde puedan monetizarse bajo una sola bandera mientras Mark Zuckerberg se embolsa la comisión.
Por el contrario, la empresa es libre de seleccionar las soluciones más prometedoras e integrarlas en sus propios productos, ya que todas comparten la tecnología subyacente.
Mientras tanto, OpenAI y Google están ocupados desarrollando todo ellos mismos e iterando a un ritmo mucho más lento sin la participación de la comunidad.
El valor del secreto en este negocio se exagera enormemente, ya que la gente se va todo el tiempo para trabajar para la competencia. No hay ideas absolutamente únicas y con tantas mentes inteligentes, todas las empresas eventualmente crecerán juntas.
Los ganadores no están determinados por quién lo hizo mejor, sino por quién puede prevalecer en el concurso de popularidad.
Esta es una historia que todos conocemos muy bien. Google no fue el primer motor de búsqueda, Facebook no fue la primera red social, Apple no fue el primer fabricante de computadoras, Microsoft no escribió el primer sistema operativo, etc. ¿Por qué debería ser diferente con la IA?
Por supuesto, Meta no puede quedarse de brazos cruzados y aprovechar esta oportunidad inesperada. Pero si Zuckerberg puede desviar las obscenas sumas de dinero del Metaverso que nadie quiere y hacia la IA de la que el mundo entero puede depender pronto, entonces puede ser suficiente para ayudarlo a lograr la gran victoria que tanto desea. estado buscando desesperadamente en los últimos años.
Crédito de la imagen seleccionada: generada con Midjourney