Microsoft está trabajando en un nuevo modelo de lenguaje de IA a gran escala llamado MAI-1, que podría rivalizar potencialmente con los modelos de última generación de Google, Anthropic y OpenAI, según un informe de La información. Esta es la primera vez que Microsoft desarrolla un modelo interno de IA de esta magnitud desde que invirtió más de 10 mil millones de dólares en OpenAI por los derechos para reutilizar los mode los de IA de la startup. GPT-4 de OpenAI impulsa no solo ChatGPT sino también Microsoft Copilot.
El desarrollo de MAI-1 está dirigido por Mustafa Suleyman, el exlíder de IA de Google que recientemente se desempeñó como director ejecutivo de la startup de IA Inflection antes de que Microsoft adquiriera la mayor parte del personal y la propiedad intelectual de la startup por 650 millones de dólares en marzo. Aunque MAI-1 puede basarse en técnicas aportadas por el antiguo personal de Inflection, se informa que es un modelo de lenguaje grande (LLM) completamente nuevo, según lo confirmaron dos empleados de Microsoft familiarizados con el proyecto.
Con aproximadamente 500 mil millones de parámetros, MAI-1 será significativamente más grande que los modelos anteriores de código abierto de Microsoft (como Phi-3, que cubrimos el mes pasado), lo que requerirá más potencia informática y datos de entrenamiento. Según se informa, esto coloca a MAI-1 en una liga similar a la del GPT-4 de OpenAI, que es rumoreado tener más de 1 billón de parámetros (en una configuración mixta de expertos) y muy por encima de modelos más pequeños como los modelos de 70 mil millones de parámetros de Meta y Mistral.
El desarrollo de MAI-1 sugiere un enfoque dual hacia la IA dentro de Microsoft, centrándose tanto en pequeños modelos de lenguaje ejecutados localmente para dispositivos móviles como en modelos más grandes y de última generación impulsados por la nube. Según se informa, Apple está explorando un enfoque similar. También destaca la voluntad de la compañía de explorar el desarrollo de la IA independientemente de OpenAI, cuya tecnología actualmente impulsa las funciones de IA generativa más ambiciosas de Microsoft, incluido un chatbot integrado en Windows.
Según se informa, el propósito exacto de MAI-1 no se ha determinado (ni siquiera dentro de Microsoft), y su uso más ideal dependerá de su rendimiento, según una de las fuentes de The Information. Para entrenar el modelo, Microsoft ha estado asignando un gran grupo de servidores con GPU Nvidia y recopilando datos de entrenamiento de varias fuentes, incluido texto generado por GPT-4 de OpenAI y datos públicos de Internet.
Dependiendo del progreso realizado en las próximas semanas, The Information informa que Microsoft puede obtener una vista previa de MAI-1 ya en su conferencia de desarrolladores Build a finales de este mes, según informó una de las fuentes citadas por la publicación.