OctoML, una startup fundada por el equipo detrás de Apache TVM El proyecto de pila de compiladores de aprendizaje automático anunció hoy que ha recaudado una ronda Serie A de $ 15 millones dirigida por Amplify, con la participación de Madrone Ventures, que lideró su ronda inicial de $ 3.9 millones. La idea central detrás de OctoML y TVM es utilizar el aprendizaje automático para optimizar los modelos de aprendizaje automático para que puedan ejecutarse de manera más eficiente en diferentes tipos de hardware.
"Ha habido bastante progreso en la creación de modelos de aprendizaje automático", CEO y OctoML Universidad de Washington El profesor Luis Ceze me lo contó. "Pero gran parte del dolor se ha trasladado una vez que tienes un modelo, ¿cómo lo aprovechas realmente en el borde y en las nubes?"
Ahí es donde entra en juego el proyecto TVM, que fue lanzado por Ceze y sus colaboradores en la Escuela de Ciencias de la Computación e Ingeniería Paul G. Allen de la Universidad de Washington. Ahora es un proyecto de incubación de Apache y porque ha visto bastante uso y apoyo de importantes empresas como AWS,
Ceze describió a TVM como un sistema operativo moderno para modelos de aprendizaje automático. "Un modelo de aprendizaje automático no es código, no tiene instrucciones, tiene números que describen su modelado estadístico", dijo. "Hay bastantes desafíos para que funcione de manera eficiente en una plataforma de hardware dada porque hay literalmente miles y miles de millones de formas en las que puede asignar un modelo a objetivos de hardware específicos. Elegir el correcto que funcione bien es una tarea importante que generalmente requiere intuición humana ”.
Y ahí es donde entran hoy OctoML y su producto SaaS “Octomizer”, que también anunció. Los usuarios pueden cargar su modelo al servicio y lo optimizará, comparará y empaquetará automáticamente para el hardware que especifique y en el formato que desee. . Para usuarios más avanzados, también existe la opción de agregar la API del servicio a sus canalizaciones de CI / CD. Estos modelos optimizados se ejecutan significativamente más rápido porque ahora pueden aprovechar completamente el hardware en el que se ejecutan, pero lo que a muchas empresas tal vez les importe aún más es que estos modelos más eficientes también les cuestan menos ejecutarlos en la nube, o que pueden use hardware más barato con menos rendimiento para obtener los mismos resultados. Para algunos casos de uso, TVM ya produce ganancias de rendimiento 80x.
Actualmente, el equipo de OctoML consta de unos 20 ingenieros. Con este nuevo financiamiento, la compañía planea expandir su equipo. Esas contrataciones serán principalmente ingenieros, pero Ceze también enfatizó que quiere contratar a un evangelista, lo cual tiene sentido, dada la herencia de código abierto de la compañía. También señaló que si bien el Octomizer es un buen comienzo, el objetivo real aquí es construir una plataforma MLOps más completa. "La misión de OctoML es construir la mejor plataforma del mundo que automatice MLOps", dijo.