“BERT lleva meses de cómputo y es muy costoso, como un millón de dólares para generar ese modelo y repetir esos procesos”, dice Bahrami. “Entonces, si todos quieren hacer lo mismo, entonces es costoso, no es energéticamente eficiente, no es bueno para el mundo”.
Aunque el campo parece prometedor, los investigadores todavía están buscando formas de hacer que las técnicas de autoML sean más eficientes desde el punto de vista computacional. Por ejemplo, métodos como la búsqueda de arquitectura neuronal actualmente construyen y prueban muchos modelos diferentes para encontrar el que mejor se ajuste, y la energía que se necesita para completar todas esas iteraciones puede ser significativa.
Las técnicas de AutoML también se pueden aplicar a algoritmos de aprendizaje automático que no involucran redes neuronales, como la creación de bosques de decisiones aleatorias o máquinas de vectores de soporte para clasificar datos. La investigación en esas áreas está más avanzada, con muchas bibliotecas de codificación ya disponibles para las personas que desean incorporar técnicas de autoML en sus proyectos.
El siguiente paso es usar autoML para cuantificar la incertidumbre y abordar cuestiones de confiabilidad y equidad en los algoritmos, dice Hutter, organizador de la conferencia. En esa visión, los estándares en torno a la confiabilidad y la equidad serían similares a cualquier otra restricción del aprendizaje automático, como la precisión. Y autoML podría capturar y corregir automáticamente los sesgos encontrados en esos algoritmos antes de que se publiquen.
la busqueda continua
Pero para algo como el aprendizaje profundo, autoML aún tiene un largo camino por recorrer. Los datos utilizados para entrenar modelos de aprendizaje profundo, como imágenes, documentos y voz grabada, suelen ser densos y complicados. Se necesita un inmenso poder computacional para manejar. El costo y el tiempo para entrenar estos modelos pueden ser prohibitivos para cualquiera que no sea para los investigadores que trabajan en empresas privadas con mucho dinero.
Uno de los concursos de la conferencia pidió a los participantes que desarrollaran algoritmos alternativos energéticamente eficientes para la búsqueda de arquitectura neuronal. Es un desafío considerable porque esta técnica tiene demandas computacionales infames. Recorre automáticamente innumerables modelos de aprendizaje profundo para ayudar a los investigadores a elegir el adecuado para su aplicación, pero el proceso puede llevar meses y costar más de un millón de dólares.
El objetivo de estos algoritmos alternativos, llamados proxies de búsqueda de arquitectura neuronal de costo cero, es hacer que la búsqueda de arquitectura neuronal sea más accesible y respetuosa con el medio ambiente al reducir significativamente su apetito por la computación. El resultado tarda solo unos segundos en ejecutarse, en lugar de meses. Estas técnicas aún se encuentran en las primeras etapas de desarrollo y, a menudo, no son confiables, pero Los investigadores de aprendizaje automático predicen que tienen el potencial de hacer que el proceso de selección de modelos sea mucho más eficiente.