Pero pocas personas dominaban el idioma lo suficiente como para transcribir manualmente el audio. Inspirándose en asistentes de voz como Siri, Mahelona comenzó a investigar el procesamiento del lenguaje natural. “Enseñar a la computadora a hablar maorí se volvió absolutamente necesario”, dice Jones.
Pero Te Hiku se enfrentó al problema del huevo y la gallina. para construir un el idioma modelo de reconocimiento de voz, necesitaba una gran cantidad de audio transcrito. Para transcribir el audio, necesitaba los altavoces avanzados cuya pequeña cantidad estaba tratando de compensar en primer lugar. Sin embargo, había muchos hablantes principiantes e intermedios que podían leer el idioma
Entonces, Jones y Mahelona, junto con la directora de operaciones de Te Hiku, Suzanne Duncan, idearon una solución inteligente: en lugar de transcribir el audio existente, pedirían a las personas que se grabaran leyendo una serie de oraciones diseñadas para capturar la gama completa de sonidos en el idioma. Para un algoritmo, el conjunto de datos resultante cumpliría la misma función. De esos miles de pares de oraciones habladas y escritas, aprendería a reconocer el idioma
El equipo anunció una competencia. Jones, Mahelona y Duncan se pusieron en contacto con todos los grupos de la comunidad maorí que pudieron encontrar, incluidos los tradicionales. kapa haka
Toda la comunidad se movilizó. La competencia se calentó. Un miembro de la comunidad maorí, Te Mihinga Komene, educador y defensor del uso de tecnologías digitales para revitalizar el idiomagrabó 4.000 frases solo.
El dinero no fue el único motivador. La gente aceptó la visión de Te Hiku y confió en ella para salvaguardar sus datos. “Te Hiku Media dijo: ‘Lo que nos das, estamos aquí como guardián [guardians]. Nosotros nos ocupamos de eso, pero usted sigue siendo dueño de su audio’”, dice Te Mihinga. “Eso es importante. Esos valores definen quiénes somos como maoríes”.
En 10 días, Te Hiku acumuló 310 horas de pares de voz y texto de unas 200 000 grabaciones realizadas por aproximadamente 2500 personas, un nivel de compromiso sin precedentes entre los investigadores de la comunidad de IA. “Nadie podría haberlo hecho excepto una organización maorí”, dice Caleb Moses, un científico de datos maorí que se unió al proyecto después de conocerlo en las redes sociales.
La cantidad de datos aún era pequeña en comparación con las miles de horas que normalmente se usan para entrenar modelos en inglés, pero fue suficiente para comenzar. Utilizando los datos para iniciar un modelo de código abierto existente de la Fundación Mozilla, Te Hiku creó su primer el idioma modelo de reconocimiento de voz con un 86% de precisión.