Los datos de entrenamiento de tokens chinos de GPT-4o están contaminados por spam y sitios web pornográficos
El nuevo tokenizador tiene 200.000 tokens en total y alrededor del 25% están en idiomas distintos del inglés, dice Deedy Das, inversor en IA de Menlo Ventures. Usó filtros de idioma para contar la cantidad…
