Cuando Elon Musk dijo que los autos Tesla son computadoras con ruedas, se olvidó de mencionar que corren en Linux. También hacen muchos registros. Según Jason Hughes, de 057 Technology, más de lo que deberían:
“La información registrada aquí es prácticamente inútil en los vehículos de producción. A menos que un desarrollador tenga una razón específica para habilitarlo, no sirve al cliente. Tesla también raramente descarga estos registros ”.
¿Por qué estamos diciendo esto? Porque puede terminar pagando más de $ 1,800 para reparar su Tesla debido a una tarjeta de memoria flash eMMC barata.
***ACTUALIZAR: El CEO de Tesla, Elon Musk, piensa que esto debería ser un problema mucho menor ahora. Mira el tweet incrustado a continuación:
9 9 Fotos
Los informes sobre el problema provienen de tres tiendas diferentes en tres lugares muy diferentes. 057 Technology es de Hickory, Carolina del Norte. Robert Cotran y su socio Jean-Claude Thibault trabajan en el tema en Cotran Consulting en Candiac, Québec. Él amablemente nos proporcionó las imágenes de MCU para este artículo. Pete Gruber, de Gruber Motors, merecía toda una serie de videos de Motor fuera de especificaciones de lo que hablamos aquí Él está en Phoenix, Arizona.
Los tres nos ayudaron a explicar el fracaso. Más que eso, pretenden advertir a los propietarios de Tesla que el reloj los está marcando a todos. Independientemente de su automóvil, el registro requerirá reemplazar su MCU tarde o temprano.
Hughes dijo InsideEVs:
“El problema principal es que esta escritura excesiva del archivo de registro causa el desgaste del flash eMMC. La memoria flash generalmente solo está clasificada para decenas de miles de ciclos de escritura. Lo que sucede es que la memoria flash comienza a fallar cuando las escrituras ya no pueden completarse. Cuando falla un bloque, partes del firmware también pueden volverse ilegibles, lo que lleva a un mal funcionamiento o falla de la MCU por completo ".
Pregúntele a Cotran cuál es el problema: obtendrá la misma respuesta.
“El sistema de archivos en MCUv1 se maneja en un chip flash eMMC basado en NAND. Aunque estos son de estado sólido y excelentes para uso automotriz, hay un inconveniente bastante serio. Cada bit de memoria en un chip flash solo se puede escribir un número limitado de veces antes de que los datos se corrompan, y ese bit ya no puede almacenar de manera confiable un 0 o un 1. "
Gruber es aún más directo con los diagnósticos:
“Tesla seleccionó un chip flash que no puede manejar las funciones constantes de lectura / escritura. Estos chips han sido reemplazados por una versión más robusta ”.
Si aún no entendió lo que sucede, cada Tesla tiene una MCU o unidad de control principal. La versión 1, también llamada MCUv1, equipó las unidades Tesla Model S y Model X hasta 2018. Cuando falla, el automóvil simplemente se detiene, ya que estos hilos TeslaMotorsClub.com y en Foro oficial de Tesla espectáculo.
Entre sus muchos componentes estaba una CPU basada en ARM nVidia Tegra. Tesla solda el chip de memoria flash eMMC de 8 GB a la misma placa de la CPU.
Cuando los autos comenzaron a venderse, a principios de la década de 2010, el registro no era un problema. "Sin embargo, desde el lanzamiento inicial, el tamaño de la imagen del firmware de Tesla ha pasado de unos 300 MB al tamaño máximo de 1 GB", dijo Hughes.
En otras palabras, el firmware ahora compite con los registros por espacio en el chip eMMC. Cuando la escritura del registro usa un sector del chip, usa un mecanismo llamado nivelación de desgaste. Cotran explica el proceso:
“La arquitectura del chip flash eMMC intenta mitigar este problema utilizando una técnica de nivelación de desgaste. Extiende las operaciones de escritura en todo el chip para garantizar que no se escriban bits específicos con mucha frecuencia, esencialmente evitando la limitación de escritura ”.
Mira lo que Hughes tiene que decir sobre esto:
“El controlador flash distribuye el desgaste de manera transparente y sin problemas a través del chip utilizando secciones no utilizadas de la memoria flash para extender el número efectivo de ciclos de escritura disponibles. Con Tesla utilizando hoy cerca del 100 por ciento de la memoria flash, no queda espacio libre para nivelar el desgaste adicional para compensar la excesiva escritura de registros ”.
En pocas palabras, llega un momento en que falla la memoria flash eMMC. “Si los datos se cambian en el chip con demasiada frecuencia y en grandes cantidades, la nivelación del desgaste solo puede hacer mucho y en un punto los datos comienzan a corromperse. Puede perder datos o la funcionalidad principal puede comenzar a fallar dependiendo de dónde ocurra la corrupción ", dijo Cotran InsideEVs.
Cuando eso ocurre, Tesla simplemente reemplaza todo el MCU. Si su automóvil todavía está bajo el período de garantía, eso es gratis. Si la cobertura ya no es válida, deberá pagar la factura.
Hughes dijo InsideEVs:
“A $ 1800 por un reemplazo, arreglar esto en un centro de servicio Tesla fuera de garantía no es barato. Dada la naturaleza de la falla, por lo general lleva años suceder … Aunque probablemente sea menor en los autos más cercanos al final de la producción de MCUv1, alrededor de Q2'17 hasta Q1'18. Para empezar, habrían comenzado la vida con menos capacidad de nivelación del desgaste, debido al uso del flash al 100 por ciento ".
Ese sería el precio de un reemplazo en los Estados Unidos. Le hemos preguntado a Tesla si eso es correcto, pero la compañía no regresó hasta que publicamos el artículo. Si lo hace, lo actualizaremos. "En Canadá, eso puede costar hasta C $ 4000 por piezas y mano de obra. A veces requiere una espera si el centro de servicio está ocupado o no tiene unidades MCU de repuesto para intercambiar con", Dijo Cotran InsideEVs. Eso corresponde a un poco más de $ 3,000.
Hughes pide una fracción de eso para reparar los MCU que presentan el problema. Más precisamente, 13.3 por ciento. "Actualmente cobro $ 399 por el servicio de reparación, pero necesito el MCU o el vehículo en mi tienda, 057 Technology, para hacerlo. El cambio puede llevar algún tiempo, ya que últimamente hemos estado muy ocupados con este y otros proyectos."
Cotran dice que su precio depende de muchas variables. De todos modos, su "El método de reparación cuesta mucho menos para el consumidor."Y recuerda otro aspecto importante de cómo Tesla está lidiando actualmente con esto". "Están reemplazando muchas unidades en los centros de servicio, y desafortunadamente, la computadora se desperdicia cuando solo se necesita un chip de reemplazo".
Intentó evitar que el fabricante de automóviles convirtiera sus MCU en basura electrónica. En vano. "Nos acercamos a Tesla para ofrecer nuestros servicios, pero no estaban interesados y afirmaron que no externalizan el trabajo."
Gruber cobra $ 165 / hora. "Eso es para diagnóstico a nivel de componentes, resolución de problemas y reparaciones. Tenemos sofisticados equipos de extracción de chips de memoria flash y equipos de soldadura de bolas, y comúnmente realizamos ingeniería inversa y realizamos reparaciones a nivel de componentes."
Los tres reemplazan el chip de memoria flash. "Retiramos el MCU del automóvil y lo desmontamos por completo. Entonces podemos extraer claves de autenticación de identificación únicas del eMMC aunque parte de él esté dañado. Estas claves son necesarias para que el automóvil se autentique en la red de Tesla y brinde al usuario acceso a las actualizaciones de firmware y la aplicación Tesla,"Cotran dijo InsideEVs. Él y Thibault reemplazan el chip original Hynix eMMC en el tablero para el Swissbit que puedes ver solo en la imagen de arriba y en los de abajo.
Hughes nos da una idea de lo complicada que es la reparación. "Dado que este chip flash es una unidad conectada de forma rígida, simplemente no hay una manera simple de reemplazarlos. Implica herramientas y equipos especializados. En mi caso, reparo previamente varias unidades para tener a mano para los clientes. Eso significa que principalmente tengo que intentar recuperar la información específica del automóvil de su unidad para copiarla en un reemplazo y hacer coincidir la versión del firmware. Es tedioso pero factible. En general, puede llevar varias horas de trabajo incluso con los reemplazos listos para usar.
Gruber sigue un procedimiento ligeramente diferente. "Estamos trabajando en la instalación de sockets de chips de memoria flash, ya que los chips fallan con el tiempo, en lugar de reemplazar una MCU completa por un chip de memoria flash fallido."
Gruber lo reemplaza con un chip más robusto, con una mayor capacidad. Todos ellos hacen eso, de hecho. "Una vez hecho esto, soldamos el chip eMMC defectuoso de la placa de procesamiento. Luego tenemos algunas secuencias de comandos patentadas que crean el diseño del sistema de archivos necesario para el correcto funcionamiento de la computadora MCU en un nuevo chip eMMC. Utilizamos chips de grado industrial y duplicamos la capacidad de memoria de 8 GB a 16 GB para darle más espacio para realizar su operación de nivelación de desgaste,"Dijo Cotran.
Gruber confiesa que todavía necesita resolver un aspecto del problema: el software. "Todavía no hemos podido reprogramar los chips una vez que los reemplazamos por una tecnología más robusta. Nuestras reparaciones de MCU se limitan a problemas de suministro de energía, fallas de componentes de chips no flash, fallas de cableado".
Quizás Cotran y Hughes puedan ayudarlo con eso. Hay mucho trabajo para todos ellos relacionado con esta falla de eMMC. "Hemos ayudado a docenas de clientes con este problema,"Dijo Gruber InsideEVs. Cotran dice que ha visto una docena de clientes con el problema desde que comenzó a repararlo. "Thibault se ha incorporado a la reparación de Tesla". Hughes ha reparado más de una docena de Teslas con fallas de MCU en septiembre.
¿Reemplazar el hardware fallido resuelve el problema? Solo temporalmente. “Esto asegura que el chip eMMC durará mucho más que el original. Pero también plantamos scripts en la computadora que escriben registros en una unidad RAM en lugar de en el chip eMMC ", dijo Cotran InsideEVs.
Usar la RAM también fue algo que Hughes decidió hacer. "Tesla puede hacer lo mismo que yo en mis autos y mover el registro a RAM para engañar al sistema, pero esto penaliza un poco el rendimiento ya que la RAM es limitada".
Cotran mencionó otros pros y contras: “Esto tiene un gran beneficio y un gran inconveniente. El beneficio es que los registros ya no se escriben en el eMMC y en su lugar en la RAM. No sufre de problemas de escritura excesivos. El inconveniente es que los registros están ahora en memoria volátil. Eso significa que, si la computadora se apaga o se reinicia, los registros se pierden. Creemos que la compensación vale la pena porque nadie quiere que esto vuelva a suceder ”.
No hay escapatoria con respecto a la causa raíz del problema: registro excesivo. Y el único capaz de abordar eso es el fabricante.
"Tesla necesita simplemente deshabilitar syslog en todos los vehículos a menos que sea específicamente requerido en un automóvil de desarrollo o para diagnosticar un problema de infoentretenimiento en un automóvil específico. No hay absolutamente ninguna razón para registrar cientos de MB por día en un pequeño chip flash incorporado,"Hughes dijo InsideEVs.
Cotran está de acuerdo. "En mi opinión, esto no es necesariamente un defecto de fabricación. Es posible que los diversos equipos de software de Tesla no hayan considerado que otros equipos estaban registrando tanto cuando codificaban sus funciones de registro. Sin embargo, definitivamente hubo algún tipo de supervisión en general que se perdió en la ingeniería de estas unidades. Creo que Tesla debería encontrar una manera de mitigar esto en el futuro, como lo hemos hecho, para evitar el reemplazo innecesario de estas computadoras."
Le hemos preguntado a la compañía qué hará para prevenir el problema, pero hasta el momento no hemos recibido respuesta. No tuvimos que preguntar si era consciente de ello. "Tesla conoce este problema desde hace años y no ha hecho nada para mitigarlo. Lo he informado personalmente en múltiples ocasiones, y sé que otros también lo han hecho.", dijo Hughes."Le comenté esto a Tesla en varias ocasiones, comenzando a fines de 2015, y varias veces desde entonces."
Tesla necesita actuar. No solo por las unidades más antiguas con MCUv1 sino también porque sus autos más nuevos tienen un mayor riesgo de problemas de MCU que los más antiguos. "En lugar de mitigar el problema, hoy escribe aún más datos en los registros que nunca antes. Combinado con las imágenes de firmware de tamaño máximo, el almacenamiento en caché general (mosaicos de mapas, información del piloto automático, música, etc.) esto hace que cada MCUv1 tenga una alta probabilidad de falla,"Hughes dijo InsideEVs.
A pesar de tener un chip flash eMMC de 32GB, MCUv2 maneja software mucho más grande. "Hay mucho más espacio para nivelar el desgaste. Sin embargo, tenga en cuenta que MCUv2 tiene algunas funciones avanzadas, como juegos 3D y Youtube, Netflix, etc., que ocupan más espacio en el sistema de archivos,”Dijo Cotran.
Hughes piensa lo mismo. "MCUv2 y Model 3 también tienen un problema con el registro excesivo. Afortunadamente, tienen un mayor tamaño de memoria flash, lo que debería mitigar el problema por el momento. Sin embargo, Tesla aún tendrá que eliminar o frenar este registro significativamente en estos si quieren que duren."
Para Cotran, tener que lidiar con el MCUv2 no es una cuestión de "si" sino de "cuándo". “Todavía no he trabajado mucho en MCUv2 simplemente porque la flota es principalmente MCUv1. Esas son las unidades que necesitan reparación ahora. Tenemos un MCUv2 aquí donde tenemos acceso a nivel de sistema de archivos y pronto veremos por ahí en algún momento ”.
La parte triste de la historia es que Tesla ha sido consciente del problema desde 2015. Y aparentemente no ha hecho nada hasta ahora para corregirlo, por lo tanto, los autos múltiples están siendo reparados actualmente. ¿Por qué? Hughes tiene una teoría. "El cínico en mí ve esto como un tipo de cosas de obsolescencia planificada … Sin embargo, la realidad es probablemente mucho más benigna: la pereza."¿Un ejemplo exitoso de Navaja de Occam? Solo Tesla puede decirlo.
Si tiene uno de sus EV, conocer el problema lo ayudará a tratar de evitarlo. Si su automóvil se fabricó antes de 2018 y todavía está en garantía, intente verificar si su MCU funciona correctamente. Aún puede obtener un reemplazo de forma gratuita.
Si ya no tiene cobertura, hable con Cotran, Hughes o Gruber. Pueden desarrollar una solución profiláctica para su MCU antes de tener que reemplazarla. Como escribir los registros en la RAM antes de que falle la tarjeta eMMC.
Para todos los demás clientes de Tesla, solicite a la compañía que resuelva esto. Quizás una sola actualización pueda evitar problemas futuros. Enterrar la cabeza en la arena y llamar a este artículo FUD (miedo, incertidumbre, duda) solo ayudará hasta que "Las campanas doblan por ti. ”Según Hughes, Cotran y Gruber, afectará a cada MCU Tesla actual o pasada. Es solo cuestión de tiempo.