Sony muestra la primera combinación de sensor de imagen y chip AI – TechCrunch


Sony ha desarrollado una nueva tecnología híbrida interesante: Un sensor de imagen con sistema de procesamiento AI integrado en el hardware, convirtiéndolo en un único sistema integrado. Los beneficios y las aplicaciones para esto son potencialmente enormes ya que las imágenes y el código continúan fusionándose

.

La idea es bastante simple en concepto. Toma un sensor de imagen CMOS tradicional como el que encontraría en cualquier teléfono o cámara hoy en día, y lo apila encima de un chip lógico construido no solo para extraer píxeles del sensor, sino también para operar un modelo de aprendizaje automático que extrae información de esos píxeles

El resultado es un solo ensamblaje electrónico que puede realizar una gran cantidad de procesamiento interesante en una foto antes de que esa foto se envíe a otra parte, como una placa lógica principal, una GPU o la nube.

Para ser claros, los sensores de imagen ya tienen procesadores complementarios que hacen el trabajo habitual de clasificar píxeles, comprimirlos en un JPEG, etc. Pero están muy concentrados en realizar un puñado de tareas comunes muy rápidamente.

El chip Sony, como lo explica la compañía, es capaz de procesos y resultados más sofisticados. Por ejemplo, si la exposición es de un perro en un campo, el chip podría analizarlo inmediatamente en busca de objetos y, en lugar de enviar la imagen completa, simplemente informe "perro", "hierba" y cualquier otra cosa que reconozca.

También podría realizar ediciones esencialmente improvisadas, como recortar todo en la foto, excepto las partes que reconoce y se le ha dicho que informe, solo las flores, pero nunca los tallos, por ejemplo.

El beneficio de un sistema de este tipo es que puede descartar todo tipo de datos innecesarios o no deseados antes de que esos datos entren en el canal de almacenamiento o procesamiento del dispositivo principal. Eso significa que se usa menos potencia del procesador, por un lado, pero también puede ser más seguro y más seguro.

Las cámaras en lugares públicos podrían desenfocar caras o placas de forma preventiva. Los dispositivos domésticos inteligentes podrían reconocer a las personas sin guardar ni enviar datos de imágenes. Se podrían combinar múltiples exposiciones para formar mapas de calor o frecuencia del campo de visión de la cámara.

Es posible que espere un mayor consumo de energía o latencia de un chip con procesos integrados de inteligencia artificial, pero empresas como Xnor (adquirido recientemente por Apple) han demostrado que tales tareas pueden ser realizado muy rápidamente y a un costo extremadamente bajo.

Si bien el procesamiento más complejo seguiría siendo competencia de chips más grandes y potentes, este tipo de primer paso es capaz de producir una gran variedad de datos valiosos y, adecuadamente diseñado, podría resultar más robusto contra ataques o abusos.

En este momento, el "Sensor Inteligente de Visión" de Sony todavía es solo un prototipo, disponible para ordenar para pruebas pero no para producción. Pero como Sony es uno de los principales proveedores de sensores de imagen en el mundo, es probable que esto llegue a muchos dispositivos de una forma u otra.

LO MÁS LEÍDO

Leave a Reply

Your email address will not be published. Required fields are marked *