El aprendizaje profundo está en todas partes. Esta rama de la inteligencia artificial selecciona sus redes sociales y ofrece resultados de búsqueda de Google. Pronto, el aprendizaje profundo también podría verificar sus signos vitales o configurar su termostato. Los investigadores del MIT han desarrollado un sistema que podría brindar redes neuronales de aprendizaje profundoa lugares nuevos, y mucho más pequeños, como los diminutos chips de computadora en dispositivos médicos portátiles, electrodomésticos y los otros 250 mil millones de objetos que constituyen el "Internet de las cosas" IoT.
El sistema, llamado MCUNet, diseña redes neuronales compactas que ofrecen una velocidad y precisión sin precedentes para el aprendizaje profundo en dispositivos de IoT, a pesar de la memoria y el poder de procesamiento limitados. La tecnología podría facilitar la expansión del universo de IoT mientras ahorra energía y mejora la seguridad de los datos.
La investigación se presentará en la Conferencia sobre sistemas de procesamiento de información neuronal del próximo mes. El autor principal es Ji Lin, estudiante de doctorado en el laboratorio de Song Han en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT. Los coautores incluyen a Han y Yujun Lin deMIT, Wei-Ming Chen del MIT y la Universidad Nacional de Taiwán, y John Cohn y Chuang Gan del MIT-IBM Watson AI Lab.
Internet de las cosas
El IoT nació a principios de la década de 1980. Los estudiantes de posgrado de la Universidad Carnegie Mellon, incluido Mike Kazar '78, conectaron una máquina de Cola-Cola a Internet. La motivación del grupo era simple: la pereza. Querían usar sus computadoras para confirmarla máquina estaba almacenada antes de salir de su oficina para hacer una compra. Era el primer dispositivo conectado a Internet del mundo. "Esto fue tratado como el remate de una broma", dice Kazar, ahora ingeniero de Microsoft. "Nadie esperabamiles de millones de dispositivos en Internet ".
Desde esa máquina de Coca-Cola, los objetos cotidianos se han conectado cada vez más en red en el creciente IoT. Eso incluye todo, desde monitores cardíacos portátiles hasta refrigeradores inteligentes que le avisan cuando tiene poca leche. Los dispositivos IoT a menudo funcionan con microcontroladores: simples chips de computadorasin sistema operativo, potencia de procesamiento mínima y menos de una milésima parte de la memoria de un teléfono inteligente típico. Por lo tanto, las tareas de reconocimiento de patrones como el aprendizaje profundo son difíciles de ejecutar localmente en dispositivos de IoT. Para análisis complejos, los datos recopilados de IoT a menudo se envíana la nube, haciéndola vulnerable a la piratería.
"¿Cómo implementamos redes neuronales directamente en estos pequeños dispositivos? Es una nueva área de investigación que se está poniendo muy caliente", dice Han. "Empresas como Google y ARM están trabajando en esta dirección". Han también.
Con MCUNet, el grupo de Han codignó dos componentes necesarios para el "pequeño aprendizaje profundo": el funcionamiento de redes neuronales en microcontroladores. Un componente es TinyEngine, un motor de inferencia que dirige la gestión de recursos, similar a un sistema operativo. TinyEngine está optimizado paraejecutar una estructura de red neuronal particular, que es seleccionada por el otro componente de MCUNet: TinyNAS, un algoritmo de búsqueda de arquitectura neuronal.
código de algoritmo del sistema
Diseñar una red profunda para microcontroladores no es fácil. Las técnicas de búsqueda de arquitectura neuronal existentes comienzan con un gran conjunto de posibles estructuras de red basadas en una plantilla predefinida, luego encuentran gradualmente la que tiene alta precisión y bajo costo. Mientras el método funciona, no es el más eficiente. "Puede funcionar bastante bien para GPU o teléfonos inteligentes", dice Lin. "Pero ha sido difícil aplicar directamente estas técnicas a pequeños microcontroladores, porque son demasiado pequeños".
Entonces Lin desarrolló TinyNAS, un método de búsqueda de arquitectura neuronal que crea redes de tamaño personalizado. "Tenemos muchos microcontroladores que vienen con diferentes capacidades de energía y diferentes tamaños de memoria", dice Lin. "Entonces desarrollamos el algoritmo [TinyNAS]para optimizar el espacio de búsqueda para diferentes microcontroladores. "La naturaleza personalizada de TinyNAS significa que puede generar redes neuronales compactas con el mejor rendimiento posible para un microcontrolador dado, sin parámetros innecesarios". Luego entregamos el modelo final y eficiente al microcontrolador", dice Lin.
Para ejecutar esa pequeña red neuronal, un microcontrolador también necesita un motor de inferencia ajustado. Un motor de inferencia típico tiene algo de peso muerto: instrucciones para tareas que rara vez se ejecutan. El código adicional no representa ningún problema para una computadora portátil o un teléfono inteligente, perofácilmente podría abrumar a un microcontrolador. "No tiene memoria fuera del chip y no tiene disco", dice Han. "Todo junto es solo un megabyte de flash, por lo que tenemos que administrar con mucho cuidado talpequeño recurso ". Cue TinyEngine.
Los investigadores desarrollaron su motor de inferencia junto con TinyNAS. TinyEngine genera el código esencial necesario para ejecutar la red neuronal personalizada de TinyNAS. Cualquier código de peso muerto se descarta, lo que reduce el tiempo de compilación. "Guardamos solo lo que necesitamos",dice Han. "Y desde que diseñamos la red neuronal, sabemos exactamente lo que necesitamos. Esa es la ventaja del código de algoritmo del sistema". En las pruebas del grupo de TinyEngine, el tamaño del código binario compilado era entre 1,9 y cinco veces más pequeñoque los motores de inferencia de microcontroladores comparables de Google y ARM. TinyEngine también contiene innovaciones que reducen el tiempo de ejecución, incluida la convolución en profundidad en el lugar, que reduce el uso máximo de memoria casi a la mitad. Después de codificar TinyNAS y TinyEngine, el equipo de Han puso a prueba MCUNet.
El primer desafío de MCUNet fue la clasificación de imágenes. Los investigadores utilizaron la base de datos ImageNet para entrenar el sistema con imágenes etiquetadas y luego probar su capacidad para clasificar las nuevas. En un microcontrolador comercial que probaron, MCUNet clasificó con éxito el 70,7 por ciento de las imágenes nuevas:- La combinación anterior de motor de inferencia y red neuronal de última generación tenía solo un 54 por ciento de precisión. "Incluso una mejora del 1 por ciento se considera significativa", dice Lin. "Así que este es un gran salto para la configuración de microcontroladores".
El equipo encontró resultados similares en las pruebas de ImageNet de otros tres microcontroladores. Y tanto en velocidad como en precisión, MCUNet venció a la competencia para tareas de "palabras de activación" de audio y visuales, donde un usuario inicia una interacción con una computadora usando señales vocales piensa: "Hey, Siri" o simplemente entrando en una habitación. Los experimentos destacan la adaptabilidad de MCUNet a numerosas aplicaciones.
"Gran potencial"
Los prometedores resultados de las pruebas dan a Han la esperanza de que se convierta en el nuevo estándar de la industria para microcontroladores. "Tiene un enorme potencial", dice.
El avance "extiende la frontera del diseño de redes neuronales profundas aún más en el dominio computacional de pequeños microcontroladores energéticamente eficientes", dice Kurt Keutzer, científico informático de la Universidad de California en Berkeley, que no participó en el trabajo.Agrega que MCUNet podría "llevar capacidades inteligentes de visión por computadora incluso a los electrodomésticos de cocina más simples, o habilitar sensores de movimiento más inteligentes".
MCUNet también podría hacer que los dispositivos de IoT sean más seguros. "Una ventaja clave es preservar la privacidad", dice Han. "No es necesario transmitir los datos a la nube".
El análisis de datos localmente reduce el riesgo de robo de información personal, incluidos los datos de salud personal. Han imagina relojes inteligentes con MCUNet que no solo detectan los latidos del corazón, la presión arterial y los niveles de oxígeno de los usuarios, sino que también los analizan y los ayudan a comprenderMCUNet también podría brindar aprendizaje profundo a los dispositivos de IoT en vehículos y áreas rurales con acceso limitado a Internet.
Además, la pequeña huella informática de MCUNet se traduce en una pequeña huella de carbono. "Nuestro gran sueño es la IA verde", dice Han, y agrega que entrenar una gran red neuronal puede quemar carbono equivalente a las emisiones de por vida de cinco automóviles. MCUNet en unEl microcontrolador requeriría una pequeña fracción de esa energía. "Nuestro objetivo final es permitir una IA diminuta y eficiente con menos recursos computacionales, menos recursos humanos y menos datos", dice Han.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Daniel Ackerman. Nota: el contenido se puede editar por estilo y longitud.
Referencia de la revista :
cite esta página :