Los avances más recientes en sistemas de inteligencia artificial, como los programas de reconocimiento de voz o rostro, han sido cortesía de redes neuronales, mallas densamente interconectadas de procesadores de información simples que aprenden a realizar tareas mediante el análisis de enormes conjuntos de datos de entrenamiento.
Pero las redes neuronales son grandes y sus cálculos consumen mucha energía, por lo que no son muy prácticos para dispositivos portátiles. La mayoría de las aplicaciones de teléfonos inteligentes que dependen de redes neuronales simplemente cargan datos en servidores de Internet, que los procesan y envían los resultados ael teléfono.
Ahora, los investigadores del MIT han desarrollado un chip de propósito especial que aumenta la velocidad de los cálculos de la red neuronal de tres a siete veces en comparación con sus predecesores, al tiempo que reduce el consumo de energía del 94 al 95 por ciento. Eso podría hacer que sea práctico ejecutar redes neuronales localmenteen teléfonos inteligentes o incluso para integrarlos en electrodomésticos.
"El modelo de procesador general es que hay una memoria en alguna parte del chip y hay un procesador en otra parte del chip, y mueves los datos de un lado a otro cuando haces estos cálculos", diceAvishek Biswas, un estudiante graduado del MIT en ingeniería eléctrica e informática, que dirigió el desarrollo del nuevo chip.
"Dado que estos algoritmos de aprendizaje automático necesitan tantos cálculos, esta transferencia de datos de ida y vuelta es la parte dominante del consumo de energía. Pero el cálculo que hacen estos algoritmos se puede simplificar a una operación específica, denominada producto punto.El enfoque fue, ¿podemos implementar esta funcionalidad de producto punto dentro de la memoria para que no necesite transferir estos datos de un lado a otro? "
Biswas y su asesora de tesis, Anantha Chandrakasan, decana de la Escuela de Ingeniería del MIT y profesora Vannevar Bush de Ingeniería Eléctrica e Informática, describen el nuevo chip en un artículo que Biswas presenta esta semana en la Conferencia Internacional de Circuitos de Estado Sólido.
Volver a analógico
Las redes neuronales generalmente se organizan en capas. Un solo nodo de procesamiento en una capa de la red generalmente recibirá datos de varios nodos en la capa inferior y pasará datos a varios nodos en la capa superior. Cada conexión entre nodos tiene su propia "peso ", que indica qué importancia tendrá la salida de un nodo en el cálculo realizado por el siguiente. Entrenar la red es una cuestión de establecer esos pesos.
Un nodo que recibe datos de varios nodos en la capa inferior multiplicará cada entrada por el peso de la conexión correspondiente y sumará los resultados. Esa operación, la suma de multiplicaciones, es la definición de un producto escalar. Si el puntoproducto excede algún valor de umbral, el nodo lo transmitirá a los nodos en la siguiente capa, a través de conexiones con sus propios pesos.
Una red neuronal es una abstracción: los "nodos" son solo pesos almacenados en la memoria de una computadora. El cálculo de un producto escalar generalmente implica obtener un peso de la memoria, obtener el elemento de datos asociado, multiplicar los dos, almacenar el resultado en algún lugar yluego repitiendo la operación para cada entrada a un nodo. Dado que una red neuronal tendrá miles o incluso millones de nodos, son muchos datos para mover.
Pero esa secuencia de operaciones es solo una aproximación digital de lo que sucede en el cerebro, donde las señales que viajan a lo largo de múltiples neuronas se encuentran en una "sinapsis", o una brecha entre haces de neuronas. Las tasas de activación de las neuronas y las señales electroquímicas quecruzan la sinapsis corresponden a los valores y pesos de los datos. El nuevo chip de los investigadores del MIT mejora la eficiencia al replicar el cerebro de manera más fiel.
En el chip, los valores de entrada de un nodo se convierten en voltajes eléctricos y luego se multiplican por los pesos apropiados. Solo los voltajes combinados se vuelven a convertir en una representación digital y se almacenan para su procesamiento posterior.
Por lo tanto, el chip puede calcular productos punto para múltiples nodos, 16 a la vez, en el prototipo, en un solo paso, en lugar de desplazarse entre un procesador y la memoria para cada cálculo.
todo o nada
Una de las claves del sistema es que todos los pesos son 1 o -1. Eso significa que pueden implementarse dentro de la memoria misma como simples interruptores que cierran un circuito o lo dejan abierto. Un trabajo teórico reciente sugiere quelas redes neuronales entrenadas con solo dos pesos deberían perder poca precisión, en algún lugar entre el 1 y el 2 por ciento.
La investigación de Biswas y Chandrakasan confirma esa predicción. En experimentos, ejecutaron la implementación completa de una red neuronal en una computadora convencional y el equivalente de peso binario en su chip. Los resultados de su chip estuvieron generalmente dentro del 2 al 3 por ciento de los valores convencionales.de la red.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Larry Hardesty. Nota: el contenido se puede editar por estilo y longitud.
cite esta página :