Los científicos informáticos de la Universidad de Rice han adaptado una técnica ampliamente utilizada para la búsqueda rápida de datos para reducir la cantidad de cómputo, y por lo tanto energía y tiempo, necesarios para el aprendizaje profundo, una forma computacionalmente intensa de aprendizaje automático.
"Esto se aplica a cualquier arquitectura de aprendizaje profundo, y la técnica se escala sublinealmente, lo que significa que cuanto mayor sea la red neuronal profunda a la que se aplica, más ahorros habrá en los cálculos", dijo el investigador principal Anshumali Shrivastava,profesor asistente de informática en Rice.
La investigación se presentará en agosto en la conferencia KDD 2017 en Halifax, Nueva Escocia. Aborda uno de los mayores problemas que enfrentan los gigantes tecnológicos como Google, Facebook y Microsoft mientras compiten para construir, entrenar y desplegar redes masivas de aprendizaje profundopara una creciente cantidad de productos tan diversos como automóviles autónomos, traductores de idiomas y respuestas inteligentes a correos electrónicos.
El estudiante graduado de Shrivastava y Rice, Ryan Spring, ha demostrado que las técnicas de "hashing", un método de indexación de datos probado y verdadero, pueden adaptarse para reducir drásticamente la sobrecarga computacional para el aprendizaje profundo. El hash implica el uso de funciones inteligentes de hashque convierten los datos en números pequeños y manejables llamados hashes. Los hashes se almacenan en tablas que funcionan de manera muy similar al índice en un libro impreso.
"Nuestro enfoque combina dos técnicas, una variante inteligente del hashing sensible a la localidad y una escasa propagación hacia atrás, para reducir los requisitos computacionales sin una pérdida significativa de precisión", dijo Spring. "Por ejemplo, en pruebas a pequeña escala descubrimos que podíamosreducir el cálculo hasta en un 95 por ciento y aún estar dentro del 1 por ciento de la precisión obtenida con los enfoques estándar ".
El componente básico de una red de aprendizaje profundo es una neurona artificial. Aunque originalmente concebida en la década de 1950 como modelos para las neuronas biológicas en los cerebros vivos, las neuronas artificiales son solo funciones matemáticas, ecuaciones que actúan sobre un dato entrante ytransformarlo en una salida
En el aprendizaje automático, todas las neuronas comienzan igual, como pizarras en blanco, y se especializan a medida que se entrenan. Durante el entrenamiento, la red "muestra" grandes volúmenes de datos, y cada neurona se convierte en especialista en reconocer patrones particulares en eldatos. En la capa más baja, las neuronas realizan las tareas más simples. En una aplicación de reconocimiento de fotografías, por ejemplo, las neuronas de bajo nivel pueden reconocer la luz de la oscuridad o los bordes de los objetos. La salida de estas neuronas se pasa a las neuronas en la siguientecapa de la red, que busca sus propios patrones especializados. Las redes con incluso unas pocas capas pueden aprender a reconocer caras, perros, señales de alto y autobuses escolares.
"Agregar más neuronas a una capa de red aumenta su poder expresivo, y no hay un límite superior de cuán grandes queremos que sean nuestras redes", dijo Shrivastava. "Según los informes, Google está tratando de entrenar una con 137 mil millones de neuronas". Por el contrario, dijo, hay límites en la cantidad de potencia computacional que se puede utilizar para entrenar y desplegar tales redes.
"La mayoría de los algoritmos de aprendizaje automático que se usan hoy en día se desarrollaron hace 30-50 años", dijo. "No se diseñaron teniendo en cuenta la complejidad computacional. Pero con 'grandes datos', existen límites fundamentales en recursos como los ciclos de cómputo, energía y memoria. Nuestro laboratorio se enfoca en abordar esas limitaciones ".
Spring dijo que el cálculo y el ahorro de energía del hash serán aún mayores en redes profundas masivas.
"Los ahorros aumentan con la escala porque estamos explotando la escasez inherente en los grandes datos", dijo. "Por ejemplo, digamos que una red profunda tiene mil millones de neuronas. Para cualquier información dada, como la imagen de un perro,- solo algunos de ellos se entusiasmarán. En el lenguaje de datos, nos referimos a eso como escasez, y debido a la escasez, nuestro método ahorrará más a medida que la red crezca en tamaño. Entonces, hemos mostrado un ahorro del 95 por ciento con 1,000 neuronas, las matemáticas sugieren que podemos ahorrar más del 99 por ciento con mil millones de neuronas "
Una copia del documento "Aprendizaje profundo escalable y sostenible a través de Hashing aleatorio" está disponible en: http://arxiv.org/abs/1602.08194
Fuente de la historia :
Materiales proporcionado por Universidad de Rice . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :