Usando un guante lleno de sensores mientras maneja una variedad de objetos, los investigadores del MIT han compilado un conjunto de datos masivo que permite que un sistema de IA reconozca objetos solo con el tacto. La información podría aprovecharse para ayudar a los robots a identificar y manipular objetos, y puede ayudaren diseño protésico.
Los investigadores desarrollaron un guante tejido de bajo costo, llamado "guante táctil escalable" STAG, equipado con aproximadamente 550 sensores diminutos en casi toda la mano. Cada sensor captura señales de presión a medida que los humanos interactúan con los objetos de varias maneras.la red procesa las señales para "aprender" un conjunto de datos de patrones de señales de presión relacionados con objetos específicos. Luego, el sistema usa ese conjunto de datos para clasificar los objetos y predecir sus pesos sintiéndose solo, sin necesidad de entrada visual.
en un artículo publicado en Naturaleza , los investigadores describen un conjunto de datos que compilaron usando STAG para 26 objetos comunes, incluyendo una lata de refresco, tijeras, pelota de tenis, cuchara, bolígrafo y taza. Usando el conjunto de datos, el sistema predijo las identidades de los objetos con hasta 76precisión porcentual. El sistema también puede predecir los pesos correctos de la mayoría de los objetos en aproximadamente 60 gramos.
Los guantes similares basados en sensores usados hoy cuestan miles de dólares y a menudo contienen solo alrededor de 50 sensores que capturan menos información. Aunque STAG produce datos de muy alta resolución, está hecho de materiales disponibles en el mercado por un total de alrededor de $ 10.
El sistema de detección táctil podría usarse en combinación con la visión por computadora tradicional y los conjuntos de datos basados en imágenes para dar a los robots una comprensión más humana de la interacción con los objetos.
"Los humanos pueden identificar y manejar bien los objetos porque tenemos retroalimentación táctil. A medida que tocamos objetos, sentimos alrededor y nos damos cuenta de lo que son. Los robots no tienen esa rica retroalimentación", dice Subramanian Sundaram PhD '18, un ex graduadoestudiante en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial CSAIL. "Siempre hemos querido que los robots hagan lo que los humanos pueden hacer, como lavar los platos u otras tareas. Si quieres que los robots hagan estas cosas, deben ser capaces de manipularobjetos realmente bien "
Los investigadores también usaron el conjunto de datos para medir la cooperación entre las regiones de la mano durante las interacciones con los objetos. Por ejemplo, cuando alguien usa la articulación media de su dedo índice, rara vez usa su pulgar. Pero las puntas de los dedos índice y mediosiempre corresponde al uso del pulgar. "Demostramos cuantificablemente, por primera vez, que, si estoy usando una parte de mi mano, qué tan probable es que use otra parte de mi mano", dice.
Los fabricantes de prótesis pueden utilizar información para, por ejemplo, elegir lugares óptimos para colocar sensores de presión y ayudar a personalizar las prótesis para las tareas y objetos con los que las personas interactúan regularmente.
Uniéndose a Sundaram en el trabajo están: los postdocs de CSAIL, Petr Kellnhofer y Jun-Yan Zhu; el estudiante graduado de CSAIL, Yunzhu Li; Antonio Torralba, profesor de EECS y director del MIT-IBM Watson AI Lab; y Wojciech Matusik, profesor asociadoen ingeniería eléctrica e informática y jefe del grupo de Fabricación Computacional.
STAG está laminado con un polímero conductor de la electricidad que cambia la resistencia a la presión aplicada. Los investigadores cosieron hilos conductores a través de agujeros en la película de polímero conductor, desde la punta de los dedos hasta la base de la palma. Los hilos se superponen de una manera que los convierte en presiónsensores. Cuando alguien que usa el guante siente, levanta, sostiene y deja caer un objeto, los sensores registran la presión en cada punto.
Los hilos se conectan desde el guante a un circuito externo que traduce los datos de presión en "mapas táctiles", que son esencialmente videos breves de puntos que crecen y se encogen en un gráfico de una mano. Los puntos representan la ubicación de los puntos de presión, ysu tamaño representa la fuerza: cuanto más grande es el punto, mayor es la presión.
A partir de esos mapas, los investigadores compilaron un conjunto de datos de aproximadamente 135,000 cuadros de video a partir de interacciones con 26 objetos. Estos cuadros pueden ser utilizados por una red neuronal para predecir la identidad y el peso de los objetos, y proporcionar información sobre la comprensión humana.
Para identificar objetos, los investigadores diseñaron una red neuronal convolucional CNN, que generalmente se usa para clasificar imágenes, para asociar patrones de presión específicos con objetos específicos. Pero el truco consistía en elegir marcos de diferentes tipos de agarres para obtener una imagen completadel objeto
La idea era imitar la forma en que los humanos pueden sostener un objeto de varias maneras diferentes para reconocerlo, sin usar su vista. Del mismo modo, la CNN de los investigadores elige hasta ocho cuadros semirrandom del video que representan los más diferentesagarres - digamos, sosteniendo una taza desde la parte inferior, superior y el asa.
Pero la CNN no puede simplemente elegir cuadros aleatorios de los miles en cada video, o probablemente no elegirá pinzamientos distintos. En cambio, agrupa cuadros similares juntos, lo que resulta en grupos distintos correspondientes a captaciones únicas. Luego, tiraun cuadro de cada uno de esos grupos, asegurando que tenga una muestra representativa. Luego, la CNN usa los patrones de contacto que aprendió en el entrenamiento para predecir una clasificación de objetos a partir de los cuadros elegidos.
"Queremos maximizar la variación entre los marcos para dar la mejor entrada posible a nuestra red", dice Kellnhofer. "Todos los marcos dentro de un solo clúster deben tener una firma similar que represente formas similares de captar el objeto. Muestreo desdevarios grupos simulan a un humano interactivamente tratando de encontrar diferentes agarres mientras explora un objeto "
Para la estimación del peso, los investigadores construyeron un conjunto de datos separado de alrededor de 11,600 cuadros a partir de mapas táctiles de objetos que se recogen con el dedo y el pulgar, se sostienen y se dejan caer. Notablemente, la CNN no recibió capacitación en ningún cuadro en el que se realizó la prueba,lo que significa que no podría aprender a asociar el peso con un objeto. En las pruebas, se ingresó un solo cuadro en la CNN. Esencialmente, la CNN detecta la presión alrededor de la mano causada por el peso del objeto e ignora la presión causada por otros factores, como el posicionamiento de la mano para evitar que el objeto se deslice. Luego, calcula el peso en función de las presiones apropiadas.
El sistema podría combinarse con los sensores que ya están en las articulaciones del robot que miden el torque y la fuerza para ayudarlos a predecir mejor el peso del objeto ". Las articulaciones son importantes para predecir el peso, pero también hay componentes importantes del peso de la punta de los dedos y la palma de la mano.captura ", dice Sundaram.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Rob Matheson. Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :