Un nuevo modelo desarrollado por investigadores del MIT y Microsoft identifica instancias en las que los sistemas autónomos han "aprendido" de ejemplos de capacitación que no coinciden con lo que realmente está sucediendo en el mundo real. Los ingenieros podrían usar este modelo para mejorar la seguridad de los sistemas de inteligencia artificial, como vehículos sin conductor y robots autónomos.
Los sistemas de IA que alimentan automóviles sin conductor, por ejemplo, están entrenados ampliamente en simulaciones virtuales para preparar el vehículo para casi todos los eventos en la carretera. Pero a veces el automóvil comete un error inesperado en el mundo real porque ocurre un evento que debería, perono lo hace, altera el comportamiento del auto.
Considere un automóvil sin conductor que no fue entrenado y, lo que es más importante, no tiene los sensores necesarios para diferenciar entre escenarios claramente diferentes, como automóviles grandes y blancos y ambulancias con luces rojas intermitentes en la carretera. Si el automóvilestá navegando por la carretera y una ambulancia enciende sus sirenas, es posible que el automóvil no sepa reducir la velocidad y detenerse, porque no percibe que la ambulancia sea diferente de un gran automóvil blanco.
En un par de documentos, presentados en la conferencia de Agentes Autónomos y Sistemas Multiagente del año pasado y en la próxima Conferencia de la Asociación para el Avance de la Inteligencia Artificial, los investigadores describen un modelo que utiliza el aporte humano para descubrir estos "puntos ciegos" de capacitación.
Al igual que con los enfoques tradicionales, los investigadores pusieron un sistema de IA a través del entrenamiento de simulación. Pero luego, un humano monitorea de cerca las acciones del sistema tal como actúa en el mundo real, proporcionando comentarios cuando el sistema cometió, o estaba a punto de cometer, cualquier errorLuego, los investigadores combinan los datos de entrenamiento con los datos de retroalimentación humana, y utilizan técnicas de aprendizaje automático para producir un modelo que identifica situaciones en las que el sistema probablemente necesite más información sobre cómo actuar correctamente.
Los investigadores validaron su método usando videojuegos, con un humano simulado que corrige la trayectoria aprendida de un personaje en pantalla. Pero el siguiente paso es incorporar el modelo con enfoques tradicionales de entrenamiento y prueba para automóviles y robots autónomos con retroalimentación humana.
"El modelo ayuda a los sistemas autónomos a conocer mejor lo que no saben", dice el primer autor Ramya Ramakrishnan, un estudiante graduado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial. "Muchas veces, cuando se implementan estos sistemas, sus simulaciones capacitadas nono coinciden con el entorno del mundo real [y] podrían cometer errores, como entrar en accidentes. La idea es utilizar a los humanos para cerrar esa brecha entre la simulación y el mundo real, de una manera segura, para que podamos reducir algunos deesos errores "
Los coautores de ambos artículos son: Julie Shah, profesora asociada en el Departamento de Aeronáutica y Astronáutica y directora del Grupo de Robótica Interactiva de CSAIL; y Ece Kamar, Debadeepta Dey y Eric Horvitz, todos de Microsoft Research. Besmira Nushies un coautor adicional en el próximo artículo.
Tomando comentarios
Algunos métodos de entrenamiento tradicionales proporcionan retroalimentación humana durante las ejecuciones de pruebas del mundo real, pero solo para actualizar las acciones del sistema. Estos enfoques no identifican los puntos ciegos, lo que podría ser útil para una ejecución más segura en el mundo real.
El enfoque de los investigadores primero somete a un sistema de IA a una capacitación de simulación, donde producirá una "política" que esencialmente asigna cada situación a la mejor acción que puede tomar en las simulaciones. Luego, el sistema se desplegará en la realidadmundo, donde los humanos proporcionan señales de error en regiones donde las acciones del sistema son inaceptables.
Los humanos pueden proporcionar datos de múltiples maneras, como a través de "demostraciones" y "correcciones". En las demostraciones, el humano actúa en el mundo real, mientras el sistema observa y compara las acciones del humano con lo que hubiera hecho en esa situaciónEn el caso de los automóviles sin conductor, por ejemplo, un humano controlaría el automóvil manualmente mientras el sistema genera una señal si su comportamiento planificado se desvía del comportamiento del ser humano.inaceptablemente.
Alternativamente, el humano puede proporcionar correcciones, con el humano monitoreando el sistema tal como actúa en el mundo real. Un humano podría sentarse en el asiento del conductor mientras el automóvil autónomo conduce por su ruta planificada. Si las acciones del automóvil son correctas,el humano no hace nada. Sin embargo, si las acciones del automóvil son incorrectas, el humano puede tomar el volante, lo que envía una señal de que el sistema no estaba actuando de manera inaceptable en esa situación específica.
Una vez que se compilan los datos de retroalimentación del ser humano, el sistema esencialmente tiene una lista de situaciones y, para cada situación, múltiples etiquetas que dicen que sus acciones fueron aceptables o inaceptables. Una sola situación puede recibir muchas señales diferentes, porque el sistema percibe muchassituaciones idénticas. Por ejemplo, un automóvil autónomo puede haber cruzado junto a un automóvil grande muchas veces sin disminuir la velocidad y detenerse. Pero, en un solo caso, una ambulancia, que parece exactamente igual al sistema, pasa de largo.el automóvil no se detiene y recibe una señal de retroalimentación de que el sistema tomó una acción inaceptable.
"En ese momento, el sistema recibió múltiples señales contradictorias de un humano: algunas con un automóvil grande al lado, y estaba funcionando bien, y una donde había una ambulancia en la misma ubicación exacta, pero eso no eraEl sistema toma nota de que hizo algo mal, pero no sabe por qué ", dice Ramakrishnan." Debido a que el agente está recibiendo todas estas señales contradictorias, el siguiente paso es compilar la información para preguntar: "Cómo¿es probable que cometa un error en esta situación en la que recibí estas señales mixtas? '"
Agregación inteligente
El objetivo final es etiquetar estas situaciones ambiguas como puntos ciegos. Pero eso va más allá de simplemente contar las acciones aceptables e inaceptables para cada situación. Si el sistema realizó acciones correctas nueve de cada 10 veces en la situación de ambulancia, por ejemplo,un voto mayoritario simple etiquetaría esa situación como segura.
"Pero debido a que las acciones inaceptables son mucho más raras que las aceptables, el sistema eventualmente aprenderá a predecir todas las situaciones como seguras, lo que puede ser extremadamente peligroso", dice Ramakrishnan.
Para ese fin, los investigadores usaron el algoritmo Dawid-Skene, un método de aprendizaje automático que se usa comúnmente para el crowdsourcing para manejar el ruido de la etiqueta. El algoritmo toma como entrada una lista de situaciones, cada una con un conjunto de ruidosos "aceptables" y "etiquetas "inaceptables". Luego agrega todos los datos y utiliza algunos cálculos de probabilidad para identificar patrones en las etiquetas de puntos ciegos predichos y patrones para situaciones seguras predichas. Usando esa información, genera una sola etiqueta agregada "segura" o "punto ciego"para cada situación junto con su nivel de confianza en esa etiqueta. Notablemente, el algoritmo puede aprender en una situación en la que, por ejemplo, se haya desempeñado aceptablemente el 90 por ciento del tiempo, la situación sigue siendo lo suficientemente ambigua como para merecer un "punto ciego"
Al final, el algoritmo produce un tipo de "mapa de calor", donde a cada situación del entrenamiento original del sistema se le asigna una probabilidad baja a alta de ser un punto ciego para el sistema.
"Cuando el sistema se despliega en el mundo real, puede usar este modelo aprendido para actuar con más cautela e inteligencia. Si el modelo aprendido predice que un estado es un punto ciego con alta probabilidad, el sistema puede consultar a un humano por elacción aceptable, que permite una ejecución más segura ", dice Ramakrishnan.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Rob Matheson. Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :