A medida que el papel de AI en la sociedad continúa expandiéndose, JB Brown, de la Graduate School of Medicine, informa sobre un nuevo método de evaluación para el tipo de IA que predice respuestas sí / positivas / verdaderas o no / negativas / falsas.
artículo de Brown, publicado en Informática molecular , deconstruye la utilización de IA y analiza la naturaleza de las estadísticas utilizadas para informar la capacidad de un programa de IA. La nueva técnica también genera una probabilidad del nivel de rendimiento dado los datos de evaluación, respondiendo preguntas tales como: ¿Cuál es la probabilidad de lograr precisión?mayor que 90%?
Los informes de nuevas aplicaciones de IA aparecen en las noticias casi a diario, incluso en la sociedad y la ciencia, las finanzas, los productos farmacéuticos, la medicina y la seguridad.
"Si bien las estadísticas informadas parecen impresionantes, los equipos de investigación y los que evalúan los resultados se encuentran con dos problemas", explica Brown. "Primero, comprender si la IA logró sus resultados por casualidad, y segundo, interpretar la aplicabilidad de las estadísticas de rendimiento informadas"
Por ejemplo, si un programa de IA está diseñado para predecir si alguien ganará o no la lotería, siempre puede predecir una pérdida. El programa puede lograr una '99% de precisión ', pero la interpretación es clave para determinar la precisión de la conclusiónque el programa es exacto
Pero aquí radica el problema: en el desarrollo típico de IA, la evaluación solo se puede confiar si hay un número igual de resultados positivos y negativos. Si los datos están sesgados hacia cualquiera de los valores, el sistema actual de evaluación exagerará la capacidad del sistema.
Entonces, para abordar este problema, Brown desarrolló una nueva técnica que evalúa el rendimiento basándose solo en los datos de entrada en sí.
"La novedad de esta técnica es que no depende de ningún tipo de tecnología de inteligencia artificial, como el aprendizaje profundo", describe Brown. "Puede ayudar a desarrollar nuevas métricas de evaluación al observar cómo una métrica interactúa con el equilibrioen los datos pronosticados. Entonces podemos saber si las métricas resultantes podrían estar sesgadas "
Brown espera que este análisis no solo aumente la conciencia de cómo pensamos sobre la IA en el futuro, sino que también contribuya al desarrollo de plataformas de IA más robustas.
Además de la métrica de precisión, Brown probó otras seis métricas tanto en escenarios teóricos como aplicados, descubriendo que ninguna métrica era universalmente superior. Él dice que la clave para construir plataformas de IA útiles es tener una visión multimétrica de la evaluación.
"La IA puede ayudarnos a comprender muchos fenómenos en el mundo, pero para que nos brinde la dirección adecuada, debemos saber cómo hacer las preguntas correctas. Debemos tener cuidado de no centrarnos demasiado en un solo número como medida dela fiabilidad de una IA "
El programa de Brown está disponible gratuitamente para el público en general, investigadores y desarrolladores.
Fuente de la historia :
Materiales proporcionados por Universidad de Kyoto . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :