Kurt Luther, profesor asistente de ciencias informáticas de Virginia Tech, ha desarrollado una plataforma de software libre que utiliza el crowdsourcing para aumentar significativamente la capacidad de los algoritmos para identificar caras en las fotos.
A través de la plataforma de software, llamada Photo Sleuth, Luther busca descubrir los misterios de los casi 4 millones de fotografías de imágenes de la era de la Guerra Civil que pueden existir en el registro histórico.
Luther presentará su investigación sobre la plataforma Photo Sleuth el 19 de marzo en la conferencia de la Asociación para la Computación Inteligente de Interfaces de Usuario en Los Ángeles, California. También demostrará Photo Sleuth en la gran inauguración del Museo de la Guerra Civil Americana ampliado, enRichmond, Virginia, el 4 de mayo de 2019.
Luther, un aficionado a la historia, se inspiró para desarrollar el software para Civil War Photo Sleuth en 2013 mientras visitaba la exhibición del Centro de Historia Heinz llamada "Guerra Civil de Pensilvania" en Pittsburgh, Pensilvania. Allí se topó con un retrato de la era de la Guerra Civilde Oliver Croxton, su tatara-tatara-tío abuelo que sirvió en la Compañía E de la 134 ° Pennsylvania, vestido con un uniforme de cabo.
"Ver a mi pariente lejano mirándome fijamente fue como viajar en el tiempo", dijo Luther. "Las fotos históricas pueden decirnos mucho no solo sobre nuestra propia historia familiar sino también informar el registro histórico del tiempo de manera más amplia que solo leersobre el evento en un libro de historia "
El proyecto Civil War Photo Sleuth, financiado principalmente por la National Science Foundation, se lanzó oficialmente como una plataforma basada en la web en los Archivos Nacionales en Washington, DC, el 1 de agosto de 2018, y permite a los usuarios cargar fotos, etiquetarcon datos visuales y conéctelos con perfiles de soldados de la Guerra Civil con registros detallados de la historia militar. La base de datos de referencia inicial de Photo Sleuth contenía más de 15,000 retratos identificados de soldados de la Guerra Civil de fuentes de dominio público como el Instituto de Historia Militar de los EE. UU.
Antes del lanzamiento oficial del proyecto en agosto, la plataforma de software ganó el $ 25,000 Microsoft Cloud AI Research Challenge y el Premio a la Mejor Demo en la conferencia Human Computation and Crowdsourcing 2018 en Zurich, Suiza, para Luther y su equipo, que incluye académicos ycolaboradores históricos, el Centro de Estudios de la Guerra Civil de Virginia y la revista Military Images.
Según Luther, la clave del éxito posterior al lanzamiento del sitio ha sido la capacidad de construir una comunidad de usuarios sólida. Más de 600 usuarios contribuyeron con más de 2,000 fotos de la Guerra Civil al sitio web en el primer mes después del lanzamiento, y aproximadamentela mitad de esas fotos no estaban identificadas. Más de 100 de estas fotos desconocidas estaban vinculadas a soldados específicos, y un análisis de expertos encontró que más del 85 por ciento de estas identificaciones propuestas eran probablemente o definitivamente correctas. Actualmente, la base de datos ha crecido a más de 4,000 usuarios registrados ymás de 8,000 fotos.
"Por lo general, la investigación de colaboración colectiva como esta es un desafío para los principiantes si los usuarios no tienen un conocimiento específico del área temática", dijo Luther. "El proceso paso a paso de etiquetar pistas visuales y aplicar filtros de búsqueda vinculados a los militareslos registros de servicio hacen que este trabajo de detective sea más accesible, incluso para aquellos que pueden no tener un conocimiento más profundo de la historia militar de la Guerra Civil ".
Las tareas de identificación de personas pueden ser difíciles en grupos de candidatos más grandes porque existe un mayor riesgo de falsos positivos. El enfoque novedoso detrás de Civil War Photo Sleuth se basa en la analogía de encontrar una aguja en un pajar. La tubería de datos tiene tres pajar-componentes relacionados: construir el pajar, reducir el pajar y encontrar la aguja en el pajar. Cuando se combinan, permiten que los usuarios identifiquen soldados desconocidos mientras reducen el riesgo de falsos positivos.
La construcción del pajar se realiza incentivando a los usuarios a cargar imágenes escaneadas de los frentes y las espaldas de las fotos de la Guerra Civil. Cada vez que un usuario carga una foto para identificarla, la foto se agrega al archivo digital del sitio o "pajar".está disponible para futuras búsquedas.
Después de la carga, el usuario etiqueta los metadatos relacionados con la fotografía, como el formato de la foto o las inscripciones, así como las pistas visuales, como el color del abrigo, los galones, las correas para los hombros, la insignia del collar y la insignia del sombrero. Estas etiquetas están vinculadas a filtros de búsquedapara priorizar los combates más probables. Por ejemplo, un soldado etiquetado con la insignia del sombrero de "cuerno de caza" sugeriría posibles combates que sirvieron en la infantería, mientras oculta los resultados de la caballería o la artillería. A continuación, el sitio utiliza el estado de latecnología de reconocimiento facial para eliminar caras de aspecto muy diferente y clasificar las restantes por similitud. Tanto los pasos de etiquetado como de reconocimiento facial reducen el pajar.
Finalmente, los usuarios encuentran la aguja en el pajar explorando las coincidencias de mayor probabilidad con más detalle. Una herramienta de comparación con controles de panorámica y zoom ayuda a los usuarios a inspeccionar cuidadosamente una posible coincidencia y, si deciden que es una coincidencia, vinculan lo previamente desconocidofoto a su nueva identidad y detalles biográficos.
Los registros militares utilizados por los filtros provienen de innumerables fuentes públicas, incluida la Base de datos de soldados y marineros del Servicio de Parques Nacionales.
Repasar fotos históricas de la Guerra Civil a través de un software de reconocimiento facial como Photo Sleuth tiene amplias aplicaciones más allá de identificar fotos históricas también. El software tiene el potencial de generar nuevas formas de pensar en la construcción de sistemas de identificación de personas que miren más allá del reconocimiento facial y aprovechen las fortalezas complementariasde inteligencia humana y artificial.
Fuente de la historia :
Materiales proporcionado por Virginia Tech . Original escrito por Amy Loeffler. Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :