A generalized approach for producing, quantifying, and validating citizen science data from wildlife images

Conserv Biol. 2016 Jun;30(3):520-31. doi: 10.1111/cobi.12695. Epub 2016 Apr 25.

Abstract

Citizen science has the potential to expand the scope and scale of research in ecology and conservation, but many professional researchers remain skeptical of data produced by nonexperts. We devised an approach for producing accurate, reliable data from untrained, nonexpert volunteers. On the citizen science website www.snapshotserengeti.org, more than 28,000 volunteers classified 1.51 million images taken in a large-scale camera-trap survey in Serengeti National Park, Tanzania. Each image was circulated to, on average, 27 volunteers, and their classifications were aggregated using a simple plurality algorithm. We validated the aggregated answers against a data set of 3829 images verified by experts and calculated 3 certainty metrics-level of agreement among classifications (evenness), fraction of classifications supporting the aggregated answer (fraction support), and fraction of classifiers who reported "nothing here" for an image that was ultimately classified as containing an animal (fraction blank)-to measure confidence that an aggregated answer was correct. Overall, aggregated volunteer answers agreed with the expert-verified data on 98% of images, but accuracy differed by species commonness such that rare species had higher rates of false positives and false negatives. Easily calculated analysis of variance and post-hoc Tukey tests indicated that the certainty metrics were significant indicators of whether each image was correctly classified or classifiable. Thus, the certainty metrics can be used to identify images for expert review. Bootstrapping analyses further indicated that 90% of images were correctly classified with just 5 volunteers per image. Species classifications based on the plurality vote of multiple citizen scientists can provide a reliable foundation for large-scale monitoring of African wildlife.

Una Estrategia Generalizada para la Producción, Cuantificación y Validación de los Datos de Ciencia Ciudadana a partir de Imágenes de Vida Silvestre

Resumen: La ciencia ciudadana tiene el potencial de expandir el alcance y la escala de la investigación en la ecología y la conservación, pero muchos investigadores profesionales permanecen escépticos sobre los datos producidos por quienes no son expertos. Diseñamos una estrategia para generar datos precisos y fiables a partir de voluntarios no expertos y sin entrenamiento. En el sitio web de ciencia ciudadana www.snapshotserengeti.org más de 28, 000 voluntarios clasificaron 1.51 millón de imágenes que fueron tomadas en un censo a gran escala de cámaras trampa en el Parque Nacional Serengueti, Tanzania. Cada imagen llegó, en promedio, hasta 27 voluntarios, cuyas clasificaciones se conjuntaron mediante el uso de un algoritmo de pluralidad simple. Validamos el conjunto de respuestas frente a un juego de datos de 3, 829 imágenes verificadas por expertos y calculamos tres medidas de certeza: nivel de concordancia entre las clasificaciones (uniformidad), fracción de clasificaciones que apoyan al conjunto de respuestas (fracción de apoyo) y fracción de clasificadores que reportaron “nada aquí” en una imagen que al final se clasificó como que sí tenía un animal (fracción en blanco). Estas medidas se usaron para estimar la confianza de que un conjunto de respuestas estuviera en lo correcto. En general, el conjunto de respuestas de los voluntarios estuvo de acuerdo con los datos verificados por los expertos en un 98 % de las imágenes, pero la certeza varió según la preponderancia de la especie, de tal forma que las especies raras tuvieron una tasa más alta de falsos positivos y falsos negativos. El análisis de varianza calculado fácilmente y las pruebas post‐hoc de Tukey indicaron que las medidas de certeza fueron indicadores significativos de si cada imagen estuvo clasificada correctamente o si era clasificable. Por esto, las medidas de certeza pueden utilizarse para identificar imágenes para una revisión de expertos. Los análisis de bootstrapping indicaron más a fondo que el 90 % de las imágenes estuvieron clasificadas correctamente con sólo cinco voluntarios por imagen. Las clasificaciones de especies basadas en el voto de pluralidad de múltiples científicos ciudadanos puede proporcionar un fundamento fiable para un monitoreo a gran escala de la vida silvestre africana.

Keywords: Snapshot Serengeti; Zooniverse; big data; camera traps; conjunto de datos; crowdsourcing; cámaras trampa; data aggregation; data validation; datos grandes; image processing; procesamiento de imágenes; validación de datos.

MeSH terms

  • Animals
  • Animals, Wild
  • Community Participation*
  • Conservation of Natural Resources*
  • Data Collection
  • Ecology
  • Research
  • Tanzania
  • Volunteers