Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


10-11
jan

Transportforum 2018

Transportforum 2018 hålls i Linköping den 10-11 januari på Konsert & Kongress. Välkommen!

SENASTE NYTT


2017-08-21

Regler om privat övningskörning ska utvärderas

​Handledare för privat övningskörning får ha tillstånd för högst 15 övningskörare samtidigt. Regeln infördes 2012 för att i huvudsak stävja olaglig trafikskoleverksamhet. I nuläget saknas det kunskap om effekten av begränsningen och därför har VTI fått i uppdrag att utvärdera regelns införande.


2017-08-19

Var femte struntar i trafikregler

Studier som Sonja Forward på vti, Statens väg- och transportforskningsinstitut, gjort......Källa: Bohusläningen


2017-08-17

Transport på landsbygd kräver flexibla lösningar

​VTI har i en ny studie sammanställt erfarenheter kring transportlösningar på landsbygd i olika länder. För att lyckas med en god mobilitet i landsbygd krävs att ansvariga noga kartlägger målgrupper och deras behov, samordnar färdtjänst, allmän kollektivtrafik och skolskjuts samt marknadsför nya projekt på ett tydligt sätt.


2017-08-16

Mötesfria vägar säkrare men slits snabbare

För att minska risken för frontalkrockar har Trafikverket omvandlat högt trafikerade vägar till mötesfria, vilket reducerat dödsolyckorna med ungefär 80 procent. En VTI-studie visar att mötesfria vägar bryts ner snabbare än traditionellt utformade vägar och rekommenderar ökade tekniska krav.


2017-08-09

VTI undersöker samband mellan trafikolyckor och sjukdom hos äldre förare

vti undersöker samband mellan trafikolyckor och sjukdom...En ny studie vid Väg- och transportforskningsinstitutet, vti, i Linköping ska undersöka sambandet mellan......Källa: Sveriges Radio


2017-07-10

Hur hållbar är den svenska turismen?

inom Sverige innebära problem. En ny rapport från vti, Statens väg- och transportforskningsinstitut, visar......Källa: Sveriges Radio


2017-08-21

Regler om privat övningskörning ska utvärderas

​Handledare för privat övningskörning får ha tillstånd för högst 15 övningskörare samtidigt. Regeln infördes 2012 för att i huvudsak stävja olaglig trafikskoleverksamhet. I nuläget saknas det kunskap om effekten av begränsningen och därför har VTI fått i uppdrag att utvärdera regelns införande.


2017-08-17

Transport på landsbygd kräver flexibla lösningar

​VTI har i en ny studie sammanställt erfarenheter kring transportlösningar på landsbygd i olika länder. För att lyckas med en god mobilitet i landsbygd krävs att ansvariga noga kartlägger målgrupper och deras behov, samordnar färdtjänst, allmän kollektivtrafik och skolskjuts samt marknadsför nya projekt på ett tydligt sätt.


2017-08-16

Mötesfria vägar säkrare men slits snabbare

För att minska risken för frontalkrockar har Trafikverket omvandlat högt trafikerade vägar till mötesfria, vilket reducerat dödsolyckorna med ungefär 80 procent. En VTI-studie visar att mötesfria vägar bryts ner snabbare än traditionellt utformade vägar och rekommenderar ökade tekniska krav.


2017-07-10

För lite planering kring hållbara turistresor

En ny studie om hur turisters resande och turistresandets hållbarhet hanteras i infrastrukturplaneringen. Resultaten visar att fokus i planeringen ligger på framkomlighet och trafiksäkerhet generellt och att det saknas ett systematiskt sätt att bedöma besöksnäringens behov.


2017-06-30

VTI i Almedalen 2017

VTI kommer att delta i seminarier hos andra aktörer under Almedalsveckan i Visby 2017. Almedalsveckan pågår 2-9 juli.


2017-06-29

Tomas Svensson utsedd till generaldirektör på VTI

Regeringen har utsett Tomas Svensson till ny generaldirektör för VTI. Tomas har sedan årsskiftet varit tillförordnad generaldirektör för myndigheten. Han tillträder sin tjänst i dag 29 juni.


2017-08-19

Var femte struntar i trafikregler

Studier som Sonja Forward på vti, Statens väg- och transportforskningsinstitut, gjort......Källa: Bohusläningen


2017-08-09

VTI undersöker samband mellan trafikolyckor och sjukdom hos äldre förare

vti undersöker samband mellan trafikolyckor och sjukdom...En ny studie vid Väg- och transportforskningsinstitutet, vti, i Linköping ska undersöka sambandet mellan......Källa: Sveriges Radio


2017-07-10

Hur hållbar är den svenska turismen?

inom Sverige innebära problem. En ny rapport från vti, Statens väg- och transportforskningsinstitut, visar......Källa: Sveriges Radio


2017-07-10

Säkerheten för cyklister har inte hängt med i nollvisionen

Anna Niska som är forskningsledare på Statens väg och transportforskningsinstitut tar upp ett exempel med mittenseparering på landsvägar.......Källa: Sveriges Radio


2017-07-10

Han är nye generaldirektören

Han är nye generaldirektören Linköping vti:s nytillträdde generaldirektör är en riktig Svensson....Statens väg- och transportforskningsinstitut, vti, är en myndighet utan några myndighetsuppgifter......Källa: Affarsliv.com


2017-06-19

Självkörande bilar trissar upp bopriser

på Statens väg- och transportforskningsinstitut, vti....Andreas Tapani, forskare vti. Foto: vti Storbolag vill gå i bräschen......Källa: Fastighetsnytt