Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


5-6
dec

Vision Zero for Sustainable Road Safety in the Baltic Sea Region

Konferensen Vision Zero for Sustainable Road Safety in the Baltic Sea Region arrangeras i Vilnius. VTI medverkar i organiserandet av konferensen och som talare.
9-10
jan

Transportforum 2019

Transportforum 2019 genomförs 9-10 januari i Konsert och kongress Linköping. 
25-27
aug

ICTTP 2020

ICTTP, International Conference on Traffic and Transport Psychology, arrangeras i Göteborg. 

SENASTE NYTT


2018-11-08

Ny teknik för att undersöka resvanor öppnar möjligheter

Alternativa resvaneundersökningar kan ibland ersätta traditionella, men då måste syftet vara tydligt. VTI har testat insamlingsmetoderna webbenkät och mobilapp under olika förutsättningar i en pilotundersökning tillsammans med Trafikanalys och Trivector.


2018-11-07

VTI kartlägger cykelträngsel

Cykelträngseln i storstäder som Stockholm och Göteborg – det är en fråga som engagerar. Forskare på VTI har undersökt cykelflöden för att ta reda på om är problemet så stort så att det får samhällsekonomiska konsekvenser.


2018-11-01

Regeringsuppdrag om trafikens samhällsekonomiska kostnader överlämnat

VTI har sedan 2013 haft flera uppdrag från regeringen att ta fram underlag om trafikens samhällsekonomiska kostnader. 1 november 2018 redovisades det senaste uppdraget, Samkost 3. Uppdraget har omfattat alla trafikslag, men fokus har legat på sjö- och luftfart.


2018-10-26

Pedagogikutveckling med tågsimulatorer

Det är hög koncentration och många aha-upplevelser när tågklarerare får prova på att sitta ”på andra sidan” mot var de vanligtvis befinner sig. De är de som styr vilka tåg som ska köra och när. I VTI:s tågsimulatorer får de i stället prova på miljön och...


2018-10-19

Dubbdäck till cykel testade

Halka är den dominerande orsaken bakom cyklisternas singelolyckor under tiden december-februari. Ett sätt att minska olycksrisken är att använda dubbdäck. VTI har, på uppdrag av Länsförsäkringars forskningsfond, testat ett antal däck.


2018-10-15

VTI utvecklar effektivare halkbekämpning

Genom rätt åtgärder på rätt plats och tid kan halkbekämpning rädda liv, säkra arbetsmiljön och minska samhällskostnaderna. Nu finns digital teknik som ska förbättra vinterväghållningen. VTI har tagit fram systemet tillsammans med Svevia och B&M systemutveckling.


2018-11-08

Ny teknik för att undersöka resvanor öppnar möjligheter

Alternativa resvaneundersökningar kan ibland ersätta traditionella, men då måste syftet vara tydligt. VTI har testat insamlingsmetoderna webbenkät och mobilapp under olika förutsättningar i en pilotundersökning tillsammans med Trafikanalys och Trivector.


2018-11-07

VTI kartlägger cykelträngsel

Cykelträngseln i storstäder som Stockholm och Göteborg – det är en fråga som engagerar. Forskare på VTI har undersökt cykelflöden för att ta reda på om är problemet så stort så att det får samhällsekonomiska konsekvenser.


2018-11-01

Regeringsuppdrag om trafikens samhällsekonomiska kostnader överlämnat

VTI har sedan 2013 haft flera uppdrag från regeringen att ta fram underlag om trafikens samhällsekonomiska kostnader. 1 november 2018 redovisades det senaste uppdraget, Samkost 3. Uppdraget har omfattat alla trafikslag, men fokus har legat på sjö- och luftfart.


2018-10-26

Pedagogikutveckling med tågsimulatorer

Det är hög koncentration och många aha-upplevelser när tågklarerare får prova på att sitta ”på andra sidan” mot var de vanligtvis befinner sig. De är de som styr vilka tåg som ska köra och när. I VTI:s tågsimulatorer får de i stället prova på miljön och...


2018-10-19

Dubbdäck till cykel testade

Halka är den dominerande orsaken bakom cyklisternas singelolyckor under tiden december-februari. Ett sätt att minska olycksrisken är att använda dubbdäck. VTI har, på uppdrag av Länsförsäkringars forskningsfond, testat ett antal däck.


2018-10-15

VTI utvecklar effektivare halkbekämpning

Genom rätt åtgärder på rätt plats och tid kan halkbekämpning rädda liv, säkra arbetsmiljön och minska samhällskostnaderna. Nu finns digital teknik som ska förbättra vinterväghållningen. VTI har tagit fram systemet tillsammans med Svevia och B&M systemutveckling.