Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


9-10
maj

Möt VTI på Cykelkonferensen 2017

På Cykelkonferensen i Jönköping finns VTI med bland utställarna. Kom och ta reda på vad vi forskar om när det gäller cykling!
13-17
aug

Thredbo 15

Välkommen till Stockholm och Thredbo 15, International Conference Series on Competition and Ownership in Land Passenger Transport.

SENASTE NYTT


2017-03-22

Stipendium för nordiskt samarbete om vintercykling till VTI

Nordiskt vägforums (NVF) stipendium för 2017 har tilldelats forskaren Göran Blomqvist vid VTI för forskning kring vinterdrift av cykelvägar.


2017-03-21

VTI-utrustning exporteras till grannländer

​Att kunna provta vägdamm är viktigt i arbetet för att minska halterna av farliga partiklar i vår omgivningsluft. Provtagning har gjorts under många år av VTI, men nu är flera länder intresserade av just VTI:s utrustning.


2017-03-20

Ökat resande med tåg efter omstrukturering

Före 1988 hade SJ hand om både infrastruktur och trafik på järnväg. Därefter har omstruktureringar gjorts i flera steg, vilket lett till att vi i Sverige idag har en helt öppen marknad med ökande persontrafik och ökat resande. Branschen är dock beroende av stöd från staten.


2017-03-09

Cyklister olycksdrabbade säkrare vägar ska minska olyckorna

på statens väg- och transportforskningsinstitut, vti. Tidigare i veckan föreläste hon på branschmässan...Vägarbeten innebär ofta en stor olycksrisk för cyklister. För något år sedan gjorde vti en stu...Källa: svt.se


2017-03-06

Ny studie om fyrhjulingar

avsåg då andra än sig själva. Bakom studien står vti och Sveriges Lantbruksuniversitet (SLU). ......Källa: Infrastruktur Nyheter


2017-03-06

Riskacceptans påverkar säkerhet för barn på fyrhjulingar

Fyrhjulingen är ett relativt nytt fordon som fått flera användningsområden, men den ökande användningen har också lett till ett stort antal olyckor. I en attitydundersökning påpekar föräldrar till barn som kör fyrhjuling att risken finns i okunniga föräldrar och att dessa inte sätter gränser, men det avsåg andra än de själva.


2017-03-22

Stipendium för nordiskt samarbete om vintercykling till VTI

Nordiskt vägforums (NVF) stipendium för 2017 har tilldelats forskaren Göran Blomqvist vid VTI för forskning kring vinterdrift av cykelvägar.


2017-03-21

VTI-utrustning exporteras till grannländer

​Att kunna provta vägdamm är viktigt i arbetet för att minska halterna av farliga partiklar i vår omgivningsluft. Provtagning har gjorts under många år av VTI, men nu är flera länder intresserade av just VTI:s utrustning.


2017-03-20

Ökat resande med tåg efter omstrukturering

Före 1988 hade SJ hand om både infrastruktur och trafik på järnväg. Därefter har omstruktureringar gjorts i flera steg, vilket lett till att vi i Sverige idag har en helt öppen marknad med ökande persontrafik och ökat resande. Branschen är dock beroende av stöd från staten.


2017-03-06

Riskacceptans påverkar säkerhet för barn på fyrhjulingar

Fyrhjulingen är ett relativt nytt fordon som fått flera användningsområden, men den ökande användningen har också lett till ett stort antal olyckor. I en attitydundersökning påpekar föräldrar till barn som kör fyrhjuling att risken finns i okunniga föräldrar och att dessa inte sätter gränser, men det avsåg andra än de själva.


2017-03-02

Internationell konferens om elvägar

Världens första internationella elvägskonferens går av stapeln 14-15 juni 2017 i Sandviken. Arrangör är FoI-plattformen för elvägar, där VTI är en av parterna. Välkommen att sända in ditt bidrag eller anmäla dig som deltagare!


2017-03-02

Trafikinformation kan minska koldioxidutsläpp

Kraven på minskade utsläpp av växthusgaser kräver åtgärder inom många olika verksamheter. Trafikledning för väg och järnväg är ett område där mycket finns att göra för att påverka koldioxidutsläppens storlek, exempelvis via gemensamma informationssystem.


2017-03-09

Cyklister olycksdrabbade säkrare vägar ska minska olyckorna

på statens väg- och transportforskningsinstitut, vti. Tidigare i veckan föreläste hon på branschmässan...Vägarbeten innebär ofta en stor olycksrisk för cyklister. För något år sedan gjorde vti en stu...Källa: svt.se


2017-03-06

Ny studie om fyrhjulingar

avsåg då andra än sig själva. Bakom studien står vti och Sveriges Lantbruksuniversitet (SLU). ......Källa: Infrastruktur Nyheter


2017-03-05

90-talisterna är farligast bakom ratten

åldergrupper, enligt Sonja Forward, forskare vid vti, Statens väg- och transportforskningsinstitut.......Källa: Dagens Nyheter


2017-02-20

Simulator gav körkortet tillbaka

Simulatorn har utvecklats av Statens väg- och transportforskningsinstitut, vti, och testar personer för olika kritiska trafiksituationer.......Källa: Borås Tidning


2017-02-19

Därför blir köerna på E6 längre än någonsin

Det konstaterar Johan Olstam är forskare på VTI, statens väg- och transportforskningsinstitut. i Linköping.......Källa: Sydsvenskan


2017-02-13

VTI kartlägger sjö- och luftfartens kostnader

vti kartlägger sjö- och luftfartens kostnader Regeringen har gett vti fortsatt uppdrag att ta fram och uppdatera...luftfartens samhällsekonomiska kostnader. Det skriver vti i ett pressmeddelande. Ge...Källa: Infrastruktur Nyheter