Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


13-17
aug

Thredbo 15

Välkommen till Stockholm och Thredbo 15, International Conference Series on Competition and Ownership in Land Passenger Transport.

SENASTE NYTT


2017-06-22

Svensk elväg väcker intresse över hela världen

Omkring 70 experter från olika delar av världen träffades nyligen för att dela erfarenheter från forskning och utveckling inom området electric road systems, ERS, på en konferens i Sandviken. Arrangör var Forsknings- och innovationsplattformen för elvägar,...


2017-06-21

Liten minskning av antalet omkomna i trafiken

EU har som målsättning att halvera antalet trafikdödade i Europa mellan 2010 och 2020, men sedan 2014 har utvecklingen i stort sett stått stilla. Det visar årets Road Safety PIN rapport.


2017-06-19

Självkörande bilar trissar upp bopriser

på Statens väg- och transportforskningsinstitut, vti....Andreas Tapani, forskare vti. Foto: vti Storbolag vill gå i bräschen......Källa: Fastighetsnytt


2017-06-15

Så ska fler åka kollektivt på landsbygden

I mars 2016 startade Statens väg- och transportforskningsinstitut, vti, i Linköping forskning på uppdrag av näringsdepartementet...tycker om sin bil, säger Jessica Berg, forskare på vti, som tillsamma...Källa: Fria Tidningar


2017-06-15

VTI bygger tågsimulatorer till SJ

VTI har fått sin hittills största beställning av tågsimulatorer. SJ köper tio mindre simulatorer som ska användas i fortbildning och uppföljning av tågförare. Nyligen levererades den första prototypen.


2017-06-14

Betongvägar kräver högre kvalitet

på Statens Väg- och transportforskningsinstitut, vti. Att använda betong på vägar är inget nytt i......Källa: Byggindustrin


2017-06-22

Svensk elväg väcker intresse över hela världen

Omkring 70 experter från olika delar av världen träffades nyligen för att dela erfarenheter från forskning och utveckling inom området electric road systems, ERS, på en konferens i Sandviken. Arrangör var Forsknings- och innovationsplattformen för elvägar,...


2017-06-21

Liten minskning av antalet omkomna i trafiken

EU har som målsättning att halvera antalet trafikdödade i Europa mellan 2010 och 2020, men sedan 2014 har utvecklingen i stort sett stått stilla. Det visar årets Road Safety PIN rapport.


2017-06-15

VTI bygger tågsimulatorer till SJ

VTI har fått sin hittills största beställning av tågsimulatorer. SJ köper tio mindre simulatorer som ska användas i fortbildning och uppföljning av tågförare. Nyligen levererades den första prototypen.


2017-06-12

Inbjudan till den första internationella elvägskonferensen

Välkommen till den första internationella elvägskonferensen 14-15 juni i Högbo utanför Sandviken. Ganska precis ett år har gått sedan världens första elväg för tung fordonstrafik på allmän väg invigdes utanför Sandviken. Nu är det hög tid att samla internationella forskare och experter för att presentera de senaste resultaten och diskutera ämnet Electric Road Systems.


2017-06-09

VTI söker deltagare till ny studie

I september genomför vi en studie om cyklisters och bilisters beteende i trafiken. Specifikt intresserar vi oss för hur cyklister och bilister inhämtar information från omgivningen, och hur detta skiljer sig åt mellan de två trafikantgrupperna.  


2017-05-30

Thredbo 15 – internationell konferens om persontrafik

I augusti är det dags för den 15:e konferensen med titeln International Conference Series on Competition and Ownership in Land Passenger Transport (Thredbo 15 Conference). VTI är värd tillsammans med Handelshögskolan i Stockholm.  


2017-06-19

Självkörande bilar trissar upp bopriser

på Statens väg- och transportforskningsinstitut, vti....Andreas Tapani, forskare vti. Foto: vti Storbolag vill gå i bräschen......Källa: Fastighetsnytt


2017-06-15

Så ska fler åka kollektivt på landsbygden

I mars 2016 startade Statens väg- och transportforskningsinstitut, vti, i Linköping forskning på uppdrag av näringsdepartementet...tycker om sin bil, säger Jessica Berg, forskare på vti, som tillsamma...Källa: Fria Tidningar


2017-06-14

Betongvägar kräver högre kvalitet

på Statens Väg- och transportforskningsinstitut, vti. Att använda betong på vägar är inget nytt i......Källa: Byggindustrin


2017-06-05

Hållbara turistresor synade

Kiruna, Åre, Sälen och Vimmerby av Tobias Heldt (vti, Högskolan Dalarna), Kerstin Robertson (Ecologize) och Åsa Wikberg (vti).........Källa: Res och Trafikforum


2017-06-02

"Övertro på att klara körkortsprovet"

test, säger Sonja Forward, forskare och psykolog på vti, Statens väg- och transportforskningsinstitut.... vti släppte i slutet av förra året en rapport på uppdrag......Källa: Aftonbladet


2017-05-30

VTI ska analyser behov av forskning om cykling

vti ska analyser behov av forskning om cykling vti i Linköping, har fått i uppdrag av regeringen att.........Källa: Sveriges Radio