Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


27
feb

Lunchseminarium i transportekonomi

Associate Professor Henrik Andersson, Toulouse School of Economics, föreläser i ämnet "Valuation of Safety in Transport: Experiences and Challenges".
7
mar

Barn, liv och trafik 2019

Barn, liv och trafik 2019: Säkrare trafikvardag för barn och unga  
15-17
mar

Svenska Cykelmässan

Svenska Cykelmässan, anordnas 15-17 mars 201, i Svenska Mässan, Göteborg. Cykelcentrum vid VTI deltar.

SENASTE NYTT


2019-02-11

Prognosmodell om framtida behov nödvändig när järnvägen uppgraderar

Järnvägen kräver betydligt mer resurser och kompetenser de närmaste åren. För att öka beredskapen har Trafikverket gett VTI i uppdrag att ta fram en prognosmodell. Nu finns en första ansats och ett underlag för mer ingående modellstudier.


2019-01-31

Vägmärken och vägmarkeringar – så bra syns de

Det är viktigt att vägmärken och vägmarkeringar syns bra i trafiken. VTI har analyserat livscykelkostnader och bedömt läsbarhet och synbarhet av vägmärken med reflexfolie. En metod har tagits fram för att bedöma synavstånd för vägmarkeringar.


2019-01-25

Bättre kunskap om förseningar ska ge effektivare godstransporter

Forskare på VTI har undersökt förseningar för godståg – hur ofta de sker, varför och vad det får för konsekvenser. Syftet är att ta fram en metod utifrån ett begränsat material som sedan kan användas i större undersökningar.


2019-01-24

Så kan fordon undvika olyckor på nylagd väg

Friktion på vägar är en viktig egenskap för trafiksäkerheten. VTI har undersökt hur vägar förändras de första veckorna efter en beläggningsåtgärd. Forskarna förordar uppsättning av varningsskyltar när vägen öppnas och kontroll av vägbanans friktion tidigast efter tre veckor.


2019-01-14

Friktionskrav för cykelbanor behöver ses över

Cyklingen ska öka samtidigt som antalet skadade cyklister ska minska. Halka är en av de enskilt viktigaste orsakerna till många allvarliga cykelolyckor. Därför behöver gällande råd och riktlinjer för cykelvägar ses över, både vad gäller definierade friktionskrav och mätmetoder, enligt forskare på VTI.


2019-01-10

Automatisering och cykel i fokus

Automatisering och dess förutsättningar var temat för en av sessionerna på Transportforum 2019 i Linköping 9 till 10 januari 2019. Cykling var ett annat ämnesområde som tog allt mer plats på Nordens största transportkonferens.


2019-01-09

Ljusare bild mötte mörkare om elektrifieringens roll för klimatet

Elektrifiering och dess möjligheter och utmaningar för att nå klimatmålen var temat för första sessionen på Transportforum 2019 i Linköping 9 januari, arrangerat av VTI. Av inledningstalarna hade Mattias Goldman en mer optimistisk hållning medan Per Kågeson...


2019-01-08

Elektrifiering och hållbarhet vid årets upplaga av Transportforum

9-10 januari är det dags för Transportforum, Nordens största konferens för transportsektorn, med 90 sessioner och över 360 presentationer, workshops och mingel. Temat för årets inledande session är elektrifiering – möjligheter och utmaningar att nå klimatmålen.


2019-02-11

Prognosmodell om framtida behov nödvändig när järnvägen uppgraderar

Järnvägen kräver betydligt mer resurser och kompetenser de närmaste åren. För att öka beredskapen har Trafikverket gett VTI i uppdrag att ta fram en prognosmodell. Nu finns en första ansats och ett underlag för mer ingående modellstudier.


2019-01-31

Vägmärken och vägmarkeringar – så bra syns de

Det är viktigt att vägmärken och vägmarkeringar syns bra i trafiken. VTI har analyserat livscykelkostnader och bedömt läsbarhet och synbarhet av vägmärken med reflexfolie. En metod har tagits fram för att bedöma synavstånd för vägmarkeringar.


2019-01-25

Bättre kunskap om förseningar ska ge effektivare godstransporter

Forskare på VTI har undersökt förseningar för godståg – hur ofta de sker, varför och vad det får för konsekvenser. Syftet är att ta fram en metod utifrån ett begränsat material som sedan kan användas i större undersökningar.


2019-01-24

Så kan fordon undvika olyckor på nylagd väg

Friktion på vägar är en viktig egenskap för trafiksäkerheten. VTI har undersökt hur vägar förändras de första veckorna efter en beläggningsåtgärd. Forskarna förordar uppsättning av varningsskyltar när vägen öppnas och kontroll av vägbanans friktion tidigast efter tre veckor.


2019-01-14

Friktionskrav för cykelbanor behöver ses över

Cyklingen ska öka samtidigt som antalet skadade cyklister ska minska. Halka är en av de enskilt viktigaste orsakerna till många allvarliga cykelolyckor. Därför behöver gällande råd och riktlinjer för cykelvägar ses över, både vad gäller definierade friktionskrav och mätmetoder, enligt forskare på VTI.


2019-01-10

Automatisering och cykel i fokus

Automatisering och dess förutsättningar var temat för en av sessionerna på Transportforum 2019 i Linköping 9 till 10 januari 2019. Cykling var ett annat ämnesområde som tog allt mer plats på Nordens största transportkonferens.


2019-01-09

Ljusare bild mötte mörkare om elektrifieringens roll för klimatet

Elektrifiering och dess möjligheter och utmaningar för att nå klimatmålen var temat för första sessionen på Transportforum 2019 i Linköping 9 januari, arrangerat av VTI. Av inledningstalarna hade Mattias Goldman en mer optimistisk hållning medan Per Kågeson...


2019-01-08

Elektrifiering och hållbarhet vid årets upplaga av Transportforum

9-10 januari är det dags för Transportforum, Nordens största konferens för transportsektorn, med 90 sessioner och över 360 presentationer, workshops och mingel. Temat för årets inledande session är elektrifiering – möjligheter och utmaningar att nå klimatmålen.