Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


4-5
sep

Tylösandsseminariet

Tylösandsseminariet arrangeras varje höst sedan 1957 i Tylösand. Temat för årets seminarium är "Så delar vi vägen - Tryggt och säkert. VTI deltar i programkommittén för seminariet.
18
okt

Plusenergiforum

18 oktober arrangerar Energikontor Norra Småland den tredje upplagan av Plusenergiforum på Elmia Kongress- och konserthus. VTI medverkar genom forskaren Jessica Berg.
22-24
okt

Persontrafik 2018

VTI-forskare deltar på konferensen Persontrafik på Svenska mässan 22-24 oktober, 2018. Möt Anders Lindström som deltar i programpunkten "Autonoma fordon i kollektivtrafiken (I)", Maria Börjesson som deltar i programpunkten "Fördelning och rättvisa i...

SENASTE NYTT


2018-08-21

Ny metod för hastighetsövervakning ger resultat

VTI har utvärderat nya arbetsmetoder för hastighetsövervakning som testats på olycksdrabbade vägar i polisområde väst. Resultaten visar att de flesta är positiva till insatsen, såväl polis som medborgare. Metoden ledde till ökad synlighet och fler kontroller. Hastighetsöverträdelserna och medelhastigheten minskade under insatsperioden.


2018-08-20

EU-projekt för skydd av cyklister och fotgängare

Mer än en fjärdedel av de trafikdödade år 2010 var gångtrafikanter och cyklister enligt Världshälsoorganisationen (WHO). Varje år avlider ungefär 335 000 oskyddade trafikanter på grund av trafikolyckor, vilket visar storleken på problemet. EU-projektet Prospect avser att försöka minska antalet dödade och skadade cyklister och fotgängare genom att utveckla aktiva säkerhetssystem.


2018-07-05

Positivt om laddsträckor för elbuss i Lund

​Elbussar som laddas under vägen kan bidra till ett mer hållbart resande. I Lund överväger man att införa laddsträckor för elfordon och VTI har därför gjort en studie i simulator för att demonstrera hur det skulle kunna se ut och fungera. Resultaten är positiva.


2018-07-04

VTI en av vinnarna i innovationstävling

VTI var med i ett av de vinnande lagen i Naturvårdsverkets innovationstävling för infrastruktur med nollutsläpp. Priset delades ut av miljöminister Karolina Skog under Almedalsveckan i Visby.


2018-07-02

Nationellt cykelbokslut för 2017

Allt fler kommuner har en cykelplan och antalet landsting och regioner med cykelstrategi eller cykelplan ökar. Det framgår av Cykelbokslutet som publiceras i dag.


2018-06-28

Nya beräkningar av flygets samhällsekonomiska kostnader för klimatpåverkan

De samhällsekonomiska kostnaderna för klimatpåverkande utsläpp från flyget är högre för utrikes än för inrikes passagerarflyg. Kostnaderna skiljer sig också åt mellan olika flyglinjer. Det visar beräkningar som VTI gjort baserade på samtliga flygrörelser från svenska flygplatser under 2016.


2018-08-21

Ny metod för hastighetsövervakning ger resultat

VTI har utvärderat nya arbetsmetoder för hastighetsövervakning som testats på olycksdrabbade vägar i polisområde väst. Resultaten visar att de flesta är positiva till insatsen, såväl polis som medborgare. Metoden ledde till ökad synlighet och fler kontroller. Hastighetsöverträdelserna och medelhastigheten minskade under insatsperioden.


2018-08-20

EU-projekt för skydd av cyklister och fotgängare

Mer än en fjärdedel av de trafikdödade år 2010 var gångtrafikanter och cyklister enligt Världshälsoorganisationen (WHO). Varje år avlider ungefär 335 000 oskyddade trafikanter på grund av trafikolyckor, vilket visar storleken på problemet. EU-projektet Prospect avser att försöka minska antalet dödade och skadade cyklister och fotgängare genom att utveckla aktiva säkerhetssystem.


2018-07-05

Positivt om laddsträckor för elbuss i Lund

​Elbussar som laddas under vägen kan bidra till ett mer hållbart resande. I Lund överväger man att införa laddsträckor för elfordon och VTI har därför gjort en studie i simulator för att demonstrera hur det skulle kunna se ut och fungera. Resultaten är positiva.


2018-07-04

VTI en av vinnarna i innovationstävling

VTI var med i ett av de vinnande lagen i Naturvårdsverkets innovationstävling för infrastruktur med nollutsläpp. Priset delades ut av miljöminister Karolina Skog under Almedalsveckan i Visby.


2018-07-02

Nationellt cykelbokslut för 2017

Allt fler kommuner har en cykelplan och antalet landsting och regioner med cykelstrategi eller cykelplan ökar. Det framgår av Cykelbokslutet som publiceras i dag.


2018-06-28

Nya beräkningar av flygets samhällsekonomiska kostnader för klimatpåverkan

De samhällsekonomiska kostnaderna för klimatpåverkande utsläpp från flyget är högre för utrikes än för inrikes passagerarflyg. Kostnaderna skiljer sig också åt mellan olika flyglinjer. Det visar beräkningar som VTI gjort baserade på samtliga flygrörelser från svenska flygplatser under 2016.