Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


1
mar

Seminarium samhällsekonomiska kostnader sjöfart och luftfart

VTI bjuder in till ett seminarium den 1 mars 2018. Jan-Eric Nilsson och Magnus Johansson, VTI, redovisar ett underlag för att integrera de samhällsekonomiska kostnaderna för gränsöverskridande luft- och sjöfart.
25-26
apr

Workshop, frågor kring samhällsekonomisk kalkyl

Den 25-26 april 2018 anordnas ett öppet seminarium och workshop i Stockholm som behandlar användningen av samhällsekonomiska kalkyler som en grund för beslutsfattande i offentlig sektor. Workshopen organiseras av bland andra professor Jan-Eric Nilsson, VTI.
16-18
maj

Road Safety on Five Continents (RS5C)

VTI arrangerar RS5C i Sydkorea i maj 2018.

SENASTE NYTT


2018-02-19

Överflyttning av gods för att uppnå miljömål?

För att nå de miljö- och klimatmål som Sverige satt upp till 2030 föreslås att en större andel gods transporteras på miljövänligare sätt än med dagens vägtransporter. VTI leder nu ett projekt för att ta reda på hur en överflyttning kan bidra till målen, vilka styrmedel som finns idag och vilka som behöver tillkomma.


2018-02-13

Automation och digitalisering ger järnvägen konkurrenskraft

Vägtransporterna utvecklas i snabbt tempo och produktiviteten har ökat kraftigt. Men järnvägstransporterna utvecklas inte alls i samma takt. Automatisering och digitalisering är en förutsättning för att godstransporter på järnväg i Europa ska överleva.


2018-02-02

VTI bidrar till standardisering av HCT-fordon

Om man ska tillåta större och längre lastfordon, så kallade HCT-fordon, på svenska vägar så kan man inte begränsa dem enbart utifrån längd och vikt. Fordonens prestanda i olika trafikmiljöer bör vara avgörande och Sogol Kharrazi, forskare på VTI, har lett ett...


2018-01-31

Även mindre hastighetssänkning sparar liv

En nyutgiven rapport från VTI visar vad som händer om vi sänker hastigheterna i tätort. Om hastighetsbegränsningen på alla 50-sträckor sänks till 40 km/timme beräknar forskarna att minst fem liv kan sparas varje år. Dessutom slipper ungefär 83 trafikanter att bli allvarligt skadade.


2018-01-30

Rapport om fisketurism presenteras på konferens

Den 31 januari 2018 anordnar Jordbruksverket, i samverkan med Landsbygdsnätverket och Sveriges Fisketurismföretagare (SeFF), en nationell konferens om fisketurism. VTI medverkar och presenterar en rapport om fisketurism. 


2018-01-30

VTI testar automation i EU-projekt

VTI leder en serie tester i ett större EU-projekt om automatiserad körning. I december genomfördes de första körtesterna på en testbana i Slovenien. Projektet ska fokusera dels på acceptans bland olika grupper i samhället, dels på teknikutveckling.


2018-02-19

Överflyttning av gods för att uppnå miljömål?

För att nå de miljö- och klimatmål som Sverige satt upp till 2030 föreslås att en större andel gods transporteras på miljövänligare sätt än med dagens vägtransporter. VTI leder nu ett projekt för att ta reda på hur en överflyttning kan bidra till målen, vilka styrmedel som finns idag och vilka som behöver tillkomma.


2018-02-13

Automation och digitalisering ger järnvägen konkurrenskraft

Vägtransporterna utvecklas i snabbt tempo och produktiviteten har ökat kraftigt. Men järnvägstransporterna utvecklas inte alls i samma takt. Automatisering och digitalisering är en förutsättning för att godstransporter på järnväg i Europa ska överleva.


2018-02-02

VTI bidrar till standardisering av HCT-fordon

Om man ska tillåta större och längre lastfordon, så kallade HCT-fordon, på svenska vägar så kan man inte begränsa dem enbart utifrån längd och vikt. Fordonens prestanda i olika trafikmiljöer bör vara avgörande och Sogol Kharrazi, forskare på VTI, har lett ett...


2018-01-31

Även mindre hastighetssänkning sparar liv

En nyutgiven rapport från VTI visar vad som händer om vi sänker hastigheterna i tätort. Om hastighetsbegränsningen på alla 50-sträckor sänks till 40 km/timme beräknar forskarna att minst fem liv kan sparas varje år. Dessutom slipper ungefär 83 trafikanter att bli allvarligt skadade.


2018-01-30

Rapport om fisketurism presenteras på konferens

Den 31 januari 2018 anordnar Jordbruksverket, i samverkan med Landsbygdsnätverket och Sveriges Fisketurismföretagare (SeFF), en nationell konferens om fisketurism. VTI medverkar och presenterar en rapport om fisketurism. 


2018-01-30

VTI testar automation i EU-projekt

VTI leder en serie tester i ett större EU-projekt om automatiserad körning. I december genomfördes de första körtesterna på en testbana i Slovenien. Projektet ska fokusera dels på acceptans bland olika grupper i samhället, dels på teknikutveckling.


2018-01-24

Ministern lovar krav på kvinnlig krockdocka

vid Väg- och transportforskningsinstitutet (vti). Inte kommit upp...Källa: Motormännens Riksförbund, Statens Väg- och transportforskningsinstitut (vti). Publicerad : 24 januari 2018 20.21......Källa: svt.se


2018-01-21

VTI: Landsbygden underprioriteras i kollektivtrafikplaneringen

vti: Landsbygden underprioriteras i kollektivtrafikplaneringen...Det visar en studie från Statens väg- och transportforskningsinstitut. vti - alltså Statens väg och transportforskningsinstitut......Källa: Sveriges Radio


2018-01-17

E-handel sämre för klimatet än vanlig handel

...nsportforskningsinstitut. Hushåll som e-handlar mat fortsätter åka lika...Men just bilresorna har inte minskat, säger Malin Henriksson, forskare vid statens väg- och transportforskningsinstitut vti...Källa: Sveriges Radio


2018-01-12

Mer trakasserier, mindre våld mot bussförare

som har gjorts av forskaren Johan Ihlström vid vti, Statens väg- och transportforskningsinstitut.......Källa: Bussmagasinet


2017-12-26

Sopsaltning som miljöbov

vid statens väg- och transportforskningsinstitut, vti.......Källa: svt.se


2017-12-15

Små medel för vinterväghållning orskar högre kostnader för halkolyckor

vinterväghållningen, säger forskaren Anna Arvidsson vid vti....med ett motorfordon, enligt forskning vid vti.......Källa: Infrasverige.se