Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


14
nov

Seminarium - Modellering av cykeltrafik

Välkommen till en eftermiddag om aktuell forskning kring modellering av cykeltrafik. Intresset för cykel som färdmedel och trafikslag ökar. Det finns dock ett behov av bättre beslutsunderlag och analysverktyg för att bedöma effekter på cyklingen vid både...
7
dec

Shipping and the environment – research meets reality

Centre for Transport Studies (CTS) in co-operation with Ports of Stockholm invite you to the seminar Shipping and the environment – research meets reality.
10-11
jan

Transportforum 2018

Transportforum 2018 hålls i Linköping den 10-11 januari på Konsert & Kongress. Välkommen!

SENASTE NYTT


2017-10-17

Konferens för nationell transportforskning

I Stockholm 17–18 oktober hålls Nationella transportforskningskonferensen för sjätte gången. VTI är med som en av sju organisatörer och deltar med många presentationer i flera discipliner.


2017-10-16

ERPUG Forum

Den 19–20 oktober, 2017 är det femte gången som konferensen European Road Profile Users Group (ERPUG) hålls, denna gång i Rambölls huvudkontor i Köpenhamn.


2017-10-16

Säkerhet vid kolonnkörning testad i simulator

En simulatorstudie visar att fordon i en kooperativ kolonnkörning klarar av att hantera om en bil plötsligt svänger in mellan två av fordonen. Resultaten av studien presenteras på konferenserna FAST-zero’17 och ITSC 2017 i Japan.


2017-10-11

Forskare: Vi måste göra det svårare att köra in i stadskärnan

Vad krävs? Enligt Sonja Forward, forskare på Statens väg- och transportforskningsinstitut, vti, måste det bli mer attraktivt och enkelt att cykla....Sonja Forward, forskare vti......Källa: Sveriges Radio


2017-10-09

Ny rapport visar på värdet av sportfiske och fisketurism

Fisketurismen, framför allt den utländska, kan generera värdefulla intäkter till den svenska landsbygden. Besöksnäringens behov behöver därför vägas in i fiske- och vattenförvaltningen. Detta visar en studie som Statens väg- och transportforskningsinstitut...


2017-09-25

Möt en älg i simulator

VTI har levererat två nya körsimulatorer till Älgskadefondsföreningen. I dem kan man testa förarens reaktioner när vilt dyker upp snabbt i olika miljöer och i olika väglag. Simulatorn kan ge en förståelse av hur viktigt det är att anpassa hastigheten.


2017-09-20

"Det går inte att bara förbjuda dubbdäcken"

Mats Gustafsson, forskare på vti, samarbetar med Anders Ljungman kring studier av......Källa: Linköpings universitet


2017-09-20

VTI levererar simulatorer för godståg till Green Cargo

Under förra året utvecklade VTI en simulator för träning av lokförare som kör godståg. Det första exemplar som levererats till en operatör i Sverige är nu på plats på Green Cargos regionkontor i Gävle. Mjukvaran är anpassad för en ny förarmiljö för lokdragna tåg och för att hantera långa tågset.


2017-10-17

Konferens för nationell transportforskning

I Stockholm 17–18 oktober hålls Nationella transportforskningskonferensen för sjätte gången. VTI är med som en av sju organisatörer och deltar med många presentationer i flera discipliner.


2017-10-16

ERPUG Forum

Den 19–20 oktober, 2017 är det femte gången som konferensen European Road Profile Users Group (ERPUG) hålls, denna gång i Rambölls huvudkontor i Köpenhamn.


2017-10-16

Säkerhet vid kolonnkörning testad i simulator

En simulatorstudie visar att fordon i en kooperativ kolonnkörning klarar av att hantera om en bil plötsligt svänger in mellan två av fordonen. Resultaten av studien presenteras på konferenserna FAST-zero’17 och ITSC 2017 i Japan.


2017-10-09

Ny rapport visar på värdet av sportfiske och fisketurism

Fisketurismen, framför allt den utländska, kan generera värdefulla intäkter till den svenska landsbygden. Besöksnäringens behov behöver därför vägas in i fiske- och vattenförvaltningen. Detta visar en studie som Statens väg- och transportforskningsinstitut...


2017-09-25

Möt en älg i simulator

VTI har levererat två nya körsimulatorer till Älgskadefondsföreningen. I dem kan man testa förarens reaktioner när vilt dyker upp snabbt i olika miljöer och i olika väglag. Simulatorn kan ge en förståelse av hur viktigt det är att anpassa hastigheten.


2017-09-20

VTI levererar simulatorer för godståg till Green Cargo

Under förra året utvecklade VTI en simulator för träning av lokförare som kör godståg. Det första exemplar som levererats till en operatör i Sverige är nu på plats på Green Cargos regionkontor i Gävle. Mjukvaran är anpassad för en ny förarmiljö för lokdragna tåg och för att hantera långa tågset.


2017-09-15

Ny forskning skapar förarlös logistikkedja

Forskningsprojektet Born to Drive kan nu visa upp en skarp demo på hur en vanlig personbil kör förarlöst från produktionslinan ut till en parkering. Visionen är att automatisera hela logistikkedjan från fabrik till slutkonsument. Systemet har utvecklats...


2017-09-11

Maria Börjesson ny professor i nationalekonomi

Maria Börjesson började på VTI 15 augusti som professor i nationalekonomi med inriktning mot transporter. Maria har en bakgrund som lektor vid Institutionen för transportvetenskap, Skolan för arkitektur och samhällsbyggnad på KTH. Hon var tidigare...


2017-10-11

Forskare: Vi måste göra det svårare att köra in i stadskärnan

Vad krävs? Enligt Sonja Forward, forskare på Statens väg- och transportforskningsinstitut, vti, måste det bli mer attraktivt och enkelt att cykla....Sonja Forward, forskare vti......Källa: Sveriges Radio


2017-09-20

"Det går inte att bara förbjuda dubbdäcken"

Mats Gustafsson, forskare på vti, samarbetar med Anders Ljungman kring studier av......Källa: Linköpings universitet


2017-09-19

Linköping får förarlösa bussar

Trafiken ingår i ett forskningsprojekt där Linköpings universitet, vti och flera andra partners ingår....försök, säger Anna Anund, forskningsledare vid vti, till nyhetsbrevet Nordic Road and Transport...Källa: Bussmagasinet


2017-09-09

Forskning ska få bilister och cyklister att bli sams

vid Statens väg- och transportforskningsinstut, vti, i Linköping.......Källa: svt.se


2017-09-07

Nya och högre p-avgifter minskar bilresorna

Så skulle sambanden se ut. I alla fall enligt Roger Pyddoke på Statens väg och transportforskningsinstitut som har gjort en studie i just Uppsala som utgått just från de här scenariot.......Källa: Sveriges Radio


2017-09-04

Bilfria stadsdelar - en del av framtiden

som Linköpings universitet driver tillsammans med vti, statens väg och transportforskningsinstitut. -...sätt, säger Andreas Tapani, forskningschef vid vti.......Källa: Linköpings universitet