Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


10-11
jan

Transportforum 2018

Transportforum 2018 hålls i Linköping den 10-11 januari på Konsert & Kongress. Välkommen!

SENASTE NYTT


2017-12-07

Så kan hot och våld mot bussförare och tågvärdar minska

Bussförare och tågvärdar upplever hög stress och uppfattar sitt jobb som ett lågstatusyrke. Det framgår av en ny forskningrapport om hot och våld. I rapporten ger forskarna också förslag på åtgärder för att förbättra arbetsmiljön för bussförare och tågvärdar.


2017-12-05

Fart i försäljningen av tågsimulatorer

VTI har fått sin hittills största beställning av tågsimulatorer. Green Cargo har köpt 9 bärbara simulatorer för träning av lokförare som kör godståg.


2017-12-05

Fria resor i kollektivtrafiken för äldre

I Västra Götalandsregionen erbjuder flera kommuner fria kollektivtrafikresor för pensionärer. Ändå är det många som avstår att åka kollektivt. VTI undersöker i ett projekt vad som påverkar äldres resande.


2017-12-04

Nytt projekt utvärderar priser och utbud i kollektivtrafik

Ett nytt projekt ska utvärdera hur pris och utbud kan anpassas efter variationer i efterfrågan och samtidigt ge maximal samhällsnytta. Projektet genomförs av VTI tillsammans med kollektivtrafikförvaltningen i Region Uppsala, Örebro Universitet och Scania...


2017-11-30

Bilen bra för kollektivt resande på landsbygd

Kollektivtrafik i traditionell mening kan inte självt bidra till ökad mobilitet och tillgänglighet, istället måste flera olika trafikformer integreras i samma system. Där är bilen en viktig del. VTI avrapporterar idag ett regeringsuppdrag om kollektivtrafik på landsbygd.


2017-11-29

Prövar ny metod för planering av tågtidtabeller

Planering av tågtidtabeller sker varje år med mycket manuellt arbete. Eftersom det idag saknas optimeringshjälpmedel är det omöjligt att veta om tidtabellen skulle kunna vara bättre. VTI ska nu pröva en ny metod att lägga tågtidtabeller som ger samhället största möjliga nytta


2017-12-07

Så kan hot och våld mot bussförare och tågvärdar minska

Bussförare och tågvärdar upplever hög stress och uppfattar sitt jobb som ett lågstatusyrke. Det framgår av en ny forskningrapport om hot och våld. I rapporten ger forskarna också förslag på åtgärder för att förbättra arbetsmiljön för bussförare och tågvärdar.


2017-12-05

Fart i försäljningen av tågsimulatorer

VTI har fått sin hittills största beställning av tågsimulatorer. Green Cargo har köpt 9 bärbara simulatorer för träning av lokförare som kör godståg.


2017-12-05

Fria resor i kollektivtrafiken för äldre

I Västra Götalandsregionen erbjuder flera kommuner fria kollektivtrafikresor för pensionärer. Ändå är det många som avstår att åka kollektivt. VTI undersöker i ett projekt vad som påverkar äldres resande.


2017-12-04

Nytt projekt utvärderar priser och utbud i kollektivtrafik

Ett nytt projekt ska utvärdera hur pris och utbud kan anpassas efter variationer i efterfrågan och samtidigt ge maximal samhällsnytta. Projektet genomförs av VTI tillsammans med kollektivtrafikförvaltningen i Region Uppsala, Örebro Universitet och Scania...


2017-11-30

Bilen bra för kollektivt resande på landsbygd

Kollektivtrafik i traditionell mening kan inte självt bidra till ökad mobilitet och tillgänglighet, istället måste flera olika trafikformer integreras i samma system. Där är bilen en viktig del. VTI avrapporterar idag ett regeringsuppdrag om kollektivtrafik på landsbygd.


2017-11-29

Prövar ny metod för planering av tågtidtabeller

Planering av tågtidtabeller sker varje år med mycket manuellt arbete. Eftersom det idag saknas optimeringshjälpmedel är det omöjligt att veta om tidtabellen skulle kunna vara bättre. VTI ska nu pröva en ny metod att lägga tågtidtabeller som ger samhället största möjliga nytta


2017-11-27

Snabb utveckling av självkörande bilar

på Statens väg- och transportforskningsinstitut, vti....exempel om det är isiga vägar, säger Jonas Jonsson på vti:......Källa: Sveriges Radio


2017-11-17

Forskare: dubbdäck ger alltid bäst grepp

forskare på Väg och transportforskningsinstitutet, vti.......Källa: Sveriges Radio


2017-11-13

Sopsaltning och lånecyklar ska få fler att cykla i vinter

väg- och transportforskningsinstitut i Linköping, vti. Saltar tio mil cykelväg......Källa: svt.se


2017-11-06

Forskare tonar ner miljölarm om dieselbilar

Lena Nerhagen, forskare på vti, Statens Väg och transportforskningsinstitut, är kritisk till debatten:......Källa: Dagens Nyheter


2017-10-20

Gummi en bristfälligt utnyttjad resurs

mer än i dag i anläggningsverksamheten, enligt vti. Drygt 85 000 ton uttjänta dack samlas årligen...energiutvinning, en alldeles för hög andel anser vti som ser stora möjligheter att använda gummits u...Källa: Entreprenad


2017-10-11

Forskare: Vi måste göra det svårare att köra in i stadskärnan

Vad krävs? Enligt Sonja Forward, forskare på Statens väg- och transportforskningsinstitut, vti, måste det bli mer attraktivt och enkelt att cykla....Sonja Forward, forskare vti......Källa: Sveriges Radio