Validity and reliability of naturalistic driving scene categorization judgments from crowdsourcing

Christopher D. Cabrall
Zhenji Lu
Miltos Kyriakidis
Laura Manca
Chris Dijksterhuis
Riender Happee
Joost de Winter

A common challenge with processing naturalistic driving data for many different possible driving research interests or applications is that humans may need to categorize great volumes of recorded visual information until automated algorithms might be trained to do so alone.

This study, by means of the online platform CrowdFlower, investigated the potential of crowdsourcing to provide content identification categorizations of driving scene features (e.g., presence of another vehicle, straight road segments, etc.) at greater scale than a single person or a small team of researchers would be capable of. The validity and reliability of CrowdFlower results were examined, both with and without employing a set of randomly embedded controlled questions (Gold Test Questions) intermixed with experimental questions (Work Mode). In total, 200 workers from 46 countries participated in this study, and the collection of data lasted one and a half days.

By employing Gold Test Questions, we found significantly more accurate and consistent responses from external workers at both a smaller and larger scale of video segment categorizations for the identification of common driving scene elements (e.g., position and behavior of other vehicles, road and signage characteristics, etc.). In terms of validity and at the small scale, an average accuracy of 91% on paired items was found with the controlled questions compared to 78% without. A difference in bias was found where without Gold Test Questions external workers returned more false positives than false negatives whereas the opposite was found true of the condition with Gold Test Questions. At the large scale (making use of the controlled questions), a random subset of categorizations returned similar levels of accuracy (95%) and a similar pattern of error bias. In terms of reliability and at the small scale, where segments were rated in triplicate redundancy, the percentage of unanimous agreement was found significantly higher when using controlled questions (90%) than without them (65%). Across the small scale of internally validated answers, more than two-thirds of any correct categorization were unanimously returned and 86% or more of any correct categorization was returned by a majority vote. Where it would be infeasible to validate every response for accuracy, similar voting reliability results were found to exist across the responses of the large scale.

Overall results support compelling evidence for CrowdFlower as being able to yield valid and reliable crowdsourced categorizations of naturalistic driving scene contents in a short period of time and thus a potentially powerful and as-of-yet under-utilized resource in the toolbox of driving research and driving automation development.

TRÄFFA OSS


25
maj

Seminariuem om marginalkostnader för reinvesteringar i järnväg

VTI bjuder in till ett granskningsseminarium 25 maj 2018. Studien som är föremål för granskning behandlar marginalkostnader för reinvesteringar i järnväg.
13-14
jun

The 6st Humanist Conference

The 6th HUMANIST Conference will take place 13-14 June 2018 in the Hague, The Netherlands. The scope of the conference covers a wide range of topics on Human Factors in Transport. Tania Willstrand and Alexander Eriksson will present their research results.
4-5
sep

Tylösandsseminariet

Tylösandsseminariet arrangeras varje höst sedan 1957 i Tylösand. Temat för årets seminarium är "Så delar vi vägen - Tryggt och säkert. VTI deltar i programkommittén för seminariet.

SENASTE NYTT


2018-05-24

Metod testad för hastighetsmätning i trafiksäkerhetsforskning

VTI i samarbete med Linköpings universitet har utvärderat tekniken med hastighetsmätning med hjälp av blåtandssensorer, bland annat för att se om metoden kan användas vid före-efter studier av hastighetsdämpande åtgärder. Resultaten visar att mätningar med blåtandssensorer ger stabila resultat och är tillförlitliga.


2018-05-18

Enkät om trafiksäkerhet genomförs i 50 länder

På trafiksäkerhetskonferensen RS5C presenterades en unik studie om vägtrafikanters attityder som genomförts i 38 länder. Samma metod och identiska enkät gör det möjligt att jämföra de olika länderna och resultaten visar på stora skillnader i både attityder...


2018-05-17

Goda resultat med alkolås

Ett permanent system för alkolås efter rattfylleribrott har funnits i Sverige sedan 2012. En utvärdering visar på goda resultat där de flesta deltagare var nöjda med programmet och upplevde bättre hälsa. En serie studier av VTI presenterades idag på den...


2018-05-16

200 deltagare från 5 kontinenter på trafiksäkerhetskonferens

Idag öppnade trafiksäkerhetskonferensen Road Safety on Five Continents (RS5C) som arrangeras av VTI. Över 200 deltagare från fem kontinenter har kommit för att utbyta erfarenheter och lära sig mer om trafiksäkerhet. Statssekreterare Mattias Landgren höll ett...


2018-05-02

Låga hastighetsbegränsningar följs inte

​ Mätningar under 2017 visar att problemet med överträdelser på vägar med låga hastighetsbegränsningar kvarstår, framför allt på 40- sträckor. Nästan hälften kör för fort vilket ökar risken för olyckor med allvarliga skador och dödsfall som följd.


2018-04-27

Främmande växter sprids via transporter

Forskare på VTI har gjort en kunskapssammanställning när det gäller främmande invasiva växter i Sverige och hur dessa sprids via transportsystemet. I rapporten konstateras att främmande arter som kan bli ett problem bör uppmärksammas i tid, exempelvis genom svartlistning. Studier behöver göras för att undersöka hur trafiken bidrar till spridning lokalt.


2018-05-24

Metod testad för hastighetsmätning i trafiksäkerhetsforskning

VTI i samarbete med Linköpings universitet har utvärderat tekniken med hastighetsmätning med hjälp av blåtandssensorer, bland annat för att se om metoden kan användas vid före-efter studier av hastighetsdämpande åtgärder. Resultaten visar att mätningar med blåtandssensorer ger stabila resultat och är tillförlitliga.


2018-05-18

Enkät om trafiksäkerhet genomförs i 50 länder

På trafiksäkerhetskonferensen RS5C presenterades en unik studie om vägtrafikanters attityder som genomförts i 38 länder. Samma metod och identiska enkät gör det möjligt att jämföra de olika länderna och resultaten visar på stora skillnader i både attityder...


2018-05-17

Goda resultat med alkolås

Ett permanent system för alkolås efter rattfylleribrott har funnits i Sverige sedan 2012. En utvärdering visar på goda resultat där de flesta deltagare var nöjda med programmet och upplevde bättre hälsa. En serie studier av VTI presenterades idag på den...


2018-05-16

200 deltagare från 5 kontinenter på trafiksäkerhetskonferens

Idag öppnade trafiksäkerhetskonferensen Road Safety on Five Continents (RS5C) som arrangeras av VTI. Över 200 deltagare från fem kontinenter har kommit för att utbyta erfarenheter och lära sig mer om trafiksäkerhet. Statssekreterare Mattias Landgren höll ett...


2018-05-02

Låga hastighetsbegränsningar följs inte

​ Mätningar under 2017 visar att problemet med överträdelser på vägar med låga hastighetsbegränsningar kvarstår, framför allt på 40- sträckor. Nästan hälften kör för fort vilket ökar risken för olyckor med allvarliga skador och dödsfall som följd.


2018-04-27

Främmande växter sprids via transporter

Forskare på VTI har gjort en kunskapssammanställning när det gäller främmande invasiva växter i Sverige och hur dessa sprids via transportsystemet. I rapporten konstateras att främmande arter som kan bli ett problem bör uppmärksammas i tid, exempelvis genom svartlistning. Studier behöver göras för att undersöka hur trafiken bidrar till spridning lokalt.


2018-03-23

Experten: Finns en övertro på självkörande bilar

i dag skulle klara detta, säger Andreas Tapani på vti. Natten till måndagen miste en kvinna livet...Andreas Tapani, forskningschef på statliga vti.......Källa: Ny Teknik


2018-01-24

Ministern lovar krav på kvinnlig krockdocka

vid Väg- och transportforskningsinstitutet (vti). Inte kommit upp...Källa: Motormännens Riksförbund, Statens Väg- och transportforskningsinstitut (vti). Publicerad : 24 januari 2018 20.21......Källa: svt.se


2018-01-21

VTI: Landsbygden underprioriteras i kollektivtrafikplaneringen

vti: Landsbygden underprioriteras i kollektivtrafikplaneringen...Det visar en studie från Statens väg- och transportforskningsinstitut. vti - alltså Statens väg och transportforskningsinstitut......Källa: Sveriges Radio


2018-01-17

E-handel sämre för klimatet än vanlig handel

...nsportforskningsinstitut. Hushåll som e-handlar mat fortsätter åka lika...Men just bilresorna har inte minskat, säger Malin Henriksson, forskare vid statens väg- och transportforskningsinstitut vti...Källa: Sveriges Radio


2018-01-12

Mer trakasserier, mindre våld mot bussförare

som har gjorts av forskaren Johan Ihlström vid vti, Statens väg- och transportforskningsinstitut.......Källa: Bussmagasinet


2017-12-26

Sopsaltning som miljöbov

vid statens väg- och transportforskningsinstitut, vti.......Källa: svt.se