Watch the traffic signal: a signal state extraction system for naturalistic driving videos

Dongxi Zheng
Madhav V. Chitturi
David A. Noyce
John Lee

Naturalistic driving studies (NDS) are revolutionizing road safety research. Naturalistic driving data provide a new window into driver behavior that promises a deeper understanding than was ever possible with crash data, roadside observations, or driving simulator experiments. NDS collect extensive vehicle network data, vehicle internal videos (e.g., drivers and passengers), and vehicle external videos (e.g., forward roadway). The video record of the driver and surrounding road situation often provide a more revealing account of driver behavior. Data size becomes a double edged sword for most NDS. Fully or partially automated procedures are needed for data reduction. Both intentional and unintentional violations of traffic signals can cause severe consequences, like fatal right-angle crashes. Knowing the signal state when the driver navigated through the intersection is the first step towards judging the driver’s compliance and analyzing deeper human factors issues. A system that codes traffic signal state from georeferenced front-view videos was developed for use with the Second Strategic Highway Research Program (SHRP2) NDS data. GPS coordinates and a free online map database are used to identify candidate frames from lengthy videos for computer vision processing. The computer vision algorithm uses color histograms and shape matching to detect traffic signals. Vehicle movement is used to select, from multiple signals the one corresponding to the vehicle’s traffic lane. Temporal relationship between frames is employed for the purpose of refining detection results. Experiments were conducted on daytime videos and showed reasonable performance given the severe challenges posed by the SHRP2 data. Misclassifications were primarily due to other vehicles’ taillights, reddish yellow signals, yellowish red signals, green traffic signs, etc. Misses were due to distant frames with very few pixels corresponding to the signals and reduced color conspicuity compared to background scenes (e.g., green signals and the sky look similar). The system is an insightful first step towards using computer vision techniques to support signal state coding of the large volumes of naturalistic driving video data. Challenges revealed by the experimental results are valuable knowledge for future improvement.

TRÄFFA OSS


5-6
dec

Vision Zero for Sustainable Road Safety in the Baltic Sea Region

Konferensen Vision Zero for Sustainable Road Safety in the Baltic Sea Region arrangeras i Vilnius. VTI medverkar i organiserandet av konferensen och som talare.
9-10
jan

Transportforum 2019

Transportforum 2019 genomförs 9-10 januari i Konsert och kongress Linköping. 
25-27
aug

ICTTP 2020

ICTTP, International Conference on Traffic and Transport Psychology, arrangeras i Göteborg. 

SENASTE NYTT


2018-11-08

Ny teknik för att undersöka resvanor öppnar möjligheter

Alternativa resvaneundersökningar kan ibland ersätta traditionella, men då måste syftet vara tydligt. VTI har testat insamlingsmetoderna webbenkät och mobilapp under olika förutsättningar i en pilotundersökning tillsammans med Trafikanalys och Trivector.


2018-11-07

VTI kartlägger cykelträngsel

Cykelträngseln i storstäder som Stockholm och Göteborg – det är en fråga som engagerar. Forskare på VTI har undersökt cykelflöden för att ta reda på om är problemet så stort så att det får samhällsekonomiska konsekvenser.


2018-11-01

Regeringsuppdrag om trafikens samhällsekonomiska kostnader överlämnat

VTI har sedan 2013 haft flera uppdrag från regeringen att ta fram underlag om trafikens samhällsekonomiska kostnader. 1 november 2018 redovisades det senaste uppdraget, Samkost 3. Uppdraget har omfattat alla trafikslag, men fokus har legat på sjö- och luftfart.


2018-10-26

Pedagogikutveckling med tågsimulatorer

Det är hög koncentration och många aha-upplevelser när tågklarerare får prova på att sitta ”på andra sidan” mot var de vanligtvis befinner sig. De är de som styr vilka tåg som ska köra och när. I VTI:s tågsimulatorer får de i stället prova på miljön och...


2018-10-19

Dubbdäck till cykel testade

Halka är den dominerande orsaken bakom cyklisternas singelolyckor under tiden december-februari. Ett sätt att minska olycksrisken är att använda dubbdäck. VTI har, på uppdrag av Länsförsäkringars forskningsfond, testat ett antal däck.


2018-10-15

VTI utvecklar effektivare halkbekämpning

Genom rätt åtgärder på rätt plats och tid kan halkbekämpning rädda liv, säkra arbetsmiljön och minska samhällskostnaderna. Nu finns digital teknik som ska förbättra vinterväghållningen. VTI har tagit fram systemet tillsammans med Svevia och B&M systemutveckling.


2018-11-08

Ny teknik för att undersöka resvanor öppnar möjligheter

Alternativa resvaneundersökningar kan ibland ersätta traditionella, men då måste syftet vara tydligt. VTI har testat insamlingsmetoderna webbenkät och mobilapp under olika förutsättningar i en pilotundersökning tillsammans med Trafikanalys och Trivector.


2018-11-07

VTI kartlägger cykelträngsel

Cykelträngseln i storstäder som Stockholm och Göteborg – det är en fråga som engagerar. Forskare på VTI har undersökt cykelflöden för att ta reda på om är problemet så stort så att det får samhällsekonomiska konsekvenser.


2018-11-01

Regeringsuppdrag om trafikens samhällsekonomiska kostnader överlämnat

VTI har sedan 2013 haft flera uppdrag från regeringen att ta fram underlag om trafikens samhällsekonomiska kostnader. 1 november 2018 redovisades det senaste uppdraget, Samkost 3. Uppdraget har omfattat alla trafikslag, men fokus har legat på sjö- och luftfart.


2018-10-26

Pedagogikutveckling med tågsimulatorer

Det är hög koncentration och många aha-upplevelser när tågklarerare får prova på att sitta ”på andra sidan” mot var de vanligtvis befinner sig. De är de som styr vilka tåg som ska köra och när. I VTI:s tågsimulatorer får de i stället prova på miljön och...


2018-10-19

Dubbdäck till cykel testade

Halka är den dominerande orsaken bakom cyklisternas singelolyckor under tiden december-februari. Ett sätt att minska olycksrisken är att använda dubbdäck. VTI har, på uppdrag av Länsförsäkringars forskningsfond, testat ett antal däck.


2018-10-15

VTI utvecklar effektivare halkbekämpning

Genom rätt åtgärder på rätt plats och tid kan halkbekämpning rädda liv, säkra arbetsmiljön och minska samhällskostnaderna. Nu finns digital teknik som ska förbättra vinterväghållningen. VTI har tagit fram systemet tillsammans med Svevia och B&M systemutveckling.