Inter-evaluator consistency in road safety audits: Evidence from on-site and hybrid evaluations

Authors

DOI:

https://doi.org/10.58922/transportes.v34.e3223

Keywords:

Road Safety Audit, Hybrid inspection, Inter-evaluator variability, Standardized checklist, Audit objectivity.

Abstract

Road Safety Audits are a key instrument in proactive risk management for transport infrastructure, though their effectiveness may be influenced by evaluator variability and subjective judgment. This study empirically assessed variability, consistency, and reliability across two inspection modes: conventional on-site inspections and hybrid inspections combining virtual assessment with targeted field verification. Six auditors examined a 10 km section of the BR-116 highway in São Paulo, Brazil, using a 126-item checklist. Statistical analysis, employing the Relative Dispersion Index (RDI) and the Intraclass Correlation Coefficient (ICC, two-way random effects, absolute agreement), indicated moderate reliability for on-site inspections (ICC = 0.584), good reliability for hybrid inspections (ICC = 0.824), and overall moderate reliability (ICC = 0.629). Hybrid inspections demonstrated greater consistency, with variability primarily linked to interpretive complexity of checklist items. These findings provide empirical support for hybrid approaches, fostering more reproducible, scalable, and transparent audit practices.

Downloads

Download data is not yet available.

Author Biographies

Rogério Lemos Ribeiro, Faculty of Civil Engineering (FECIV) - Federal University of Uberlândia

O Professor Rogério possui Graduação em ENGENHARIA CIVIL pela UNESP/Bauru (2002), Mestrado em Engenharia de Transportes pela Escola de Engenharia de São Carlos - EESC-USP (2006) e Doutorado em Transportes pelo Departamento de Engenharia Civil e Ambiental - ENC - Universidade de Brasília - UnB (2019). Atualmente é Professor Associado na Faculdade de Engenharia Civil - Universidade Federal de Uberlândia (UFU). Tem experiência na área de Engenharia de Transportes, com ênfase em rodovias e ferrovias. Possui experiência também em projetos de pavimento, geométrico, drenagem, engenharia de tráfego, estabilidade de taludes, projeto de sinalização e segurança viária e Auditoria de Segurança Viária. Atua no Programa de Pós-Graduação em Engenharia Civil (PPGEC/UFU), desenvolvendo pesquisas voltadas para a promoção da segurança em rodovias e ferrovias.

Giulliano Renato Molinero, Faculty of Civil Engineering (FECIV) - Federal University of Uberlândia

Giulliano Renato Molinero possui graduação em Engenharia Civil pela UNIUBE (1992), graduação em Administração de Empresas pela - AIEC (2010), graduação em Ciências Econômicas pela - UPIS (2011), especialização em Regulação de Transportes Terrestres pela UFRJ (2008), especialização em Segurança Viária pelo INPROTRAN (2025), mestrado em Transportes pela UnB (2001) e doutorado em Geotecnia pela UnB (2007). Atualmente é aluno em estágio pós-doutoral, na Faculdade de Engenharia Civil, da UFU, além especialista em regulação da ANTT. Possui experiência na área de Engenharia Civil (Transportes e Geotecnia), com ênfase em rodovias atuando principalmente na área de Segurança Viária e pavimentos.

Pedro Henrique Vicentini da Silva, São Paulo State University (UNESP)

Graduado em Engenharia Civil pela Universidade Estadual Paulista 'Júlio de Mesquita Filho' - no campus de Bauru (UNESP - FEB) e atualmente Mestrando em Engenharia de Produção pela mesma instituição, com ênfase em Gestão de Operações, desenvolvendo pesquisa voltada à gestão de segurança viária. Participação em projetos de iniciação científica nas áreas de mobilidade urbana, segurança no tráfego, análise de segurança viária e avaliação de intervenções com aplicação do método antes e depois. Atua com ferramentas de planilha, análise geoespacial, estatística de acidentes, meta-análise e desenvolvimento de indicadores para suporte à tomada de decisão em sistemas de transporte.

Barbara Stolte Bezerra, São Paulo State University (UNESP),

Possui graduação em Engenharia Civil pela Universidade de São Paulo (1995), mestrado em Arquitetura e Urbanismo pela Universidade Federal da Bahia (2001) e doutorado em Engenharia de Transportes pela Universidade de São Paulo (2007). Foi professora adjunto I da Faculdade de Direito de São Carlos e realizou Pós-doutorado no Departamento de Transportes da EESC/USP 2011. Atualmente é professora Associado MS 5.3 do Departamento de Engenharia Civil da FEB/UNESP e do Programa de Pós-Graduação em Engenharia de Produção (PPGEP) da FE-Bauru, atuando principalmente nas seguintes áreas: engenharia de tráfego, segurança viária, análise custo/benefício de alternativas viárias (projeto geométrico e operação), auditoria de segurança viária (projeto geométrico), modelos de previsão de acidentes, acessibilidade e mobilidade urbana; análise de ciclo de vida de projetos de transportes; análise da viabilidade de materiais alternativos para inserção em projetos de transportes. Bolsista em Produtividade em Pesquisa CNPq - PQ 1D.

Michelle Andrade, University of Brasília (UnB)

A professora Michelle é Engenheira Civil pela Universidade Federal de Uberlândia, mestre e doutora em Transportes pela Universidade de Brasília. Compõe o quadro docente do curso de graduação em Engenharia Civil e do Programa de Pós-Graduação em Transportes (PPGT) do qual é vice-coordenadora. É líder do Grupo de Pesquisa em Segurança Viária (GPSV) e coordena o Projeto “Aprimorando os Sistemas de Dados Rodoviários no Brasil”, desenvolvido em conjunto com a Polícia Rodoviária Federal (PRF),o Departamento Nacional de Infraestrutura de Transportes (DNIT), a Secretaria Nacional de Trânsito (Senatran) e financiado pelo Fundo das Nações Unidas para a Segurança Viária (UNRSF). Pesquisa sistemas inteligentes aplicados ao controle de tráfego desde 2002, e desde 2013 atua em segurança viária.

References

Ahmed, I., O. Che Puan, & C. R. Ismail (2013). A comparative review of road safety audit guidelines of selected countries.

Jurnal Teknologi 65(3), 67–74. DOI:10.11113/jt.v65.2148. DOI: https://doi.org/10.11113/jt.v65.2148

AlHamad, S., M. Almallah, M. N. Naser, W. K. Alhajyaseen, & M. P. de Ross (2023). Examining the role of road safety audits worldwide: exploring road safety experts’ opinions. International Journal of Injury Control and Safety Promotion 30(1), 106–115. DOI:10.1080/17457300.2022.2114090. DOI: https://doi.org/10.1080/17457300.2022.2114090

Ashish, S. Y. M. (2023). Road Safety Audit (RSA) guidelines of selected nations: a comparative review. Journal of Road Safety 34(4), 42–50. DOI:10.33492/JRS-D-23-209291. DOI: https://doi.org/10.33492/JRS-D-23-209291

Baklanova, K., E. Voevodin, E. Cheban, A. Askhabov, & A. Kashura (2021). Road safety audit as a tool for improving safety on the intercity road network. Transportation Research Procedia 54, 682–691. DOI:10.1016/j.trpro.2021.02.121. DOI: https://doi.org/10.1016/j.trpro.2021.02.121

Bliss, T. & J. Breen (2013). Road safety management capacity reviews and safe system projects guidelines (updated edition). Technical report, Global Road Safety Facility. URL: https://www.worldbank.org/en/topic/transport/publication/ road-safety-management-capacity-review-guidelines [visited 06/14/2026].

Calderón Ramírez, J. A., I. Nuñez López, L. G. García Gómez, & M. A. Montoya Alcaraz (2023). Main guidelines in road safety audits: a literature review. Frontiers in Built Environment 9, 1–13. DOI:10.3389/fbuil.2023.1282251. DOI: https://doi.org/10.3389/fbuil.2023.1282251

Cleland, C. L., S. Ferguson, F. Kee, P. H. J. Kelly, A. J. Williams, G. Nightingale, A. Cope, C. E. M. Foster, K. E. Milton, M. P. Kelly, R. G. Jepson, & R. F. Hunter (2021). Adaptation and testing of a microscale audit tool to assess liveability using Google Street View: MAPS-liveability. Journal of Transport & Health 22, 101226. DOI:10.1016/j.jth.2021.101226. DOI: https://doi.org/10.1016/j.jth.2021.101226

Elvik, R., T. V. Høye, & M. Sørensen (2009). The Handbook of Road Safety Measures (2 ed.). Bingley: Emerald Group Publishing. DOI: https://doi.org/10.1108/9781848552517

EU (2008). Directive 2008/96/EC of the European Parliament and of the Council of 19 November 2008 on road infrastructure safety management. European Union. URL: http://data.europa.eu/eli/dir/2008/96/2019-12-16 [visited 06/14/2026].

Google (2026). Google Earth Pro (Version 7.3). Google. URL: https://earth.google.com [visited 06/14/2026].

Hanibuchi, T., S. Nagata, D. Banis, H. Shobe, & T. Nakaya (2024). Urban streetscape changes in Portland, Oregon: a longitudinal virtual audit. The Professional Geographer 76(2), 180–193. DOI:10.1080/00330124.2023.2287166. DOI: https://doi.org/10.1080/00330124.2023.2287166

Hildebrand, E. & F. Wilson (1999). Road safety audit guidelines. Technical report, University of New Brunswick Transportation Group, Canadá.

Huvarinen, Y., E. Svatkova, E. Oleshchenko, & S. Pushchina (2017). Road safety audit. Transportation Research Procedia 20, 236–241. DOI:10.1016/j.trpro.2017.01.061. DOI: https://doi.org/10.1016/j.trpro.2017.01.061

Jamroz, K., M. Budzyński, W. Kustra, L. Michalski, & S. Gaca (2014). Tools for road infrastructure safety management – Polish experiences. Transportation Research Procedia 3, 730–739. DOI:10.1016/j.trpro.2014.10.052. DOI: https://doi.org/10.1016/j.trpro.2014.10.052

Koo, T. K. & M. Y. Li (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine 15(2), 155–163. DOI:10.1016/j.jcm.2016.02.012. DOI: https://doi.org/10.1016/j.jcm.2016.02.012

Nodari, C. T. & L. A. Lindau (2001). Auditoria de segurança viária. Transportes 9(2), 48–66. DOI:10.14295/transportes. v9i2.170. DOI: https://doi.org/10.14295/transportes.v9i2.170

Norman, G. (2010). Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education 15, 625–632. DOI:10.1007/s10459-010-9222-y. DOI: https://doi.org/10.1007/s10459-010-9222-y

Queralt, A., J. Molina-García, M. Terrón-Pérez, E. Cerin, A. Barnett, A. Timperio, J. Veitch, R. Reis, A. A. P. Silva, A. Ghekiere, D. Van Dyck, T. L. Conway, K. L. Cain, C. M. Geremia, & J. F. Sallis (2021). Reliability of streetscape audits comparing on-street and online observations: MAPS-Global in 5 countries. International Journal of Health Geographics 20(1), 6. DOI:10.1186/s12942-021-00261-5. DOI: https://doi.org/10.1186/s12942-021-00261-5

Ribeiro, R. L. (2019). Procedimento para auditoria de segurança viária incluindo avaliações em ambientes virtuais (Publicação T.TD-006/2019). Brasília, DF: Universidade de Brasília.

Ribeiro, R. L. & M. Andrade (2021). Uso de ambientes virtuais para vistorias técnicas em auditoria e inspeção de segurança viária: um estudo de caso em trecho rural de rodovia duplicada. Transportes 29(1), 86–102. DOI:10.14295/transportes. v29i1.2216. DOI: https://doi.org/10.14295/transportes.v29i1.2216

Saito, Y., Y. Oguma, S. Inoue, R. Breugelmans, H. Kikuchi, K. Oka, S. Okada, N. Takeda, K. L. Cain, & J. F. Sallis (2022). Inter-rater reliability of streetscape audits using online observations: MAPS Global in Japan. Preventive Medicine Reports 30, 102043. DOI:10.1016/j.pmedr.2022.102043. DOI: https://doi.org/10.1016/j.pmedr.2022.102043

Schopf, A. R. (2006). Proposição de uma lista de verificação para revisão de segurança viária de rodovias. MSc. thesis, Escola de Engenharia do Rio Grande do Sul, Porto Alegre. URL: http://hdl.handle.net/10183/7540 [visited 06/14/2026].

STA (2019). Saving Lives Beyond 2020: The Next Steps. Stockholm: Swedish Transport Administration.

Vardaki, S., E. Bekiaris, & G. Kanellaidis (2018). Addressing education and training needs of road safety auditors. Cogent Engineering 5(1), 1525814. DOI:10.1080/23311916.2018.1525814. DOI: https://doi.org/10.1080/23311916.2018.1525814

WHO (2018). Global status report on road safety 2018. Geneva: World Health Organization. URL: https://www.who.int/ publications/i/item/9789241565684 [visited 06/14/2026].

Downloads

Published

2026-08-21

How to Cite

Ribeiro, R. L., Molinero, G. R., Vicentini da Silva, P. H., Stolte Bezerra, B. and Andrade, M. (2026) “Inter-evaluator consistency in road safety audits: Evidence from on-site and hybrid evaluations”, Transportes, 34, p. e3223. doi: 10.58922/transportes.v34.e3223.

Issue

Vol. 34 (2026)

Section

Articles

License

Copyright (c) 2026 Rogério Lemos Ribeiro, Giulliano Renato Molinero, Pedro Henrique Vicentini da Silva, Barbara Stolte Bezerra, Michelle Andrade

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Authors who submit papers for publication by TRANSPORTES agree to the following terms:

  1. The authors retain the copyright and grant Transportes the right of first publication of the manuscript, without any financial charge, and waive any other remuneration for its publication by ANPET.
  2. Upon publication by Transportes, the manuscript is automatically licensed under the Creative Commons License CC BY 4.0 license. This license permits the work to be shared with proper attribution to the authors and its original publication in this journal.
  3. Authors are authorized to enter into additional separate contracts for the non-exclusive distribution of the version of the manuscript published in this journal (e.g., publishing in an institutional repository or as a book chapter), with recognition of the initial publication in this journal, provided that such a contract does not imply an endorsement of the content of the manuscript or the new medium by ANPET.
  4. Authors are permitted and encouraged to publish and distribute their work online (e.g., in institutional repositories or on their personal websites) after the editorial process is complete. As Transportes provides open access to all published issues, authors are encouraged to use links to the DOI of their article in these cases.
  5. Authors confirm they have obtained all required employer permissions for the publication and CC BY 4.0 licensing of the manuscript, particularly if the employer holds any claim to the manuscript's copyright. Authors assume all responsibility for employer-related copyright issues, releasing ANPET and Transportes from any related liability.
  6. Authors assume full responsibility for the content of the manuscript, including the necessary and appropriate authorizations for the disclosure of collected data and obtained results, releasing ANPET and Transportes from any responsibility in this regard.

Last update: 11/27/2025