Artificial intelligence in lung cancer screening: assessment of the diagnostic accuracy of the algorithm analyzing low-dose computed tomography

S P Morozov,V G Klyashtorny,A V Vladzimirskiy,I A Fedulova,L A Vlasenkov,V A Gombolevskiy

doi:10.21292/2075-1230-2020-98-8-24-31

Abstract

The diagnostic accuracy of the artificial intelligence algorithm aimed to detect lesions on low-dose computer tomograms has been independently assessed. The dataset formed as part of the lung cancer screening program in Moscow was used. The following indicators have been defined: sensitivity – 0.817%, specificity – 0.925%, accuracy – 0.860%, area under the characteristic curve – 0.930. High accuracy rates demonstrated through the independent assessment indicate a good reproducibility of the results by artificial intelligence using independent data about the population of Moscow

Highlights

Проведена независимая оценка диагностической точности алгоритма искусственного интеллекта для выявления очагов поражения на низкодозовых компьютерных томограммах
The dataset formed as part of the lung cancer screening program in Moscow was used
High accuracy rates demonstrated through the independent assessment indicate a good reproducibility of the results by artificial intelligence using independent data about the population of Moscow

Summary

Материалы и методы

Проведено слепое ретроспективное диагностическое исследование в соответствии с методологией для испытаний ИИ в сфере лучевой диагностики [2, 17]. Датасет для исследования сформирован в 2019 г. В НПКЦ ДиТ ДЗМ с использованием базы данных результатов программы скрининга рака легкого методом НДКТ [3]. Общие критерии для подгрупп «норма» и «патология»:. После первичной НДКТ для скрининга верифицировано ЗНО легкого. При отсутствии расхождений во мнении исследование относили к группе «норма» или к группе «патология». При наличии расхождений исследование интерпретировалось совместно с участием рентгенолога с субспециализацией, после чего исследование относили к группе «норма» или к группе «патология». Trajanovski et al (2019) для анализа НДКТ легких. Второй этап – нейронная сеть (архитектура ResNet), регуляризованная с помощью случайного отключения нейронов (dropout) и предназначенная для анализа всего исследования. Порог активации для данного алгоритма ИИ составил 9,9% риска наличия рака легкого. Уровень порога активации (cut off) по методикам Юндена и Лю составил 0,166 (16,6%), по методике поиска точки – 0,102 (10,2%)

Результаты исследования

Собственные данные