Корабельников Даниил Иванович, к.м.н., доцент
2-я Брестская ул., д. 5, Москва 123056
Daniil I. Korabelnikov, MD, PhD, Assoc. Prof.
5 2nd Brestskaya Str., Moscow 123056
Ламоткин Андрей Игоревич, к.м.н.
2-я Брестская ул., д. 5, Москва 123056
Andrey I. Lamotkin, MD, PhD
5 2nd Brestskaya Str., Moscow 123056
Ламоткин Игорь Анатольевич, д.м.н., проф.
2-я Брестская ул., д. 5, Москва 123056; Госпитальная пл., д. 1–3, стр. 1, Москва 105094
Igor A. Lamotkin, Dr, Sci. Med., Prof.
5 2nd Brestskaya Str., Moscow 123056; 1–3 bldg 1 Gospitalnaya Sq., Moscow 105229
Background. Standard error matrices systematically underestimate the clinical value of diagnostic artificial intelligence (AI) tools by misclassifying cautionary conclusions regarding histologically benign, yet clinically suspicious neoplasms with clinical signs of malignancy as false-positive outcomes.
Objective: To develop and validate a methodology for assessing the clinical effectiveness and accuracy of diagnostic AI tools in dermato-oncology, incorporating clinical caution alertness as an independent metric.
Material and methods. A total of 342 skin lesions were evaluated at the Burdenko Main Military Clinical Hospital (2025–2026). While a standard error matrix was used or the formal accuracy assessment, the clinical evaluation relied on two newly developed: a four-category clinical effectiveness system (complete concordance, concordance in clinical caution, discordance in clinical caution, complete discordance), and a clinical accuracy formula derived from a clinical case matrix (Justified Conclusion, Unjustified Conclusion, Missed Justified Conclusion and Not Missed Justified Conclusion). Wilson confidence intervals (CIs) were applied.
Results. The formal evaluation yielded an accuracy was of 89.7% (100.0% sensitivity, 84.8% specificity). The analysis of clinical effectiveness revealed complete concordance in 82.2% of cases, concordance in clinical caution in 12.9%, discordance in clinical caution in 1.2%, and complete discordance in 3.8%. Clinical accuracy metrics were as follows: 98.5% sensitivity (95% CI 94.6–99.6), 88.1% specificity (95% CI 83.0–91.8), 92.1% accuracy (95% CI 88.8–94.5).
Conclusion. Relying solely on the formal diagnostic accuracy of AI tools underestimates their clinical value. The proposed clinical accuracy and effectiveness metrics ensure an objective assessment of AI tools in relation to the real-world tasks in dermatooncological patient routing.
Актуальность. Оценка диагностической эффективности программ искусственного интеллекта (ИИ) по стандартной матрице ошибок систематически занижает их клиническую ценность, поскольку расценивает онкологическую настороженность по гистологически доброкачественным новообразованиям с клиническими признаками злокачественности как ложноположительный результат.
Цель: разработать методологию оценки клинической эффективности и клинической точности диагностических программ ИИ в дерматоонкологии, учитывающую онкологическую настороженность как самостоятельную клиническую ценность.
Материал и методы. Оценено 342 новообразования кожи (ФГБУ «Главный военный клинический госпиталь им. академика Н.Н. Бурденко» Минобороны России, 2025–2026 гг.). Для формальной оценки точности применяли стандартную матрицу ошибок. Для клинической оценки разработаны система четырех категорий клинической эффективности и формула клинической точности на основе матрицы клинических случаев. Доверительные интервалы (ДИ) рассчитаны методом Уилсона.
Результаты. Формальная точность составила 89,7% (чувствительность – 100,0%, специфичность – 84,8%). Клиническая эффективность: полное совпадение – 82,2%, совпадение по онконастороженности – 12,9%, несовпадение по онконастороженности – 1,2%, полное несовпадение – 3,8%. Клиническая точность: клиническая чувствительность – 98,5% (95% ДИ 94,6–99,6), клиническая специфичность – 88,1% (95% ДИ 83,0–91,8), клиническая точность – 92,1% (95% ДИ 88,8–94,5).
Заключение. Учет формальной точности диагностики программами ИИ занижает клиническую ценность программ ИИ. Предложенные показатели оценки клинической точности и эффективности обеспечивают объективную оценку программы ИИ применительно к реальным задачам дерматоонкологической маршрутизации.
The authors declare that there are no conflicts of interest present.