Ламоткин Андрей Игоревич, к.м.н.
2-я Брестская ул., д. 5, Москва 123056
Andrey I. Lamotkin, PhD
5 2nd Brestskaya Str., Moscow 123056
Корабельников Даниил Иванович, к.м.н., доцент
2-я Брестская ул., д. 5, Москва 123056
Daniil I. Korabelnikov, PhD, Assoc. Prof.
5 2nd Brestskaya Str., Moscow 123056
Background. The introduction of artificial intelligence (AI)-driven computer vision programs (CVPs) into medical diagnostics has imposed stricter requirements on the quality of input photographic images. Imaging conditions vary significantly across medical fields, necessitating the establishment of field-specific reference ranges for photometric and textural parameters to ensure that AI models maintain reproducible diagnostic accuracy. A systematic analysis of the causes of erroneous classifications by CVPs is essential for their clinical application and further improvement.
Objective: To develop a generalized methodology for analyzing the causes of classification errors in photographic images by processed by AI-driven CVPs. The proposed methodology enables the establishment of reference ranges for photometric and textural parameters for specific medical imaging applications, as well as the development of criteria for excluding images with anomalous values when during preprocessing in medical software systems.
Material and methods. The methodology includes eight sequential stages. A dataset of photographic images verified by histological and dermatoscopic examinations was compiled, classified using the CVPs, and assigned to either of the four standard categories (true positive, true negative, false positive, and false negative). For each photographic image, thirteen photometric and textural quality metrics were calculated, including: brightness, contrast, sharpness, entropy, high-frequency saturation, proportions of overexposed and underexposed pixels, and mean values and standard deviations of the color channels. Systematic between-group differences were identified using one-way ANalysis Of VAriance (ANOVA), Welch's test, and Spearman's rank correlation analysis. The image regions that determine the neural network decision were localized using explainable AI techniques. Reference ranges were established from the characteristics of correctly classified photographs (true positive and true negative categories), defined as intervals of [mean − 2 std; mean + 2 std]. The effectiveness of parameter normalization was assessed by the improvement in accuracy, sensitivity, and specificity.
Results. The proposed methodology was tested using the Derma Onko Check and Melanoma Check CVPs as an example. Its application allowed statistically significant intergroup differences in photometric and textural parameters to be identified (F=13.50–39.31, p<0.001 for the main metrics of the one-way ANOVA; F=5.41–72.29, p<0.001 for the conclusion category by the two-way ANOVA). The analysis confirmed that the observed patterns were independent of the specific CVP used (p=0.39–0.96 for the program factor; p=0.15–0.92 for the interaction effect). Multivariate analysis further demonstrated significant differences among classification outcome groups based on the combined set of image quality metrics (Wilks' lambda 0.639; F=10.37; p<0.001) and established key independent predictors of classification errors through logistic regression (Fast Fourier Transform blur: odds ratio (OR) 3.08; sharpness: OR 0.31; proportion of overexposed pixels: OR 1.64). Reference ranges were established for brightness (0.467–0.942), contrast (0.066–0.333), entropy (3.626–5.590), and high-frequency saturation (23.82–56.48), along with critical thresholds for image exclusion from inference (proportion of overexposed or darkened pixels greater than 55%). The use of a targeted preprocessing module for normalization of deviating parameters falling outside the reference ranges ensured an increase in diagnostic accuracy by +0.014–0.017 in absolute values across all studied CVP configurations, with a predominant increase in specificity (+0.015–0.019).
Conclusion. The proposed methodology for analyzing the causes of erroneous classification of photographic images by AI-driven CVPs was tested on the example of Derma Onko Check and Melanoma Check using a limited dataset (460 photographic images representing two morphological subgroups of melanocytic skin tumors). The extension of the methodology to other areas of medical imaging (ophthalmology, histology, or ultrasound diagnostics), where image acquisition conditions differ substantially, will require validation on representative multicenter datasets with recalculation of parameter reference ranges to reflect the imaging specifics of each domain. The integration of modules for detecting and excluding images with abnormal metric values constitutes a natural practical implication of the proposed methodology and ensures a reproducible increase in the clinical accuracy of AI-driven CVP systems.
Актуальность. Внедрение программ компьютерного зрения (ПКЗ) на основе технологий искусственного интеллекта (ИИ) в практику медицинской диагностики предъявляет принципиально новые требования к качеству входных фотоизображений. Условия фотосъемки в различных областях медицины существенно различаются, в связи с чем референсные диапазоны фотометрических и текстурных параметров, при которых модели ИИ обеспечивают воспроизводимую диагностическую точность, должны устанавливаться отдельно для каждой предметной области. Систематический анализ причин ошибочных заключений ПКЗ выступает необходимым условием их клинического применения и совершенствования.
Цель: разработка обобщенной методологии анализа причин ошибочной классификации фотоизображений ПКЗ на основе моделей ИИ, обеспечивающей установление референсных диапазонов фотометрических и текстурных параметров для конкретной области медицинской визуализации, а также формирование критериев исключения изображений с аномальными значениями параметров при работе модулей предобработки в составе медицинских приложений.
Материал и методы. Методология включает восемь последовательных этапов. Сформирован набор фотоизображений с верифицированными заключениями на основани гистологических исследований и дерматоскопии, осуществлена их классификация ПКЗ и категоризация заключений по четырем стандартным категориям (истинно положительные, истинно отрицательные, ложноположительные, ложноотрицательные). Для каждого фотоизображения вычисляли набор из 13 фотометрических и текстурных метрик качества: яркость, контраст, резкость, энтропия, высокочастотная насыщенность, доли пересвеченных и затемненных пикселей, средние значения и стандартные отклонения цветовых каналов. Систематические межгрупповые различия выявляли посредством однофакторного дисперсионного анализа (англ. ANalysis Of VAriance, ANOVA), критерия Уэлча и корреляционного анализа по Спирмену. Локализацию областей фотоизображений, определяющих решение нейронной сети, осуществляли методами объяснимого ИИ. Референсные диапазоны устанавливали по характеристикам правильно классифицированных фотоизображений (категории истинно положительных и истинно отрицательных результатов) как интервалы [mean − 2·std; mean + 2·std]. Эффективность нормализации параметров оценивали по приросту точности, чувствительности и специфичности.
Результаты. На примере дерматологических ПКЗ Derma Onko Check и Melanoma Check показано, что предложенная методология позволяет выявить статистически значимые межгрупповые различия фотометрических и текстурных параметров (F=13,50–39,31 и p<0,001 для основных метрик ANOVA; F=5,41–72,29 и p<0,001 для категории заключения по ANOVA), подтвердить независимость закономерностей от программы ПКЗ (p=0,39–0,96 для фактора программы; p=0,15–0,92 для эффекта взаимодействия), верифицировать различие групп заключений ПКЗ по совокупности метрик (лямбда Уилкса 0,639; F=10,37; p<0,001) при многомерном анализе и установить ключевые независимые предикторы ошибочного заключения по логистической регрессии (размытие по быстрому преобразованию Фурье: отношение шансов (англ. odds ratio, OR) 3,08; резкость: OR 0,31; доля пересвеченных пикселей: OR 1,64). Установлены референсные диапазоны яркости (0,467–0,942), контраста (0,066–0,333), энтропии (3,626–5,590) и высокочастотной насыщенности (23,82–56,48), а также критические пороги (доля пересвеченных или затемненных пикселей более 55%), при превышении которых фотоизображение исключается из инференса. Применение модуля адресной предобработки, нормализующего отклоняющиеся параметры до референсных диапазонов, обеспечило прирост диагностической точности на +0,014–0,017 в абсолютных значениях во всех исследованных конфигурациях ПКЗ при преимущественном повышении специфичности (+0,015–0,019).
Заключение. Предложенная методология анализа причин ошибочной классификации фотоизображений с помощью ПКЗ апробирована в ПКЗ Derma Onko Check и Melanoma Check на ограниченной выборке (460 фотоизображений, две морфологические подгруппы меланоцитарных опухолей кожи). Распространение методологии и установленных референсных диапазонов на другие области медицинской визуализации (офтальмологию, гистологию, ультразвуковую диагностику), где условия получения фотоизображений принципиально различаются, требует валидации на представительных мультицентровых выборках с пересчетом референсных диапазонов параметров в соответствии с условиями получения фотоизображений каждой предметной области. Реализация в составе программ модулей исключения изображений с аномальными значениями метрик является закономерным практическим следствием применения методологии и обеспечивает воспроизводимое повышение клинической точности систем ПКЗ на основе ИИ.
The authors declare that there are no conflicts of interest present.