Корабельников Даниил Иванович, к.м.н., доцент
2-я Брестская ул., д. 5, Москва 123056
Daniil I. Korabelnikov, PhD, Assoc. Prof.
5 2nd Brestskaya Str., Moscow 123056
Ламоткин Андрей Игоревич
2-я Брестская ул., д. 5, Москва 123056
Andrey I. Lamotkin
5 2nd Brestskaya Str., Moscow 123056
Background. A previous analysis of the causes of misclassification of melanocytic and non-melanocytic skin lesions by computer vision programs (CVPs) based on the artificial intelligence (AI) models Derma Onko Check and Melanoma Check revealed systematic deviations in image quality metrics within groups of false-positive and false-negative results. Elimination of these deviations through targeted correction of photo image parameters is a logical step toward improving the diagnostic accuracy of AI-based systems.Objective: To develop a module for correcting photo image parameters, which is capable of normalizing quality metrics to the reference ranges of correctly classified cases, as well as to conduct a quantitative assessment of its impact on the performance of CVPs.Material and methods. Photographic images from an anonymized skin lesion database were subjected to parameter correction. A set of 13 photometric and texture metrics was calculated for each image; the characteristics of correctly classified photo images (true positive and true negative cases) were used as normal ranges. A Python module was developed that implements sequential, independent correction of the following deviating parameters: white balance, gamma correction, adaptive contrast processing, and an unsharp mask. Re-inference of the processed photo images was performed using Tensor Flow Lite (TFLite) models with routing to the corresponding programs Derma Onko Check and Melanoma Check. Performance was assessed by accuracy, sensitivity, and specificity.Results. The developed correction module improved the diagnostic accuracy of AI-based CVPs. During validation of the AI program Derma Onko Check on the dataset of melanocytic neoplasms (n=230), the accuracy increased from 0.909 to 0.926 (+0.017), sensitivity – from 0.949 to 0.961 (+0.012), specificity – from 0.901 to 0.919 (+0.019). During validation of the AI program Melanoma Check on the dataset of melanocytic neoplasms, the accuracy increased from 0.844 to 0.857 (+0.014). During validation of the AI program Derma Onko Check on the dataset of non-melanocytic neoplasms (n=230), the accuracy increased from 0.868 to 0.882 (+0.015). Images with critical defects (overexposed pixels exceeding 55%) were excluded from the inference: seven images for the Derma Onko Check AI program and five images for the Melanoma Check AI program in the melanocytic dataset. No critically defective images were identified in the non-melanocytic tumor dataset.Conclusion. The developed module for correcting image parameters ensures a stable and reproducible improvement in the diagnostic accuracy (sensitivity and specificity) of CVPs. The obtained results confirm the feasibility of integrating such a module into CVPs.
Актуальность. Ранее проведенный анализ причин ошибочной классификации меланоцитарных и немеланоцитарных новообразований кожи программами компьютерного зрения (ПКЗ) на основе моделей искусственного интеллекта (ИИ) Derma Onko Check и Melanoma Check выявил систематические отклонения в метриках качества фотоизображений в группах ложноположительных и ложноотрицательных заключений. Устранение этих отклонений посредством коррекции параметров фотоизображений является закономерным следующим шагом для повышения диагностической точности систем на основе ИИ.Цель: разработка модуля коррекции параметров фотоизображений, нормализующего метрики качества до референсных диапазонов правильно классифицированных случаев, и количественная оценка его влияния на эффективность ПКЗ.Материал и методы. Коррекции параметров подвергали фотоизображения из анонимизированной базы новообразований кожи. Для каждого фотоизображения вычисляли набор из 13 фотометрических и текстурных метрик; в качестве нормальных диапазонов использовали характеристики правильно классифицированных фотоизображений (истинно положительных и истинно отрицательных случаев). Разработан модуль на языке Python, реализующий независимую коррекцию отклоняющихся параметров: баланс белого, гамма-коррекцию, адаптивную обработку контрастности, маску нерезкости. Повторный инференс обработанных фотоизображений осуществляли через модели Tensor Flow Lite (TFLite) программ ИИ Derma Onko Check и Melanoma Check. Эффективность оценивали по показателям точности, чувствительности и специфичности.Результаты. Применение модуля коррекции параметров фотоизображений обеспечило улучшение показателей диагностической точности. При валидации программы ИИ Derma Onko Check на датасете меланоцитарных новообразований (n=230) точность повысилась с 0,909 до 0,926 (+0,017), чувствительность – с 0,949 до 0,961 (+0,012), специфичность – с 0,901 до 0,919 (+0,019). При валидации программы ИИ Melanoma Check на датасете меланоцитарных новообразований точность возросла с 0,844 до 0,857 (+0,014). При валидации программы ИИ Derma Onko Check на датасете немеланоцитарных (n=151) новообразований точность увеличилась с 0,868 до 0,882 (+0,015). При инференсе были пропущены фотоизображения с критическими дефектами (пересвет более 55% пикселей): 7 фотоизображений для программы ИИ Derma Onko Check и 5 – для программы ИИ Melanoma Check в меланоцитарном датасете. В датасете немеланоцитарных новообразований критически дефектных фотоизображений не выявлено.Заключение. Разработанный модуль коррекции параметров фотоизображений обеспечивает устойчивое и воспроизводимое улучшение диагностической точности (чувствительности и специфичности) ПКЗ. Полученные результаты подтверждают целесообразность интеграции подобного модуля в программы ПКЗ.
The authors declare that there are no conflicts of interest present.