Сверточные нейронные сети и визуальные трансформеры в диагностике опухолей кожи: сравнительный анализ эффективности моделей искусственного интеллекта в программах компьютерного зрения

Актуальность. При применении программ компьютерного зрения в моделях искусственного интеллекта (ИИ) для целей диагностики кожных опухолей, особенно меланомы, критически важны минимальные ошибки классификации. Новая архитектура моделей – визуальные трансформеры (англ. vision transformer, ViT) демонстрируют перспективные результаты, однако их эффективность для классификации кожных новообразований изучена недостаточно. Данное исследование является одним из первых, где проведено прямое сравнение сверточных нейронных сетей (англ. convolutional neural network, CNN) и ViT на клинически значимых метриках, что особенно важно для внедрения ИИ в дерматологическую и онкологическую практику.

Цель: сравнить эффективность CNN и ViT в задачах бинарной классификации опухолей кожи: «меланома / не меланома» и «доброкачественное/злокачественное».

Материал и методы. В исследовании сравнивалась эффективность программ компьютерного зрения (приложения для смартфона) с использованием архитектуры CNN (MobileNetV2, Xception) и трансформера ViT. Тестирование проводилось на независимых наборах данных (3000 и 4800 изображений соответственно) с оценкой по метрикам точности, чувствительности, специфичности. Применялись методы аугментации, балансировки классов, оптимизации гиперпараметров и очистки данных от артефактов.

Результаты. ViT показал превосходство над CNN: в задаче «меланома / не меланома» точность составила 92,93% против 88% у Xception, а в задаче «доброкачественное/злокачественное» – 91,35% против 85%. Модель трансформера продемонстрировала лучшую специфичность (до 95%).

Заключение. ViT обеспечивает более высокую точность за счет анализа глобальных паттернов, но требует тщательной настройки и качественных данных. CNN остаются стабильным решением при ограниченных данных. Для клинического применения рекомендовано комбинирование обеих архитектур, позволяющее повысить эффективность диагностики.

1. Schaumburg F., Berli C. Challenges and proposed solutions for optical reading on point-of-need testing systems. Front Sensors. 2023; 4. https://doi.org/10.3389/fsens.2023.1327240.

2. Visalini S., Kanagavalli R. A comprehensive survey of pneumonia diagnosis: image processing and deep learning advancements. In: 2023 3rd International Conference on Innovative Mechanisms for Industry Applications (ICIMIA). https://doi.org/10.1109/ICIMIA60377.2023.10426403.

3. Prabha S., Gupta S., Pandey S.P. Deep learning for medical image segmentation using convolutional neural networks. In: 2024 International Conference on Optimization Computing and Wireless Communication (ICOCWC). https://doi.org/10.1109/ICOCWC60930.2024.10470841.

4. Das M., Sambodhi P.P., Khare A., Naik S.A. Challenges of medical text and image processing. In: 2022 International Conference on Advancements in Smart, Secure and Intelligent Computing (ASSIC). https://doi.org/10.1109/ASSIC55218.2022.10088402.

5. Choudhury S., Gowri R., Babu Sena P., Dinh-Thuan D. (Eds) Intelligent Communication, Control and Devices Proceedings of ICICCD 2020: Proceedings of ICICCD 2020. https://doi.org/10.1007/978-981-16-1510-8.

6. Ламоткин А.И., Корабельников Д.И., Ламоткин И.А. и др. Искусственный интеллект в здравоохранении и медицине: история ключевых событий, его значимость для врачей, уровень развития в разных странах. ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2024; 17 (2): 243–50. https://doi.org/10.17749/2070-4909/farmakoekonomika.2024.254.

7. Ламоткин А.И., Корабельников Д.И., Ламоткин И.А. и др. Точность предварительной диагностики злокачественных меланоцитарных опухолей кожи с помощью программы искусственного интеллекта Melanoma Check. Медицинский вестник Главного военного клинического госпиталя им. Н.Н. Бурденко. 2025; 1: 42–51. https://doi.org/10.53652/2782-1730-2025-6-1-42-51.

8. Zhou Z., Jin Y., Ye H., et al. Classification, detection, and segmentation performance of image-based AI in intracranial aneurysm: a systematic review. BMC Med Imaging. 2024; 24 (1): 164. https://doi.org/10.1186/s12880-024-01347-9.

9. Корабельников Д.И., Ламоткин А.И. Эффективность применения искусственного интеллекта в клинической медицине. ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2025; 18 (1): 114–24. https://doi.org/10.17749/2070-4909/farmakoekonomika.2025.287.

10. Alzubaidi L., Zhang J., Humaidi A.J., et al. Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. J Big Data. 2021; 8 (1): 53. https://doi.org/10.1186/s40537-021-00444-8.

11. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature. 2015; 521: 436–44. https://doi.org/10.1038/nature14539.

12. Ламоткин А.И., Корабельников Д.И., Ламоткин И.А. Предварительная дифференциальная диагностика доброкачественных и злокачественных опухолей из эпидермальной ткани кожи с применением программы искусственного интеллекта «Derma Onko Check». Современные проблемы здравоохранения и медицинской статистики. 2025; 2: 223–42. https://doi.org/10.24412/2312-2935-2025-2-223-242.

13. Ламоткин А.И., Корабельников Д.И., Олисова О.Ю., Ламоткин И.А. Эффективность предварительной дифференциальной диагностики доброкачественных и злокачественных новообразований кожи с помощью программы искусственного интеллекта Derma Onko Check. ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2025; 18 (2): 261–70. https://doi.org/10.17749/2070-4909/farmakoekonomika.2025.294.

14. Milletari F., Ahmadi S.A., Kroll C., et al. Hough-CNN: deep learning for segmentation of deep brain regions in MRI and ultrasound. Computer Vision Image Underst. 2017; 164: 92–102. https://doi.org/10.48550/arXiv.1601.07014.

15. Yamada M., Saito Y., Imaoka H., et al. Development of a real-time endoscopic image diagnosis support system using deep learning technology in colonoscopy. Sci Rep. 2019; 9 (1): 14465. https://doi.org/10.1038/s41598-019-50567-5.

16. Yadav D., Rathor S. Bone fracture detection and classification using deep learning approach. In: 2020 International Conference on Power Electronics & IoT Applications in Renewable Energy and its Control (PARC). https://doi.org/10.1109/PARC49193.2020.236611.

17. Rahman T., Chowdhury M.E., Khandakar A., et al. Transfer learning with deep convolutional neural network (CNN) for pneumonia detection using chest X-ray. Appl Sci. 2020; 10 (9): 3233. https://doi.org/10.3390/app10093233.

18. Hamamoto R., Suvarna K., Yamada M., et al. Application of artificial intelligence technology in oncology: towards the establishment of precision medicine. Cancers. 2020; 12 (12): 3532. https://doi.org/10.3390/cancers12123532.

19. Asada K., Kobayashi K., Joutard S., et al. Uncovering prognosisrelated genes and pathways by multi-omics analysis in lung cancer. Biomolecules. 2020; 10: 524. https://doi.org/10.3390/biom10040524.

20. Kobayashi K., Bolatkan A., Shiina S., Hamamoto R. Fully-connected neural networks with reduced parameterization for predicting histological types of lung cancer from somatic mutations. Biomolecules. 2020; 10 (9): 1249. https://doi.org/10.3390/biom10091249.

21. Takahashi S., Asada K., Takasawa K., et al. Predicting deep learning based multi-omics parallel integration survival subtypes in lung cancer using reverse phase protein array data. Biomolecules. 2020; 10 (10): 1460. https://doi.org/10.3390/biom10101460.

22. Takahashi S., Sakaguchi Y., Kouno N., et al. Comparison of vision transformers and convolutional neural networks in medical image analysis: a systematic review. J Med Syst. 2024; 48 (1): 84. https://doi.org/10.1007/s10916-024-02105-8.

23. Selvaraju R.R., Cogswell M., Das A., et al. Grad-CAM: visual explanations from deep networks via gradient-based localization. In: 2017 Proceedings of the IEEE international conference on computer vision. https://doi.org/10.48550/arXiv.1610.02391.

24. Takahashi S., Takahashi M., Kinoshita M., et al. Fine-tuning approach for segmentation of gliomas in brain magnetic resonance images with a machine learning method to normalize image differences among facilities. Cancers. 2021; 13: 1415. https://doi.org/10.3390/cancers13061415.

25. Nam H., Lee H., Park J., et al. Reducing domain gap by reducing style bias. In: 2021 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. https://doi.org/10.48550/arXiv.1910.11645.

26. Yan W., Wang Y., Gu S., et al. The domain shift problem of medical image segmentation and vendor-adaptation by Unet-GAN. In: Medical Image Computing and Computer Assisted Intervention– MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13–17, 2019, Proceedings, Part II. https://doi.org/10.48550/arXiv.1910.13681.

27. Barzekar H., Patel Y., Tong L., Yu Z. MultiNet with transformers: a model for cancer diagnosis using images. arXiv:230109007. https://doi.org/10.48550/arXiv.2301.09007.

28. Vaswani A., Shazeer N., Parmar N., et al. Attention is all you need. In: Advances in Neural Information Processing Systems 30 (NIPS 2017). https://doi.org/10.48550/arXiv.1706.03762.

29. Dosovitskiy A., Beyer L., Kolesnikov A., et al. An image is worth 16×16 words: transformers for image recognition at scale. arXiv:201011929. https://doi.org/10.48550/arXiv.2010.11929.

30. Liu Y., Wu Y.H., Sun G., et al. Vision transformers with hierarchical attention. arXiv:210603180. https://doi.org/10.48550/arXiv.2106.03180.

31. Han K., Wang Y., Chen H., et al. A survey on vision transformer. arXiv:2012.12556. https://doi.org/10.48550/arXiv.2012.12556.

32. Hatamizadeh A., Yin H., Heinrich G., et al. In: 2023 Global context vision transformers. arXiv:2206.09959. https://doi.org/10.48550/arXiv.2206.09959.

33. He K., Gan C., Li Z., et al. Transformers in medical image analysis. Intel Med. 2023; 3 (1): 59–78. https://doi.org/10.1016/j.imed.2022.07.002.

34. Stassin S., Corduant V., Mahmoudi S.A., Siebert X. Explainability and evaluation of vision transformers: an in-depth experimental study. Electronics. 2023; 13 (1): 175. https://doi.org/10.3390/electronics13010175.

35. Chetoui M., Akhloufi M.A. Explainable vision transformers and radiomics for COVID-19 detection in chest X-rays. J Clin Med. 2022; 11 (11): 3013. https://doi.org/10.3390/jcm11113013.

36. Dipto S.M., Reza M.T., Rahman M.N.J., et al. An XAI integrated identification system of white blood cell type using variants of vision transformer. In: Proceedings of the Second International Conference on Innovations in Computing Research (ICR’23). https://doi.org/10.1007/978-3-031-35308-6_26.

37. Cao Y.H., Yu H., Wu J. Training vision transformers with only 2040 images. arXiv:2201.10728. https://doi.org/10.48550/arXiv.2201.10728.

38. Lee S.H., Lee S., Song B.C. Vision transformer for small-size datasets. arXiv:211213492. https://doi.org/10.48550/arXiv.2112.13492.

39. Liu Y., Sangineto E., Bi W., et al. Efficient training of visual transformers with small datasets. arXiv:2106.03746. https://doi.org/10.48550/arXiv.2106.03746.

40. Fukushima K. Neocognitron: a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol Cybernetics. 1980; 36 (4): 193–202. https://doi.org/10.1007/BF00344251.

41. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition. Proceedings IEEE. 1998; 86 (11): 2278–324. https://doi.org/10.1109/5.726791.

42. Hamamoto R., Komatsu M., Takasawa K., et al. Epigenetics analysis and integrated analysis of multiomics data, including epigenetic data, using artificial intelligence in the era of precision medicine. Biomolecules. 2020; 10 (1): 62. https://doi.org/10.3390/biom10010062.

43. Himel G.M.S., Islam M.M., Al-Aff K.A., et al. Skin cancer segmentation and classification using vision transformer for automatic analysis in dermatoscopy-based noninvasive digital system. Int J Biomed Imaging. 2024; 2024: 3022192. https://doi.org/10.1155/2024/3022192.