Компьютерное зрение (англ. computer vision, CV) – это область искусственного интеллекта (ИИ), направленная на автоматизированную обработку и анализ визуальных данных, включая 2D- и 3D-изображения, а также видеопотоки [1–5]. Технологии CV находят применение в разнообразных сферах, таких как нефтегазовая промышленность, агропромышленный комплекс [1–5], медицинская диагностика [6][7] и многие другие.

Основные задачи CV традиционно подразделяются на три ключевые категории:

– классификация изображений – отнесение изображения к определенному классу на основе его содержания [8];

– детекция изображений – идентификация и локализация объектов на изображении [8];

– сегментация изображений – разделение изображения на семантически значимые области [8].

Классификация изображений занимает особое место благодаря своей актуальности и востребованности, особенно в медицинской диагностике [9]. Данная задача обычно формулируется в рамках обучения с учителем (англ. supervised machine learning), где модель обучается предсказывать метку y (целевой класс) на основе набора признаков X, извлеченных из изображения. Математически цель классификации заключается в нахождении функции h(x), которая устанавливает соответствие между входным изображением X и его меткой y.

Сверточные нейронные сети (англ. convolutional neural network, CNN) – это разновидность алгоритма глубокого обучения и ключевая технология, лежащая в основе современной области ИИ [10]. Их архитектура включает сверточные слои с нелинейными функциями активации, слои подвыборки (пулинга) и полносвязные слои, что позволяет эффективно выявлять сложные паттерны в визуальных данных [11]. Благодаря этим свойствам CNN нашли широкое применение в обработке медицинских изображений, повышая точность и скорость диагностики.

CNN активно используются для решения таких задач, как классификация, сегментация и детекция изображений, полученных с применением различных диагностических методов (эндоскопия, рентгенография, магнитно-резонансная и компьютерная томография, ультразвуковое исследование), а также в дерматологии и гистопатологии1 [12–15]. На рисунке 1 показан пример использования CNN для анализа изображений опухолей кожи. С помощью этих алгоритмов успешно диагностируются переломы костей скелета, пневмонии, онкологические заболевания, а также прогнозируется течение рака и выполняется классификация мутаций на основе генетических данных [16–21].

Однако, несмотря на высокую эффективность, CNN обладают рядом ограничений. Одна из ключевых проблем – недостаточная интерпретируемость: эти модели часто функционируют как «черные ящики», не предоставляя понятного объяснения своих заключений. Для ее преодоления разрабатываются методы визуализации, такие как градиентное картирование активации классов (англ. gradient-weighted class activation mapping, Grad-CAM) – метод в глубоком обучении, визуализирующий области изображения, на которых фокусируется модель при прогнозах, что помогает понять, как она принимает решения. Но проблема остается актуальной, особенно в медицине, где обоснованность диагноза критически важна [23].

Еще одним существенным ограничением является чувствительность CNN к сдвигам домена: их точность может значительно снижаться при обработке данных, отличающихся от обучающей выборки, – например, изображений, полученных на другом оборудовании или в ином медицинском учреждении [24–26]. Это ставит под вопрос надежность и универсальность таких систем в реальной клинической практике.

Таким образом, несмотря на значительный потенциал CNN в медицинской диагностике, их внедрение требует решения проблем объяснимости и устойчивости к изменениям входных данных.

Визуальные трансформеры (англ. vision transformer, ViT) – это класс моделей глубокого обучения, адаптирующих архитектуру визуальных трансформеров, изначально разработанных для обработки естественного языка (англ. natural language processing, NLP), к задачам анализа изображений [27]. Их адаптация к визуальным задачам привела к появлению преобразователей зрения, которые обрабатывают изображения как последовательность фрагментов (патчей, англ. patch), применяя к ним трансформерную архитектуру [28] (рис. 2). Каждый блок трансформера состоит из двух слоев: слой внимания (англ. attention layer) и слой с прямой связью, применяемый вдоль измерения признаков, – простейший односвязный слой (англ. feed-forward layer). В отличие от CNN, ViT исключает индуктивные смещения, связанные с локальными связями, и напрямую изучает пространственные иерархии через взаимодействие патчей, что обеспечивает большую гибкость при работе с разнородными визуальными данными [29][30]. Высокую эффективность ViT в CV часто объясняют дизайном слоев, называемым «многоголовое внимание» (англ. multi-headed attention).

Данный подход продемонстрировал конкурентоспособные результаты, превзойдя CNN на ключевых эталонных наборах данных [28][31–33]. Для повышения интерпретируемости ViT разрабатываются методы визуализации, такие как анализ карт внимания, которые выявляют значимые области изображения, используемые моделью для принятия решений [34–35].

Однако внедрение ViT в медицинскую практику сопряжено с рядом ограничений. Во-первых, их эффективное обучение требует значительных объемов размеченных данных, что часто недостижимо в медицине из-за ограниченности выборок [36–38]. Во-вторых, относительная новизна архитектуры означает отсутствие устоявшихся методик оптимизации и валидации, в отличие от хорошо изученных CNN.

Хотя гибридные модели, сочетающие свертки и механизмы внимания, активно исследуются, прямые сравнения эффективности CNN и ViT проводятся редко из-за методологических сложностей (например, различий в подходах к предобработке данных или настройке гиперпараметров) и новизны использования [39–42].

В связи с этим ключевой вопрос для медицинской визуализации формулируется следующим образом: «Какая архитектура (CNN или ViT) обеспечивает оптимальные результаты при работе с медицинскими изображениями, учитывая специфику данных и требования к интерпретируемости?» В настоящей статье представлен сравнительный анализ эффективности моделей на основе CNN и ViT в программах CV для ЭВМ (приложения для смартфонов) в задачах классификации изображений кожи. Данная научная работа является одной из первых в мировой научной литературе, где проводится прямое сравнение CNN и ViT в диагностике опухолей кожи с применением программ CV.

Цель – сравнить эффективность CNN и ViT в задачах бинарной классификации опухолей кожи: «меланома / не меланома» и «доброкачественное/злокачественное».

В исследовании рассматривались две версии модели CNN, основанные на архитектурах MobileNetV2 и Xception (обе были предобучены на наборе данных ImageNet-1K), а также модель визуального трансформера на основе Google ViT (предобученная на ImageNet21k).

Модель CNN 1-й версии

В 1-й версии модели CNN по классификации «меланома / не меланома» применена легкая архитектура MobileNetV2, оптимизированная для мобильных устройств. Она использует разделяемые по глубине (англ. depthwise-separable) свертки (3×3 для пространственной фильтрации и 1×1 для изменения числа каналов) и включает около 53 сверточных слоев. Такая компактность дает быстрый вывод и экономию ресурсов, но при небольшом числе параметров сложно распознавать очень тонкие или сложные паттерны, например атипичную пигментацию или мельчайшие границы меланомы.

В 1-й версии модели CNN по классификации «доброкачественное/злокачественное» использована базовая реализация Xception с датасетом из 20 тыс. изображений (HAM10000 с аугментацией) и 240 гистологически подтвержденных случаев, взятых из базы данных профессора И.А. Ламоткина.

Модель CNN 2-й версии

Во 2-й версии модели CNN по классификации «меланома / не меланома» использована архитектура Xception с примерно 71 сверточным слоем, 36 разделяемыми по глубине блоками, включающими входной, средний и выходной потоки (англ. entry, middle и exit flow соответственно)2, и внешними пропускными соединениями – обходными путями (англ. skip connections)3.

Во 2-й версии модели CNN по классификации «доброкачественное/злокачественное» сохранена архитектура Xception, но добавлены дополнительные сверточные слои для улучшения детекции текстурных особенностей, что позволило точнее выявлять мелкие детали образований.

В версии Xception модели реализован расширенный конвейер аугментации, включающий:

– коррекцию освещения – адаптивную гистограммную эквализацию (англ. contrast limited adaptive histogram equalization, CLAHE) для усиления контраста в условиях затенения или пересвета;

– геометрические трансформации – случайные горизонтальные сдвиги (±15% от ширины изображения) и вертикальные отражения для имитации вариаций положения кожи при съемке;

– цветовые искажения – добавление шума в RGB-каналы4 (σ=0,1) и изменение насыщенности (±20%) для повышения устойчивости к артефактам камеры.

За счет более глубокой сепарации пространственных и канальных признаков и увеличенного числа параметров модель Xception стала лучше фиксировать мелкомасштабные детали и асимметрию границ пигментных образований.

В версии Xception модели реализованы ключевые улучшения:

– расширенный датасет (увеличение до 45 тыс. изображений (HAM10000) и 380 верифицированных случаев);

– усовершенствованная предобработка:

– оптимизация обучения:

– очистка данных (удаление изображений с артефактами (черные края)).

Модель ViT

Модель на основе ViT представляет собой архитектуру глубокого обучения, адаптированную для задач CV. Она разбивает изображение на последовательность патчей фиксированного размера (16×16 пикселей), которые преобразуются в эмбеддинги (англ. embedding)5 и обрабатываются трансформерными блоками с механизмом самовнимания (англ. self-attention)6.

Для обучения использовалась модель Google ViT с размером патча 16×16 пикселей, предобученная на наборе данных ImageNet21k, что обеспечило высокую обобщающую способность благодаря большому объему разнообразных изображений.

Классификационная голова (англ. head)7 модели была заменена и адаптирована для задачи классификации кожных опухолей, что позволило оптимизировать модель для бинарных задач «меланома / не меланома» и «доброкачественное/злокачественное».

В исследовании применялась конфигурация ViT с частичным замораживанием первых семи блоков, настройкой последних четырех блоков и классификатора, скоростью обучения 1e-4 с косинусным расписанием, размером батча (англ. batch – пакет данных) 64 и аугментацией (горизонтальные отражения, коррекция яркости/контраста). Для повышения интерпретируемости использовались карты внимания (англ. attention maps), которые визуализируют области изображения, наиболее значимые для классификации. Модель обучалась на сбалансированных наборах данных.

Для задачи «меланома / не меланома» тренировочная выборка была сформирована с учетом балансировки классов. Оптимальное соотношение достигалось при формировании класса «не меланома» из 50% доброкачественных меланоцитарных опухолей кожи и 50% других доброкачественных опухолей, что обеспечивало максимальную диагностическую точность.

Для задачи бинарной классификации «доброкачественное/злокачественное» использовалось сбалансированное распределение подклассов внутри каждой категории (например, равные пропорции различных типов как доброкачественных, так и злокачественных опухолей), что способствовало устойчивости модели и минимизации систематических ошибок классификации.

Две версии модели CNN, основанные на архитектурах MobileNetV2 и Xception, сравнивались между собой по эффективности в классификации опухолей кожи по классам «меланома / не меланома», а также «доброкачественное/злокачественное».

Проведено сравнительное тестирование двух версий модели CNN на едином тестовом наборе из 3000 изображений (1500 – «меланома», 1500 – «не меланома»), исключенных из обучающих и валидационных данных, но сохраненных при одинаковых параметрах съемки (освещение, ракурс, разрешение).

Выполнено сравнительное тестирование двух версий модели CNN на едином тестовом наборе из 4800 изображений (2400 – «доброкачественное», 2400 – «злокачественное»), исключенных из обучающих и валидационных данных, но сохраненных при одинаковых параметрах съемки (освещение, ракурс, разрешение).

По тем же критериям проведено сравнение обеих версий моделей CNN с моделью с архитектурой на основе ViT.

Для объективизации и воспроизводимости сравнительного анализа во всех тестированиях использовался единый набор изображений, не входивших в обучающую и валидационную выборки. Все тестовые данные соответствовали одинаковым параметрам съемки (освещение, ракурс, разрешение) и были равномерно распределены между классами. Оценка проводилась с помощью матрицы ошибок, метода Grad-CAM для визуализации областей интереса модели, а также стандартных метрик – точность, чувствительность, специфичность, площадь под кривой рабочей характеристики приемника (англ. area under curve of receiver operating characteristic, AUC ROC) и F1-score.

Классификация изображений по классам «меланома / не меланома»

Обе модели CNN реализовали бинарную классификацию со сбалансированными классами (Softmax, два выходных нейрона), однако архитектурные и методологические различия определили значимую разницу в метриках.

Ключевыми факторами улучшения для модели CNN 2-й версии стали:

– углубленная архитектура (дополнительные сверточные слои улучшили детекцию текстур);

– расширенная аугментация (новые методы трансформации изображений);

– оптимизация параметров (точная настройка скорости обучения;

– качество данных (очистка от артефактов и увеличение выборки);

– контроль обучения (ранняя остановка предотвратила переобучение).

Модель Xception продемонстрировала превосходство над моделью MobileNetV2: точность повысилась с 79% до 88%, специфичность – с 67% до 87%, AUC ROC – с 86% до 95% при сохранении высокой чувствительности (89–90%).

Ключевыми факторами улучшения для модели Xception стали:

– архитектурная оптимизация (глубокая обработка признаков Xception обеспечила лучшее распознавание паттернов меланомы);

– гиперпараметрическая настройка (эксперименты со скоростью обучения выявили его критическое влияние на сходимость модели, тогда как коррекция размера батча (англ. batch size)8 и масштабирование изображений минимизировали необходимость переобучения);

– расширенная аугментация (добавление вариаций освещенности, горизонтальных сдвигов и синтетического увеличения датасета повысило инвариантность модели к артефактам);

– ранняя остановка (мониторинг валидационной точности с остановкой обучения при отсутствии улучшений в течение трех эпох предотвратил деградацию модели).

Сравнение матрицы ошибок для двух версий моделей CNN по классификации «меланома / не меланома» представлено на рисунках 3а, 3b.

Классификация изображений по классам «доброкачественное/злокачественное»

Обе версии реализовали бинарную классификацию на базе архитектуры Xception со сбалансированными классами (Softmax, два выходных нейрона), однако методологические улучшения во 2-й версии определили значимый рост метрик.

Модель CNN 1-й версии при тестировании показала точность 81%, чувствительность 84%, специфичность 78%, AUC ROC 90%.

Модель CNN 2-й версии продемонстрировала превосходство над первоначальной реализацией: точность повысилась с 81% до 85%, чувствительность – с 84% до 87%, специфичность – с 78% до 83%, AUC ROC – с 90% до 93%. F1-score для злокачественных образований вырос с 0,82 до 0,86.

Сравнение матриц ошибок двух версий моделей CNN по классификации «доброкачественное/злокачественное» представлено на рисунках 4a, 4b.

ViT продемонстрировал преимущество в выявлении глобальных паттернов (асимметрия, распределение пигмента), но требовал на 15–20% больше данных по сравнению с CNN. Ранняя остановка после двух эпох без улучшения валидационной точности предотвратила переобучение. Дальнейшие исследования планируется сосредоточить на других трансформерах.

Для задач бинарной классификации «меланома / не меланома» и «доброкачественное/злокачественное» ViT показал точность 92,93% и 91,35% соответственно, что на 3–5% выше CNN. В трансформере были использованы частичное замораживание слоев (первые семь блоков ViT оставались заморожены, последние четыре и классификатор настраивались), скорость обучения 1e-4 с косинусным расписанием, размер батча 64, аугментация с горизонтальными отражениями и коррекцией яркости/контраста.

Как и в CNN, артефакты изображений (черные края, круги по центру) снижали точность модели ViT, поэтому такие данные были удалены из тренировочного набора. Пример изображений, которые были удалены, представлен на рисунке 5.

Модель на основе ViT показала значительное преимущество в сравнении с моделью CNN на основе Xception в обеих задачах классификации. В задаче «меланома / не меланома» ViT достиг точности 92,9% против 88% у CNN (на 4,9% выше), при этом чувствительность составила 93,4% против 89% (+4,4%), а специфичность – 92,5% против 87% (+5,5%). В задаче «доброкачественное/злокачественное» преимущество ViT оказалось еще более выраженным: точность 91,4% против 85% (+6,4%), чувствительность 87,7% против 87% (+0,7%), а специфичность достигла впечатляющих 95% против 83% у CNN (+12%). Основные преимущества ViT заключаются в более высокой точности (в среднем на 5–6% выше) и значительно лучшей специфичности (в среднем на 5–12% выше).

Модель ViT демонстрирует превосходство в выявлении сложных паттернов благодаря способности анализировать глобальные взаимосвязи на изображении. Однако она более чувствительна к качеству входных данных. Для клинического применения, особенно в сложных случаях дифференциальной диагностики, визуальные трансформеры демонстрируют явное преимущество, но требуют более тщательной настройки.

Сравнение матриц ошибок двух версий моделей CNN и модели ViT по классификациям «доброкачественное/злокачественное» и «меланома / не меланома» представлены на рисунках 3, 4 и в таблице 1.

Проведенные исследования выявили критическую зависимость качества классификации от правильной подготовки тренировочной выборки. Модели, обученные с учетом оптимальной балансировки классов, продемонстрировали более высокую диагностическую точность и устойчивость классификации. В частности, для задачи «меланома / не меланома» сбалансированное распределение подклассов в классе «не меланома» позволило минимизировать ошибки классификации. Аналогично, для задачи «доброкачественное/злокачественное» равномерное распределение подклассов внутри категорий способствовало снижению количества систематических ошибок и повышению надежности моделей.

Результаты исследования показывают, что ViT превосходит CNN (MobileNetV2 и Xception) в задачах классификации кожных опухолей, достигая точности 92,93% и 91,35% против 88,47% и 85,40% для Xception в задачах «меланома / не меланома» и «доброкачественное/злокачественное» соответственно. Это подтверждает способность ViT эффективно анализировать глобальные паттерны изображения, такие как асимметрия и распределение пигмента, что особенно важно для сложных случаев дерматологической диагностики.

Сравнение с другими работами подтверждает наши выводы. Например, исследование, проведенное в 2024 г., показало точность 96,15% на датасете HAM10000 для бинарной классификации «доброкачественное/злокачественное» с использованием ViT-Google patch-32, что даже выше наших показателей – вероятно, из-за различий в предобработке данных или конфигурации модели [43]. Это подчеркивает потенциал ViT при использовании больших объемов данных, но также указывает на необходимость оптимизации предобработки для достижения максимальной производительности.

Основные ограничения ViT включают:

– необходимость больших объемов размеченных данных, что проблематично в медицине;

– высокую вычислительную сложность, увеличивающую время обучения и инференса;

– чувствительность к артефактам изображений.

CNN также страдают от ограниченной интерпретируемости и чувствительности к сдвигам домена. Для преодоления этих проблем предлагаются:

– использование трансферного обучения и синтетических данных для ViT;

– оптимизация моделей (например, квантование для ускорения);

– улучшение предобработки для удаления артефактов;

– применение ансамблевых методов для повышения интерпретируемости и надежности.

Дальнейшие исследования должны сосредоточиться на гибридных моделях (CNN + ViT) и стандартизации протоколов валидации для медицинских данных, чтобы обеспечить их практическое внедрение.

Проведенное сравнительное исследование моделей с архитектурами CNN (MobileNetV2, Xception) и модели ViT в задачах классификации кожных образований показало, что ViT демонстрирует более высокие метрики. Это связано со способностью трансформеров анализировать глобальные паттерны, такие как асимметрия и распределение пигмента. Однако ViT требователен к объему и качеству данных, а его эффективность снижается при наличии артефактов (например, черных краев изображений).

CNN, в первую очередь Xception, остаются стабильным решением, особенно при ограниченных данных, но уступают ViT в сложных случаях дифференциальной диагностики. Ключевыми факторами, влияющими на точность обеих архитектур, стали: балансировка классов, аугментация (коррекция освещения, геометрические трансформации), настройка гиперпараметров (скорость обучения, размер батча) и очистка данных от артефактов.

Представленная работа вносит вклад в развитие методов медицинской диагностики, являясь одним из первых исследований, где проводится прямое сравнение CNN и ViT в задаче классификации кожных опухолей. Новизна исследования связана с тем, что архитектура модели ViT в CV стала активно применяться лишь в последние годы, и ее диагностические возможности в дерматологии изучены недостаточно.

Для клинической диагностики оптимальным решением может стать комбинация нескольких моделей (CNN + ViT) в рамках одной программы для ЭВМ (приложения). Поскольку каждая архитектура по-разному реагирует на вариации гиперпараметров, аугментации и качества входных данных, их совместное использование позволит минимизировать ошибки за счет консенсуса предсказаний. В клинической медицине, где каждый случай индивидуален, такой подход повысит надежность диагностики, особенно в сложных случаях.

1. Ламоткин А.И., Ламоткин И.А., Корабельников Д.И. Программа для визуальной идентификации злокачественных и доброкачественных опухолей кожи «Melanoma check». Свидетельство о государственной регистрации программы для ЭВМ № RU 2024668565, заявка от 08.08.2024; Ламоткин А.И., Ламоткин И.А., Корабельников Д.И. Программа для визуальной идентификации злокачественных и доброкачественных опухолей кожи «Derma Onko Check». Свидетельство о государственной регистрации программы для ЭВМ № RU 2024668566, заявка от 08.08.2024. 2. Структурные компоненты архитектуры Xception: Entry flow отвечает за начальную обработку входных данных, Middle flow – за углубленную обработку признаков, а Exit flow – за финальное извлечение признаков перед классификацией. 3. Skip connections – техника в глубоком обучении, которая позволяет информации «перепрыгивать» через один или несколько слотов в нейронной сети, что помогает избегать проблем исчезающего градиента и сохранять информацию между ними. 4. RGB (англ. red, green, blue) – аддитивная цветовая модель, в которой цвета синтезируются путем добавления трех цветов – красного, зеленого, синего в различных количествах. 5. Способ представления объектов (слов, предложений, изображений и других типов данных) в виде числовых векторов, которые позволяют нейронным сетям работать с данными и анализировать их взаимосвязи. 6. Тип механизма внимания, используемый в моделях машинного обучения, с помощью которого оценивают важность токенов, или слов во входной последовательности, чтобы лучше понимать отношения между ними. 7. Компонент, который классифицирует представления объектов по нескольким категориям. 8. Параметр, определяющий количество обучающих примеров, обрабатываемых за одну итерацию.