Способ повышения эффективности программ компьютерного зрения на основе моделей искусственного интеллекта с помощью модуля коррекции параметров фотоизображений

ВВЕДЕНИЕ / INTRODUCTION

Программы компьютерного зрения (ПКЗ) на основе искусственного интеллекта (ИИ) занимают все более значимое место в дерматоонкологической практике [1]. Вместе с тем систематический анализ ошибочных заключений таких систем является необходимым условием их клинического применения и совершенствования [2].

Возможность широкого внедрения ИИ в клиническую дерматологию, в т.ч. использование в скрининге на злокачественные новообразования кожи, подтверждается как историческим анализом развития технологий, так и результатами систематических обзоров их эффективности [3][4]. Вместе с тем точность работы ПКЗ в значительной мере определяется не только архитектурой модели и объемом обучающей выборки, но и качеством входящих в модель ИИ фотоизображений [5]. Ряд исследований убедительно показал, что вариабельность условий освещения, неправильный баланс белого, недостаточная или избыточная экспозиция, низкие резкость и контрастность формируют систематические искажения входных данных, которые способны существенно снижать диагностическую точность даже хорошо обученных моделей и приводить к ложным заключениям [5][6]. Эти данные свидетельствуют о том, что разработка модулей коррекции параметров фотоизображений на основе систематического анализа ошибок классификации является не вспомогательным инструментом, а необходимым условием надежного функционирования ПКЗ в реальной клинической и телемедицинской практике.

В ранее опубликованных работах [7][8] проведен ретроспективный анализ ошибочных заключений программ ИИ Derma Onko Check¹ и Melanoma Check² при классификации меланоцитарных и немеланоцитарных новообразований кожи. С применением методов объяснимого ИИ (Score-CAM, Occlusion Sensitivity) и математической статистики (однофакторный дисперсионный анализ, критерий Уэлча, корреляционный анализ по Спирмену) установлены статистически значимые различия фотометрических и текстурных характеристик фотоизображений между группами истинных и ложных классификаций. В частности, показано, что ложноположительные заключения формируются преимущественно на переэкспонированных малотекстурных фотоизображениях с повышенной яркостью и сниженной энтропией, тогда как ложноотрицательные – на темных и размытых фотоизображениях с недостаточной детализацией пигментного рисунка.

Логичным следствием выявленных закономерностей является необходимость разработки модуля коррекции параметров фотоизображений, который способен нормализовать отклоняющиеся характеристики к референсным диапазонам, определенным по правильно классифицированным случаям. Настоящая работа посвящена описанию принципов построения данного модуля, его программной реализации и оценки влияния на эффективность ПКЗ.

Цель – разработка модуля коррекции параметров фотоизображений, нормализующего метрики качества до референсных диапазонов правильно классифицированных случаев, и количественная оценка его влияния на эффективность ПКЗ.

МАТЕРИАЛ И МЕТОДЫ / MATERIALS AND METHODS

Датасеты / Datasets

Анализу подверглись фотоизображения анонимизированной базы данных³, которая была разделена на два датасета:

– меланоцитарный датасет (n=230) включал фотоизображения меланоцитарных новообразований кожи, ранее классифицированных программами ИИ Derma Onko Check и Melanoma Check;

– эпидермальный датасет (n=151) включал фотоизображения немеланоцитарных (эпидермальных) новообразований, классифицированных программой ИИ Derma Onko Check.

Все фотоизображения были предварительно распределены по четырем стандартным категориям:

– истинно положительные (ИП);

– истинно отрицательные (ИО);

– ложноположительные (ЛП);

– ложноотрицательные (ЛО).

Вычисление параметров метрик фотоизображений / Calculation of photo image metric parameters

Для каждого фотоизображения в цветовой модели RGB (англ. red, green, blue), описываемого с помощью uint8⁴, вычисляли набор из 13 количественных метрик:

– яркость (англ. brightness) – среднее значение яркостного канала;

– контрастность (англ. contrast) – стандартное отклонение яркостного канала;

– резкость (англ. sharpness) – дисперсия результата применения оператора Лапласа к яркостному каналу;

– энтропия (англ. entropy) – информационная энтропия гистограммы яркости;

– высокочастотная насыщенность, определяемая методом обработки изображений, который используется для обнаружения размытия (англ. blur), – среднее значение логарифмической амплитуды двумерного преобразования Фурье (англ. Fast Fourier Transform, FFT) (fft_blur);

– доля пересвеченных (переэкспонированных) пикселей (англ. overexposed pixels, clip high pixels) – доля пикселей яркостного канала с яркостью Y>0,95 (clipped_high);

– доля затемненных (недоэкспонированных) пикселей (англ. underexposed pixels, clip low pixels) – доля пикселей яркостного канала с яркостью Y<0,05 (clipped_low);

– средние значения показателей яркости красного/зеленого/синего цветового канала пикселя (англ. mean values of brightness indicators of red/green/blue color channel of a pixel) (mean_r/g/b) и стандартные отклонения показателей яркости красного/зеленого/синего цветового канала пикселя относительно среднего (англ. standard deviations of brightness indicators of red/green/blue color channel of a pixel relative to mean value) (std_r/g/b).

Нормальные диапазоны параметров метрик / Normal ranges of metric parameters

В качестве нормальных диапазонов каждой метрики использовали интервалы [ mean – 2·std; mean + 2·std], рассчитанные по объединенной выборке правильно классифицированных фотоизображений (ИП и ИО) из предшествующего анализа [3][4]. Референсные диапазоны для обоих датасетов представлены в таблице 1.

Критические пороги параметров фотоизображений / Critical thresholds of photo image parameters

Фотоизображения с критическими дефектами исключали из повторного инференса. Такие фотоизображения признавали непригодными для анализа, поскольку восстановление диагностически значимой информации при столь значительных дефектах принципиально невозможно. Критические пороги приведены в таблице 2.

Алгоритм работы модуля коррекции параметров фотоизображений / Operating algorithm of the module for correcting photo image parameters

Модуль коррекции параметров фотоизображений реализован на языке Python с использованием библиотек NumPy, OpenCV, SciPy и PIL. Коррекцию параметров применяли только к тем фотоизображениям, у которых хотя бы одна метрика выходила за пределы нормального диапазона более чем на 5% от ширины данного диапазона (пороговое значение отклонения (англ. deviation threshold) 0,05). Для каждого такого фотоизображения применяли последовательность из четырех независимых этапов, каждый из которых активировался только при наличии соответствующего отклонения. Общая схема алгоритма отражена на рисунке 1.

На первом этапе проводится коррекция цветового баланса фотоизображений – при отклонении любого из средних значений цветовых каналов (mean_r, mean_g, mean_b) применяли метод автоматического баланса белого (англ. grey-world white balance). Метод вычисляет среднее значение по каждому каналу, находит их глобальное среднее и масштабирует каждый канал так, чтобы его среднее совпало с глобальным средним, что устраняет систематические цветовые смещения, связанные с условиями освещения.

На втором этапе выполняется гамма-коррекция яркости фотоизображений – при отклонении яркости ниже нормального диапазона использовали повышающую гамма-коррекцию (γ=1,35), при отклонении выше диапазона – понижающую гамма-коррекцию (γ=0,75). Гамма-коррекция реализована через предварительно вычисленную таблицу поиска.

На третьем этапе проводится адаптивная обработка контрастности и текстуры фотоизображений – при отклонении контрастности или энтропии применяли алгоритм CLAHE (англ. Contrast Limited Adaptive Histogram Equalization – алгоритм обработки изображений, который улучшает локальный контраст, но ограничивает усиление шума в относительно гомогенных областях) в цветовом пространстве LAB (сокращенное название цветового пространства CIE 1976 L a b*): коррекцию выполняли только по яркостному каналу L без изменения цветовых каналов A и B. Значение параметра ограничения контрастности (англ. contrast limit parameter) (clipLimit) составляло 2,5 для меланоцитарного датасета и 1,5 – для эпидермального, размер плитки – 8×8 пикселей. Данный выбор параметров обусловлен более широкой вариабельностью текстурных характеристик меланоцитарных новообразований.

На четвертом этапе осуществляется повышение резкости – при значении резкости ниже нижней границы нормального диапазона применяли маску нерезкости (англ. unsharp mask). Метод вычисляет разность между оригинальным фотоизображением и его гауссовским размытием и прибавляет взвешенную разность к оригиналу, усиливая высокочастотные компоненты. Дополнительно при отклонении стандартных отклонений цветовых каналов (std_r, std_g, std_b) повторно использовали метод баланса белого для стабилизации межканальной вариабельности. В нашем исследовании метод баланса белого был применен для фотоизображений меланоцитарного датасета.

Инференс и оценка эффективности модели ИИ / Inference and evaluation of AI model performance

Повторный инференс обработанных фотоизображений осуществляли через соответствующие модели Tensor Flow Lite (TFLite)⁵ (Google Research, США). Метрики до обработки вычисляли методом подсчета фотоизображений в папках ИП/ИО/ЛО/ЛП без запуска модели. Оценивали точность (англ. аccuracy, Acc), чувствительность (англ. sensitivity, Se) и специфичность (англ. specificity, Sp) по соответствующим формулам:

Acc = (ИП + ИО) / (ИП + ИО + ЛП + ЛО),

Se = ИП / (ИП + ЛО),

Sp = ИО / (ИО + ЛП).

Вычислительные задачи выполняли на ресурсах облачной платформы Google Colab (Google Research, США).

РЕЗУЛЬТАТЫ / RESULTS

Примеры функционирования модуля коррекции параметров фотоизображений / Examples of operation of the module for correcting photo image parameters

В процессе обработки датасетов модуль распределил фотоизображения по трем категориям. Большинство фотоизображений не нуждались в обработке – их параметры соответствовали нормальным диапазонам правильно классифицированных фотоизображений (рис. 2).

Для части фотоизображений с выявленными отклонениями качества или текстурных характеристик была последовательно применена одна или несколько операций коррекции. Фотоизображения с критическими дефектами – преимущественно с экстремальной пересветкой (clipped_high>0,55) – были автоматически исключены из повторного инференса. На рисунке 3 представлен пример результатов обработки: фотоизображение новообразования кожи с избыточно осветленными периферическими зонами до и после коррекции. Модуль активировал этапы коррекции яркости и цветового баланса в соответствии с выявленными отклонениями.

На рисунке 4 приведены примеры результатов обработки: оригинал фотоизображения новообразования кожи с экстремальной засветкой более 69% площади и фотоизображение с отметкой «Пропущено». Восстановление диагностически значимой информации при данной степени дефекта не представляется возможным.

Критически дефектные фотоизображения / Critically defective photo images

В меланоцитарном датасете при обработке было пропущено 7 фотоизображений для программы ИИ Derma Onko Check и 5 – для программы ИИ Melanoma Check (табл. 3). В датасете немеланоцитарных новообразований критически дефектных фотоизображений выявлено не было.

Влияние обработки фотоизображений модулем на точность диагностики модели ИИ / The impact of photo image processing on diagnostic accuracy of AI model

Применение модуля коррекции параметров фотоизображений обеспечило улучшение всех ключевых метрик диагностической точности во всех трех конфигурациях ПКЗ (табл. 4). Прирост точности составил от +1,3% до +1,7% в зависимости от датасета и программы.

Наиболее выраженный прирост точности наблюдался для программы ИИ Derma Onko Check на датасете меланоцитарных новообразований (+1,7%), что согласуется с большей распространенностью фотоизображений с отклоняющимися качествами в данной выборке. Специфичность демонстрировала более существенный прирост (+1,8% и +1,7% для меланоцитарного и немеланоцитарного датасетов соответственно) по сравнению с чувствительностью (+1,2% и +1,1%), что свидетельствует о преимущественном снижении доли ЛП заключений – характерной ошибки при переэкспонированных малотекстурных фотоизображениях. Отсутствие критически дефектных фотоизображений в эпидермальном датасете указывает на более высокое качество фотоизображений немеланоцитарных новообразований в исследуемой базе данных.

ОБСУЖДЕНИЕ / DISCUSSION

Прирост диагностической точности на 1,3%–1,7% может на первый взгляд представляться скромным результатом. Однако в контексте дифференциальной диагностики новообразований кожи, где цена ошибки измеряется пропущенными случаями меланомы или других злокачественных новообразований кожи, даже незначительное повышение специфичности и чувствительности имеет высокую клиническую значимость. При базовой точности около 90% улучшение на 1,7% означает сокращение числа ЛО заключений, что в условиях массового скрининга может соответствовать сотням корректно переклассифицированных случаев.

Вместе с тем ключевая практическая ценность разработанного модуля выходит за рамки количественного прироста метрик. Принципиально важными являются следующие обстоятельства:

– расширение применимости ПКЗ для фотоизображений субоптимального качества (фотоизображения без модуля коррекции параметров фотоизображения, сделанные в нестандартных условиях освещения, с недостаточной резкостью фокусировки или с цветовыми дисбалансами с высокой вероятностью генерируют ошибочные заключения ПКЗ, модуль же нормализует их до референсного диапазона и тем самым существенно повышает диагностическую надежность в реальных клинических условиях применения);

– доступность для неопытных пользователей (мобильные приложения для скрининга новообразований кожи ориентированы на врачей-специалистов и пациентов без специальной подготовки в области медицинской фотографии: неопытный пользователь с большой вероятностью получит фотоизображение с одним или несколькими фотометрическими дефектами (неправильным балансом белого при искусственном освещении, недостаточной или избыточной экспозицией, размытостью из-за дрожания руки), и в отсутствие модуля коррекции оно не обрабатывалось бы корректно или давало бы ненадежные результаты);

– критическая значимость в условиях телемедицины (в рамках телемедицинских консультаций нередко передается одно фотоизображение – то, которое уже есть у врача/пациента или которое он смог сделать в имеющихся условиях, и у врача-специалиста во время телеконсультации может отсутствовать возможность запросить повторный фотоснимок с корректными параметрами съемки (пациент может находиться в другом городе или стране, иметь ограниченный доступ к медицинской помощи, или клиническая ситуация может не допускать промедления) – в таких случаях модуль коррекции выступает не вспомогательным инструментом, а необходимым условием получения фотоизображения для достоверного диагностического заключения).

Полученные результаты согласуются с данными опубликованных исследований, подчеркивающих критическую роль качества фотоизображений в работе алгоритмов ИИ по классификации патологий кожи.

Алгоритм Model Dermatology, показывающий на клинических датасетах уровень точности, сопоставимый с уровнем точности врачей общей практики и терапевтов, но уступающий точности диагностики врачей-дерматологов, резко снижал эффективность диагностики при анализе фотоизображений, полученных обычными пользователями. Для противодействия этому эффекту S.S. Han et al. разработали субмодуль тонкого отбора изображений Fine Image Selector для автоматического исключения критически дефектных фотоизображений и фотоизображений, не входящих в перечень классифицируемых патологий кожи [6][9]. Субмодуль Fine Image Selector схож с автоматизированным конвейером оценки фотоизображений и способен отбраковывать 50% снимков низкого качества, сохраняя при этом 80% снимков хорошего качества [10].

В отличие от субмодуля Fine Image Selector, который представляет собой «черный ящик» с бинарным выходом и нераскрытыми критериями оценки качества фотоизображений, разработанный нами модуль основан на полностью интерпретируемом наборе из 13 количественных фотометрических и текстурных метрик с явно определенными нормальными диапазонами и пороговыми значениями исключения, что обеспечивает воспроизводимость и прозрачность принимаемых решений по стандартам объяснимого ИИ.

В систематическом обзоре применения ИИ в дерматологии Z. Li et al. указывают, что именно высококачественные фотоизображения в обучающем датасете являются определяющим условием диагностической точности, чувствительности и специфичности обученного алгоритма, а артефакты фотоизображений остаются актуальным ограничением точности нейронных сетей при применении в реальной практике [11].

Соответственно, второй принципиальный момент заключается в том, что, в отличие от исследователей, предлагающих решение актуальной проблемы точности классификации менее качественных и некачественных фотоизображений на этапе обучения модели (путем пополнения обучающей выборки разнообразными реальными фотоизображениями), в нашем исследовании реализован подход inference-time в режиме онлайн при поступлении фотоизображения в модель – нормализация уже поступающих на вход изображений без какого-либо изменения самой модели. Разработанный нами модуль решает смежную, но принципиально иную и наиважнейшую задачу – он адресован не к этапу формирования обучающей выборки, а к этапу инференса уже развернутой модели, нормализуя реальные клинические фотоизображения субоптимального качества до референсного диапазона, характерного для правильно классифицированных случаев.

Таким образом, в отличие от преобладающего в литературе направления, сосредоточенного на улучшении архитектуры моделей и расширении обучающих датасетов, проблема ошибок классификации вследствие неудовлетворительного качества уже полученных клинических фотоизображений остается недостаточно изученной. В настоящем исследовании впервые реализован комплексный подход: на основе систематического анализа 13 фотометрических и текстурных метрик в группах истинных и ложных классификаций определены отклоняющиеся характеристики фотоизображений, и разработан модуль их целевой коррекции – инструмент, расширяющий применимость ПКЗ в реальных клинических условиях, где без него результат был бы ненадежен или недоступен.

ЗАКЛЮЧЕНИЕ / CONCLUSION

Разработанный модуль коррекции параметров фотоизображений реализует принцип метрически обоснованной коррекции. Каждое фотоизображение проходит многоэтапную коррекцию, где любой этап активируется только при обнаружении значимого (>5% от ширины нормального диапазона) отклонения соответствующей характеристики. Последовательность этапов (нормализация цветового баланса методом автоматического баланса белого, гамма-коррекция яркости, адаптивная нормализация контрастности CLAHE, маска нерезкости) охватывает основные типы фотометрических и текстурных нарушений, выявленных в предшествующем анализе ошибок.

Применение модуля обеспечивает статистически воспроизводимое улучшение диагностических показателей: прирост точности составил от +1,3% до +1,7%, чувствительности – от 0,9% до 1,2%, специфичности – от +1,5% до +1,8% во всех трех исследованных конфигурациях ПКЗ. Преимущественное улучшение специфичности по сравнению с чувствительностью отражает первостепенное значение коррекции переэкспозиции и цветовых дисбалансов как причин ЛП заключений.

Обязательным компонентом пайплайна является автоматическая фильтрация критически дефектных фотоизображений: в меланоцитарном датасете таких снимков выявлено 7 (программа ИИ Derma Onko Check) и 5 (программа ИИ Melanoma Check), тогда как в эпидермальном датасете они отсутствовали. Включение подобных фотоизображений в инференс без предварительной фильтрации неизбежно привело бы к ненадежным результатам независимо от качества применяемых алгоритмов обработки.

Полученные результаты подтверждают целесообразность интеграции модуля предобработки параметров фотоизображений в производственный пайплайн ПКЗ в качестве стандартного предварительного этапа. Разработанный модуль реализован в программе для ЭВМ (ПКЗ) на основе ИИ Derma Onko Melanoma Check Plus⁶.