Способ оценки эффективности диагностики с использованием алгоритмов на основании заключений моделей искусственного интеллекта

ВВЕДЕНИЕ / INTRODUCTION

Одним из перспективных инструментов, внедряемых в клиническую практику, являются модели искусственного интеллекта (ИИ) для анализа фотоизображений, способные повышать чувствительность выявления злокачественных новообразований и снижать долю пропущенных случаев [1]. Клиническая эффективность моделей ИИ зависит не только от качества классификации, но и от интеграции моделей в реальную маршрутизацию пациентов для установления заключительного клинического диагноза, включая взаимодействие между врачами общей практики и врачами-специалистами [2].

Клинические исследования, посвященные практической реализации моделей ИИ в области дерматоонкологии, показали, что такие системы ИИ могут выступать не только как диагностические инструменты, но и как инструменты оптимизации маршрутизации пациентов при диагностическом поиске и подтверждении предварительного клинического диагноза, сокращая временные и материальные затраты на диагностику и снижая нагрузку на врачей-специалистов и систему оказания медицинской помощи [3–5].

Однако само внедрение технологий ИИ в схемы маршрутизации пациентов еще не гарантируют клинической эффективности. Ключевой вопрос заключается в том, приводит ли такая интеграция технологий к увеличению числа выявленных и уменьшению числа пропущенных целевых заболеваний (ЦЗ) по сравнению со стандартной маршрутизацией диагностического поиска без применения заключений моделей ИИ. Для ответа на этот вопрос необходима оценка эффективности алгоритмов диагностики с применением заключений моделей ИИ, позволяющая понять, являются ли такие алгоритмы эффективными в реальной клинической практике, а также оценить их клинико-диагностическую и организационно-распорядительную целесообразность с позиции системы здравоохранения.

Цель – разработать способ оценки эффективности диагностики при применении дифференцированных алгоритмов, созданных с использованием заключений моделей ИИ, по сравнению с эффективностью стандартной диагностики.

МАТЕРИАЛ И МЕТОДЫ / MATERIAL AND METHODS

Источники данных / Data sources

В анализ включены клинические данные и фотоизображения образований 381 пациента, из них 291 пациент с доброкачественными новообразованиями (ДНО) кожи (100 немеланоцитарных и 191 меланоцитарная опухоль) и 90 пациентов со злокачественными новообразованиями (ЗНО) кожи (39 меланом и 51 базалиома), полученные в ходе двух ранее проведенных исследований, направленных на оценку точности предварительной дифференциальной диагностики с применением программ ИИ Derma Onko Check (51 случай ЗНО кожи) и Melanoma Check (39 случаев ЗНО кожи) [6][7]. Объединение данных из обоих исследований в единую выборку позволило сформировать репрезентативный датасет, отражающий реальную структуру обращений пациентов с новообразованиями кожи к врачам-специалистам первичного звена здравоохранения.

Для апробации разработанных формул R_Dai и R_NDai в настоящем исследовании использовались диагностические характеристики программы ИИ Derma Onko Check, которая способна классифицировать широкий спектр новообразований кожи, включая как меланоцитарные, так и немеланоцитарные опухоли. Все 90 случаев ЗНО кожи (39 меланом из исследования Melanoma Check + 51 случай немеланоцитарных ЗНО из исследования Derma Onko Check) были проанализированы с использованием диагностических характеристик программы Derma Onko Check для демонстрации практического применения предложенного способа оценки эффективности.

Точность, чувствительность, специфичность, доли ложноположительных (ЛП), ложноотрицательных (ЛО), истинно положительных (ИП), истинно отрицательных (ИО) результатов диагностики врачами-дерматовенерологами, онкологами и врачами общей практики (ВОП)/терапевтами определяли на основе результатов ранее опубликованных исследований [8–10].

Моделирование маршрутизации / Routing modeling

Проведено моделирование двух сценариев маршрутизации при диагностике ЗНО кожи (с применением алгоритмов на основе заключений моделей ИИ и стандартной диагностики без использования заключений моделей ИИ) на основании диагностической точности программы для ЭВМ Derma Onko Check по результатам ранее выполненных клинических исследований (рис. 1).

Для каждого клинического случая моделировали два сценария: традиционный – без применения заключений моделей ИИ (стандартная маршрутизация пациентов моделирована на основании нормативных правовых актов Российской Федерации, регулирующих оказание медицинской помощи¹) и с применением заключений моделей ИИ (маршрутизация пациентов в рамках алгоритмов диагностики с учетом заключения программы ИИ моделирована как многоэтапная диагностическая цепочка осмотров врачами-специалистами с проведением необходимых медицинских вмешательств и применением порога алгоритма маршрутизации на основе ранее разработанных алгоритмов [3–5]).

Порог алгоритма маршрутизации – пороговое числовое значение вероятности (в %) ЦЗ по заключению модели ИИ, которое определяет маршрутизацию пациентов и минимизирует ненужные направления к врачам-специалистам. Для определения оптимального порога алгоритма маршрутизации применяли анализ ROC-кривых (англ. receiver operating characteristic), где порог подбирали путем достижения максимального индекса Юдена (англ. Youden’s Index) (рассчитываемого как чувствительность плюс специфичность минус 1) для баланса между минимизацией ЛП случаев, направляемых к врачам-онкологам, и ЛО случаев, направляемых к врачам-дерматовенерологам.

В данном исследовании в приведенном примере программы ИИ Derma Onko Check порог алгоритма маршрутизации составляет 62%.

Разработка формул / Formula development

Оценка цифровых медицинских продуктов и сервисов (ЦМПС) требует адаптации существующих подходов оценки технологий здравоохранения с учетом специфики цифровых решений. Подчеркивается необходимость разработки единых стандартизированных методических подходов для ЦМПС, что делает принципы принятия решений о внедрении ИИ-технологий более прозрачными для участников рынка [11].

Предложенный нами способ расчета показателей R_Dai и R_NDai согласуется с этими рекомендациями, предоставляя конкретный инструментарий для количественной оценки клинической эффективности систем ИИ в диагностической маршрутизации. Методология создания формул основывалась на изложенных ниже принципах.

Анализ эффективности маршрутизации

На первом этапе проанализирована эффективность диагностики в каждом из сценариев маршрутизации. Выявлено, что она формируется из двух основных компонентов: количества выявленных случаев ЦЗ и количества пропущенных случаев ЦЗ при различных сценариях маршрутизации (с применением заключений моделей ИИ и без их применения).

Учет многоэтапности диагностики

Поскольку диагностическая маршрутизация представляет собой многоэтапный процесс (ВОП/терапевт → врач-дерматовенеролог → врач-онколог → биопсия с патолого-анатомическим исследованием), каждый компонент эффективности был декомпозирован на составляющие по этапам маршрутизации. Это позволило учесть различную чувствительность диагностики специалистов на разных этапах и отразить каскадный характер направлений пациентов.

Моделирование потоков пациентов

Для каждой категории пациентов (ЛП, ЛО, ИП, ИО) с учетом порога маршрутизации (≥62% и <62%) были смоделированы потоки через диагностическую систему. Количество выявленных и пропущенных случаев ЦЗ на каждом последующем этапе рассчитывалось как произведение количества на предыдущем этапе на показатели чувствительности диагностики соответствующим врачом-специалистом.

Решение проблемы сопоставимости

Для обеспечения корректного сравнения сценариев с различным балансом между выявленными и пропущенными случаями ЦЗ в формулы расчета коэффициентов были введены компоненты, учитывающие как выявленные, так и пропущенные случаи при каждом сценарии маршрутизации. Это создало единую систему координат для оценки, где учитываются все диагностические последствия применения алгоритмов на основе заключений моделей ИИ.

Валидация формул

Разработанные формулы были апробированы на данных клинических исследований программы ИИ Derma Onko Check, что позволило верифицировать их применимость для реальных условий клинической практики.

Принципы формирования методики расчета / Principles of forming calculation methods

При разработке методики оценки эффективности применения программ ИИ в диагностической маршрутизации осуществлен тщательный отбор параметров, включаемых в расчетные формулы. Данный подход основан на понимании того, что эффективность диагностики при применении и без применения моделей ИИ может иметь принципиально различную структуру.

Учет ИП случаев выше порога маршрутизации

При маршрутизации пациентов с признаками ЦЗ, правильно классифицированными программой ИИ, обеспечивается своевременная диагностика. Эти случаи включены в формулы, поскольку они существенно влияют на эффективность диагностического алгоритма. Например, направление пациента к врачу-онкологу на основании заключения программы ИИ обеспечивает раннюю диагностику ЗНО, которое при отсутствии применения программы ИИ может быть упущено.

Учет ИП случаев ниже порога маршрутизации

Пациенты с признаками ЦЗ, вероятность наличия которых по заключению модели ИИ была ниже порога маршрутизации, но которые были правильно диагностированы врачами-специалистами на последующих этапах, также учитываются в формулах. Это позволяет оценить вклад врачей-специалистов в выявление случаев ЦЗ, пропущенных при маршрутизации с применением алгоритма диагностики по результатам заключения модели ИИ.

Учет пропущенных (ЛО) случаев

Пропущенные случаи ЦЗ представляют собой особую категорию неэффективности диагностики. Несвоевременная диагностика заболеваний приводит к их выявлению на более поздних стадиях, что может существенно ухудшать прогноз для пациента. Данная категория критически важна для объективной оценки эффективности алгоритма диагностики.

РЕЗУЛЬТАТЫ / RESULTS

В соответствии с вышеуказанными методиками были разработаны формулы, по которым возможно рассчитать:

– во сколько раз способы диагностики с применением технологии ИИ позволяют выявить больше ЦЗ (например, ЗНО) по сравнению со стандартной диагностикой без применения моделей ИИ;

– во сколько раз внедрение технологий ИИ в диагностические алгоритмы снижает число пропущенных случаев ЦЗ (например, ЗНО) по сравнению со стандартной диагностикой без применения моделей ИИ.

Предложенные формулы разработаны авторами ввиду отсутствия в литературе методологических инструментов для оценки эффективности диагностики в условиях многоэтапной маршрутизации в реальной клинической практике.

Формула 1 / Formula 1

Формула для расчета коэффициента отношения количества случаев ЦЗ, выявленных с применением моделей ИИ, на один выявленный случай ЦЗ, выявленный без применения моделей ИИ:

где R_Dai – отношение количества выявленных случаев ЦЗ при диагностике с применением моделей ИИ на один выявленный случай ЦЗ при диагностике без применения моделей ИИ; N_Dai – количество всех выявленных случаев ЦЗ при диагностике с применением моделей ИИ; N_Dnai – количество всех выявленных случаев ЦЗ при диагностике без применения моделей ИИ; N_TP≥t – количество ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была равна или выше порога алгоритма маршрутизации; N_FN<t – количество ЛО случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации; N_TP<t – количество случаев ИП, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации; n – количество этапов маршрутизации (каждый этап – это осмотр врачом-специалистом с проведением диагностических исследований по его назначению или без него); П – произведение (набора чисел), произведение ряда; SD^TP≥t_k  – чувствительность (в %) диагностики ЦЗ врачом-специалистом на каждом этапе маршрутизации ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была выше порога алгоритма маршрутизации; SD^FN<t+TP<t_j – чувствительность (в %) диагностики ЦЗ врачом-специалистом на каждом этапе маршрутизации ЛО и ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации; SD^nai_m – чувствительность (в %) ЦЗ врачом-специалистом на каждом этапе маршрутизации при диагностике без применения моделей ИИ; N – количество случаев ЦЗ из выборки.

Пример оценки эффективности алгоритма диагностики с применением моделей ИИ для выявления случаев ЦЗ

Пример расчета по формуле 1 при использовании алгоритмов с применением заключения программы ИИ Derma Onko Check для диагностики меланоцитарных и эпидермальных ЗНО кожи:

– N_TP≥t = 72 (количество ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была выше порога алгоритма маршрутизации);

– N_FN<t = 6 (количество ЛО случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации);

– N_TP<t = 6 (количество случаев ИП, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации);

– SD^TP≥t_k (чувствительность диагностики ЦЗ врачом-специалистом на каждом этапе маршрутизации по направлению ИП случаев) в данном случае не учитывается, т.к. все случаи ИП направляются к врачу-онкологу, осмотр врачом-онкологом является заключительным этапом маршрутизации и для простоты расчета условно принято, что чувствительность диагностики ЦЗ врачом-онкологом равна 100%;

– SD^FN<t+TP<t_j = 79,1% (чувствительность диагностики ЦЗ врачами- дерматовенерологами по направлению ЛО и ИП случаев меланоцитарных и эпидермальных ЗНО кожи, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации [10]);

– N = 90 (39 меланом и 51 базалиома – количество случаев ЦЗ из выборки);

– SD^nai_m = 60,1% для врачей ВОП/терапевтов и взвешенная чувствительность 79,1% для врачей-дерматовенерологов [8–10].

Расчет:

.

Полученное значение R_DAI означает, что на 1 случай ЦЗ, выявленный без применения моделей ИИ, приходится 1,9 случая ЦЗ, выявленного с применением моделей ИИ (в примере расчета на 42,8 случая приходится 81,5 случая). Это означает, что порог алгоритма выбран правильно, маршрутизация на основе алгоритмов диагностики с применением заключений программы ИИ увеличивает число выявленных случаев ЦЗ и данная программа ИИ повышает эффективность диагностики ЦЗ. Получение значения R_DAI меньше 1 означало бы, что диагностика ЦЗ с применением моделей ИИ менее эффективна, чем диагностика ЦЗ без применения моделей ИИ. Результаты оценки эффективности представлены в таблице 1.

Формула 2 / Formula 2

Формула для расчета количества случаев ЦЗ, пропущенных при диагностике без применения моделей ИИ, на один пропущенный случай целевого заболевания при диагностике с применением моделей ИИ:

,

где R_NDai – отношение количества всех недиагностированных, пропущенных случаев ЦЗ при диагностике без применения моделей ИИ на один пропущенный случай ЦЗ при диагностике с применением моделей ИИ; N_NDai – количество всех недиагностированных, пропущенных случаев ЦЗ при диагностике с применением моделей ИИ; N_NDnai – количество всех недиагностированных, пропущенных случаев ЦЗ при диагностике без применения моделей ИИ; N – количество случаев ЦЗ из выборки; П – произведение (набора чисел), произведение ряда; ∑ – сумма (набора чисел), сумма ряда; N^NDnai_i – количество недиагностированных, пропущенных случаев ЦЗ, рассчитанное как число ЦЗ, диагностированных на предыдущем этапе, умноженное на долю ЛО заключений врача-специалиста при диагностике без применения моделей ИИ на данном этапе маршрутизации; SD^nai_i – чувствительность (в %) диагностики ЦЗ врачом-специалистом без применения моделей ИИ на каждом этапе маршрутизации; n – количество этапов маршрутизации (каждый этап – это осмотр врачом-специалистом с проведением диагностических исследований по его назначению или без него); PR_NDai – доля (в %) ЛО случаев ЦЗ (недиагностированных, пропущенных) при диагностике врачом-специалистом на конечном этапе маршрутизации; N_FN≥t – количество ЛО случаев ЦЗ, при которых вероятность наличия ЦЗ по заключению модели ИИ была равна или выше порога алгоритма маршрутизации; N_TP≥t – количество ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была равна или выше порога алгоритма маршрутизации; N_FN<t – количество ЛО случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации; N_TP<t – количество ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации; PR^FN<t+TP<t_j – доля (в %) ЛО случаев при диагностике врачом-специалистом на каждом этапе маршрутизации ЛО и ИП случаев ЦЗ, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации; PR^TP≥t_k – доля (в %) ЛО случаев при диагностике врачом-специалистом на каждом этапе при маршрутизации ИП случаев ЦЗ при установленном пороге алгоритма маршрутизации.

Пример оценки эффективности алгоритма диагностики для выявления количества пропущенных случаев ЦЗ

Пример расчета по формуле 2 при использовании алгоритмов с применением заключения программы ИИ Derma Оnko Сheck для диагностики меланоцитарных и эпидермальных ЗНО кожи:

– NFN≥t = 2 (количество ЛО случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была равна или выше порога алгоритма маршрутизации);

– N = 90 (количество всех случаев ЦЗ из выборки – 39 меланом и 51 базалиома);

– SD^nai_i = 60,1% (чувствительность диагностики ЦЗ ВОП/терапевтом на каждом этапе маршрутизации [9]);

– PR_NDai = 20,9% (взвешенная доля ЛО случаев ЦЗ при диагностике врачами-дерматовенерологами);

– N^nai_i = 35,9 (количество недиагностированных, пропущенных случаев (90 случаев ЦЗ (ЗНО кожи), умноженное на долю ЛО случаев заключений врача-специалиста, в данном случае ВОП/терапевта);

– N_TP≥t (количество ИП случаев ЦЗ, при которых вероятность наличия ЦЗ по заключению модели ИИ была равна или выше порога алгоритма маршрутизации) в данном случае не учитывается, т.к. все ИП случаи ЦЗ направляются к врачу-онкологу, осмотр врачом-онкологом является заключительным этапом маршрутизации и для простоты расчета условно принято, что чувствительность диагностики ЦЗ врачом-онкологом равна 100%;

– PR^TP≥t_k (доля ЛО случаев ЦЗ при диагностике врачом-специалистом на каждом этапе при маршрутизации ИП случаев при установленном пороге алгоритма маршрутизации) в данном случае не определена, т.к. TP не учитывается;

– NFN<t = 6 (количество ЛО случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации);

– N_TP<t = 6 (количество ИП случаев, при которых вероятность наличия ЦЗ по заключению модели ИИ была ниже порога алгоритма маршрутизации);

– PR^FN<t+TP<t_j = 20,9% (доля ЛО случаев ЦЗ при диагностике врачом-специалистом на каждом этапе маршрутизации).

Расчет:

.

Полученное значение R_NDAI означает, что на 1 случай пропущенного ЦЗ при диагностике с применением моделей ИИ приходится 10,5 случая пропущенного ЦЗ при диагностике без применения моделей ИИ (в примере расчета на 4,5 случая приходится 47,2 случая). Это означает, что порог алгоритма выбран правильно и маршрутизация на основе алгоритмов диагностики с применением заключений программы ИИ лучше выявляет ЦЗ, чем диагностика ЦЗ без применения моделей ИИ. Полученное значение R_NDAI меньше 1 означало бы, что диагностика ЦЗ с применением моделей ИИ менее эффективна, чем диагностика ЦЗ без применения моделей ИИ. Результаты оценки эффективности представлены в таблице 2.

Анализ относительной эффективности алгоритма / Analysis of algorithm relative effectiveness

Количественная оценка

Для количественной оценки относительной эффективности алгоритма диагностики с применением программы ИИ Derma Onko Check по сравнению со стандартной диагностикой без применения моделей ИИ были рассчитаны показатели R_Dai (кратность увеличения выявления случаев ЦЗ) и R_NDai (кратность снижения пропусков случаев ЦЗ). Полученные значения составили: R_Dai = 1,9 и R_NDai = 10,5.

На рисунке 2 представлены диаграммы, иллюстрирующие результаты количественной оценки. Точка, соответствующая сценарию маршрутизации при алгоритме диагностики с применением модели ИИ, располагается значительно выше линии равной эффективности (y = x), что подтверждает преимущество технологии ИИ: выявление ЦЗ увеличивается в 1,9 раза, а число пропущенных случаев ЦЗ снижается в 10,5 раза по сравнению с традиционной маршрутизацией при диагностике.

Комплексная оценка (квадрантная матрица)

Для комплексной оценки клинико-диагностической и организационно-распорядительной эффективности диагностики с применением технологий ИИ разработана квадрантная матрица (рис. 3), в которой ось абсцисс отражает кратность увеличения выявления случаев ЦЗ (R_Dai), а ось ординат – кратность снижения пропусков случаев ЦЗ (R_NDai). Матрица разделена на четыре квадранта.

Квадрант I (более эффективна: выявляет больше, пропускает меньше) – желательная зона для оценки эффективности. Результаты применения технологии, располагающиеся в этом квадранте, характеризуются одновременным увеличением числа выявленных случаев ЦЗ и снижением пропусков случаев ЦЗ. Такие технологии обладают высокой клинико-диагностической и организационно-распорядительной эффективностью, что и обосновывает их приоритетное внедрение в процессы оказания медицинской помощи.

Квадрант II (выявляет больше, пропускает больше) – неоднозначная зона при оценке эффективности. Выявляемость случаев ЦЗ выше, чем без применения технологии, но и число пропущенных случаев ЦЗ больше, чем при традиционной диагностике, что требует дополнительных исследований безопасности и оптимизации пороговых значений.

Квадрант III (менее эффективна: выявляет меньше, пропускает больше) – нежелательная зона при оценке эффективности. Результаты применения технологии, располагающиеся в этом квадранте, указывают на снижение как выявляемости ЦЗ, так и полноты диагностики. Технология не рекомендуется к внедрению.

Квадрант IV (выявляет меньше, пропускает меньше) – неоднозначная зона при оценке эффективности. Снижение пропусков случаев ЦЗ сопровождается уменьшением общего числа выявленных случаев ЦЗ, что требует тщательной оценки и изменения порога, а возможно, и самой технологии.

Точка сценария с применением программы ИИ Derma Onko Check (R_Dai = 1,9; R_NDai = 10,5) располагается в квадранте I, что свидетельствует о значительном превосходстве над стандартной диагностикой и подтверждает целесообразность интеграции алгоритма диагностики с применением заключений модели ИИ в клиническую практику.

Полученные результаты подтверждают правильность выбранного порога алгоритма маршрутизации (62%) и высокую ценность разработанного алгоритма для оптимизации диагностики ЦЗ (в данном примере ЗНО кожи).

Программная реализация / Software implementation

Для облегчения практического использования предложенных формул и обеспечения воспроизводимости результатов авторами разработано мобильное приложение для Android – программа для ЭВМ для автоматизированного расчета эффективности диагностики ЦЗ с использованием ИИ AI-diagnostic efficiency calculator (CalcRDAI&RNDAI), предназначенная для автоматизированного расчета показателей и оценки относительной эффективности диагностики R_Dai и R_NDai².

Приложение может быть использовано в научно-исследовательской работе, при оценке новых моделей ИИ, а также в процессе обоснования внедрения технологий ИИ в клиническую практику.

Примеры экранов ввода параметров и расчетов R_Dai, R_NDai, результата расчетов и визуализации их в квадрантной матрице представлены в Приложении 1³.

Моделирование двух сценариев маршрутизации пациентов при диагностике ЗНО кожи показало, что применение алгоритма на основе заключений модели ИИ Derma Onko Check (порог 62%) увеличивает выявление случаев ЗНО в 1,9 раза (R_Dai = 1,9) и снижает число пропущенных случаев в 10,5 раза (R_NDai = 10,5) по сравнению со стандартной маршрутизацией (ВОП/терапевт → дерматовенеролог → онколог). Точка алгоритма с ИИ расположена в квадранте I квадрантной матрицы эффективности (выявляется больше, пропускается меньше), что подтверждает его высокую клинико-диагностическую и организационную ценность.

Результаты полностью подтверждают гипотезу: интеграция ИИ в многоэтапные алгоритмы диагностики существенно повышает эффективность выявления ЦЗ за счет компенсации ограниченной чувствительности первичного звена и оптимизации потоков пациентов.

Предложенный метод согласуется с современными подходами к оценке эффективности здравоохранения. Как и в концепции регулирующего эффекта системы здравоохранения [12], коэффициенты R_Dai и R_NDai соизмеряют прирост результатов (выявленные случаи, сохраненные человеко-годы жизни) с диагностическими затратами. В отличие от традиционных методов клинико-экономического анализа медицинских технологий [13], ориентированных на отдельные изделия или организации, наш подход учитывает каскадный характер ошибок в реальной маршрутизации, что делает его подходящим для оценки цифровых решений.

Результаты углубляют понимание роли ИИ в клинической практике, эффективность зависит не только от точности модели, но и от ее интеграции в существующие маршруты. Предложенные формулы и матрица могут служить инструментом для обоснования внедрения ИИ в клинические рекомендации.

Преимущества метода: универсальность (он применим к любым нозологиям и этапам), простота расчета и визуализации, автоматизация через приложение CalcRDAI&RNDAI, учет реальной чувствительности специалистов.

Ограничения: ретроспективные данные ограниченного объема (381 случай, 1 нозология), данные о чувствительности специалистов взяты из литературы, не учтены прямые затраты на ИИ.

Перспективы: проспективная валидация на других заболеваниях, расчет медико-экономической эффективности (анализ «затраты – эффективность»), сравнение моделей ИИ в единой матрице, интеграция в региональные методические рекомендации.

Разработанный способ предоставляет объективный инструментарий для оценки и обоснования внедрения технологий ИИ в систему здравоохранения.

ЗАКЛЮЧЕНИЕ / CONCLUSION

Предложенный нами способ оценки эффективности диагностики ЦЗ при помощи алгоритмов на основании заключений моделей ИИ с использованием разработанных нами оригинальных расчетных формул R_Dai и R_NDai с визуализацией результата оценки в виде квадрантной матрицы представляет собой простой объективный инструментарий для анализа клинико-диагностической и организационно-распорядительной эффективности технологий ИИ в многоэтапной диагностической маршрутизации.

В приведенном примере оценки применение программы ИИ Derma Onko Check с выбранным порогом 62% демонстрирует значительное преимущество перед традиционной диагностикой: выявление ЗНО кожи увеличивается в 1,9 раза, а число пропущенных случаев ЗНО кожи снижается в 10,5 раза. Полученные результаты подтверждают целесообразность и приоритетность внедрения данной технологии ИИ в клиническую практику, а простота и универсальность предложенного способа позволяют использовать его при оценке технологий диагностики с многоэтапными алгоритмами в других областях клинической медицины.