Корабельников Даниил Иванович, к.м.н., доцент
2-я Брестская ул., д. 5, Москва 123056
Daniil I. Korabelnikov, PhD, Assoc. Prof.
5 2nd Brestskaya Str., Moscow 123056
Ламоткин Андрей Игоревич
2-я Брестская ул., д. 5, Москва 123056
Andrey I. Lamotkin
5 2nd Brestskaya Str., Moscow 123056
Objective: To develop a method for evaluating the diagnostic efficacy of differentiated algorithms based on artificial intelligence (AI) model output, as compared to conventional diagnostics.Material and methods. Two routing scenarios for diagnosing malignant and benign skin neoplasms were simulated. The first scenario involves using algorithms that rely on the output from the Derma Onko Check AI model. The second scenario involves standard patient routing to general practitioners, therapists, and dermatologists/venereologists for establishing a diagnosis. The used diagnostic efficacy indicators of algorithms based on output from the Derma Onko Check AI model as well as on reports from general practitioners, therapists, and dermatologists/venereologists were obtained from previous clinical studies. The modeling was conducted using the clinical data and photographic images of 90 patients with malignant skin neoplasms (39 melanomas and 51 basal cell carcinomas) and 291 patients with benign skin neoplasms (100 non-melanocytic skin tumors and 191 melanocytic skin tumors).Results. In order to evaluate the relative diagnostic efficacy of algorithms that rely on AI model output, calculation formulas were proposed, with visualization of the results in the form of a quadrant matrix. A mobile app called “AI-diagnostic efficiency calculator” (CalcRDAI&RNDAI) was developed for practical use to automatically compute the diagnostic diagnostic efficacy indicators of algorithms based on AI model output. Testing of the method to evaluate algorithms based on Derma Onko Check output reveals a 1.9-fold increase in the detection of skin cancer cases and a 10.5-fold decrease in missed cases. The evaluation results are in quadrant I (more cases are detected and fewer cases are missed), confirming the value of the diagnostic algorithm using algorithms relying on the Derma Onko Check AI model in the provision of medical care.Conclusion. The proposed method for evaluating diagnostic efficacy with the use of developed formulas and with the visualization of the results in the form of a quadrant matrix enables objective efficacy evaluation of AI models in multi-stage diagnostic routing.
Цель: разработать способ оценки эффективности диагностики при применении дифференцированных алгоритмов, созданных с использованием заключений моделей ИИ, по сравнению с эффективностью стандартной диагностики.Материал и методы. Проведено моделирование двух сценариев маршрутизации при диагностике злокачественных и доброкачественных новообразований (ЗНО и ДНО) кожи. Первый сценарий включает диагностику с применением алгоритмов на основе заключений модели ИИ Derma Onko Check. Второй сценарий включает стандартную маршрутизацию при диагностике врачами общей практики, терапевтами и дерматовенерологами. Использованные в моделировании показатели эффективности диагностики с применением алгоритмов на основе заключений модели ИИ Derma Onko Check, а также врачей общей практики и терапевтов, дерматовенерологов были получены в ранее выполненных клинических исследованиях. Моделирование проведено с применением клинических данных и фотоизображений образований 90 пациентов с ЗНО кожи (39 меланом и 51 базалиома) и 291 пациента с ДНО кожи (100 немеланоцитарных опухолей кожи и 191 меланоцитарная опухоль кожи).Результаты. Для оценки относительной эффективности диагностики с помощью алгоритмов на основе заключений программ для ЭВМ с применением моделей ИИ предложены формулы для расчета с визуализацией результата в виде квадрантной матрицы. В целях практического использования разработано приложение AI-diagnostic efficiency calculator (CalcRDAI&RNDAI) для автоматизированного расчета показателей эффективности диагностики с применением алгоритмов на основе заключений моделей ИИ. При апробации способа оценки использования в диагностике алгоритмов на основе Derma Onko Check отмечаются увеличение выявления случаев ЗНО кожи в 1,9 раза, снижение пропущенных случаев ЗНО кожи в 10,5 раза. Результаты оценки располагаются в квадранте I (выявляется больше, пропускается меньше), что подтверждает ценность алгоритма диагностики на основе Derma Onko Check при оказании медицинской помощи.Заключение. Предложенный способ определения эффективности диагностики с применением разработанных формул расчета эффективности и визуализацией результата в виде квадрантной матрицы позволяет объективно оценивать эффективность использования моделей ИИ в условиях многоэтапной маршрутизации при диагностике заболеваний.
The authors declare that there are no conflicts of interest present.