Сценарное моделирование (СМ) – инструмент стратегического планирования путем создания множества сценариев, описывающих возможное развитие событий при заданном наборе определяющих факторов: на основе больших данных, результатов проведенного анализа, предположений и экспертных оценок создаются модели, используемые для симуляции процессов и анализа их исходов [1]. В условиях цифровизации отраслевых процессов методы СМ нашли применение в различных областях, в здравоохранении они используются для моделирования эпидемиологических эффектов экономической политики и построения прогнозных моделей развития региональных систем здравоохранения [2][3]. Одними из ключевых аспектов моделей СМ являются их гибкость, модульность и возможность интеграции с другими моделями, такими как системы агент-ориентированного и динамического моделирования, что позволяет достигать более точных конечных результатов [4].

Неотъемлемыми элементами разрабатываемых стратегий (по причине развития технологий и возможностей для оптимизации рутинных процессов) все чаще становятся модели машинного обучения. Например, современные интеллектуальные медицинские информационные системы (МИС) имеют модули распознавания медицинской документации для создания структурированных данных при помощи методов машинного обучения и нейронных сетей для обработки естественного языка. Подобный функционал способствует накоплению больших данных для дальнейших исследований и снижает нагрузку на медицинский персонал при осуществлении документооборота [5]. Анализ данных и внедрение технологий машинного обучения в МИС соответствуют общемировой тенденции по развитию персонифицированной медицины и имеют перспективы для использования в качестве инструмента прогнозирования неблагоприятных медицинских событий в реальной клинической практике [6].

Отдельный пример использования СМ совместно с методами машинного обучения – моделирование и симуляция тестирования программного обеспечения [7]. Основное преимущество такой комбинации методов заключается в ее способности учитывать сложные и нелинейные зависимости, что позволяет более точно моделировать возможные исходы и их последствия, а также отражать поведение системы в целом. При разработке любых интеллектуальных систем (в особенности связанных с медициной) необходимо обеспечивать объяснимость и воспроизводимость лежащих в их «начинке» алгоритмов. U. Orji и E. Ukwandu в своем исследовании рассматривают применение алгоритмов машинного обучения для прогнозирования суммы расходов на медицинское страхование и подчеркивают важность их объяснимости [8].

Цель – определение наиболее эффективного метода машинного обучения для решения задачи назначения лекарственных препаратов (ЛП) детям в условиях медицинской организации, оценка его производительности и потенциала внедрения в системы СМ структуры фармацевтической помощи.

Информационная база исследования включала данные о назначениях ЛП врачами из МИС сети клиник г. Москвы, оказывающими амбулаторную помощь детям, за период с января по декабрь 2023 г. включительно. Данные содержали информацию о пациентах (включая пол, возраст), дате обращения к врачу, поставленных диагнозах, назначенных ЛП и специальности лечащего врача. Сведения о пациентах не содержали информацию, относящуюся к персональным данным: числовой идентификационный номер пациента – единственный способ определить принадлежность назначения ЛП.

Все этапы предобработки данных, обучения и оценки модели, а также последующее прогнозирование результатов проводились в среде разработки Jupyter Notebook с использованием языка программирования Python. В процессе анализа использованы библиотеки: xgboost версии 1.6.0 для реализации моделей машинного обучения, keras версии 3.5.0 для реализации моделей глубокого обучения, pandas версии 2.2.2 для обработки данных и scikit-learn версии 1.5.1 как для реализации моделей, так и для оценки их качества. Результаты прогноза сравнивали с истинными данными о назначениях ЛП, а оценка точности модели проводилась с использованием площади под кривой (англ. area under curve, AUC) рабочей характеристики приемника (англ. receiver operating characteristic, ROC), F1-меры (англ. F1-score) и самостоятельно разработанной функции Custom Accuracy.

Предварительная обработка данных и определение дополнительных признаков

Исследуемые данные загружались из таких источников, как файлы в текстовом формате для представления табличных данных (англ. comma-separated values, CSV) и файлы Microsoft Excel (Microsoft, США), с использованием библиотеки pandas. В начале проведены предварительная обработка (приведение типов и удаление некорректных значений) и группировка данных по ряду характеристик, таких как идентификационный номер пациента, дата и время приема, специальность врача и тип заключения. Таким образом, таблица стала отражать информацию не по отдельным назначениям одного ЛП пациенту, а по нескольким назначениям, сгруппированным в одну запись, которую можно определить как прием у врача определенной специальности.

В ходе дальнейшего анализа и обработки полученных данных были выведены дополнительные признаки:

– категориальное значение «Тип приема» (первичный или повторный) – если с момента последнего приема пациента прошло менее 30 дней (согласно времени действия направления на прием врача или исследование), прием обозначался как повторный;

– категориальное значение «Сезон» (времена года);

– число назначенных диагнозов в рамках одного приема – «Количество диагнозов»;

– общее число посещений пациентом клиники на момент приема – «Количество посещений».

Также проведено дополнение данных о назначенных ЛП информацией о действующих веществах ЛП и их фармакологических группах. Для адаптации категориальных данных в вид, удобный для восприятия моделями машинного обучения и нейронными сетями, использовался процесс быстрого кодирования (англ. one-hot encoding) категориальных переменных в бинарные векторы. Числовые признаки были нормализованы и стандартизованы методом StandartScaler библиотеки scikit-learn. Итоговая таблица содержала 134 951 запись о назначениях ЛП детям за 2023 г. и 4914 столбцов, относящихся к полученным признакам и целевым значениям. Структура полученного набора данных до применения нормализации отображена в таблице 1. Количество полученных столбцов категориальных данных определено после операций предварительной обработки и кодирования признаков.

Определение задачи

Пусть у нас есть набор данных, содержащий информацию о назначениях. Наша цель – предсказать список ЛП, которые следует назначить пациенту на основе его характеристик и диагнозов. Для начала введем следующие обозначения:

– X∈Rn×d: матрица признаков, где n – количество пациентов, а d – количество признаков (например, возраст, пол, диагнозы и т.д.).

– Y∈{0,1}n×L: матрица меток, где L – количество различных ЛП, а yij=1 означает, что пациенту i был назначен препарат j.

Задачу можно представить как поиск функции f:Rd→[0,1]L, которая принимает на вход вектор признаков пациента xi и возвращает вектор вероятностей p ̂i назначения каждого ЛП:

где p ̂ij – вероятность назначения препарата j пациенту i.

Для обучения модели мы минимизируем функцию потерь, которая измеряет разницу между истинными метками Y и предсказанными вероятностями P ̂:

где p ̂ij – предсказанная моделью вероятность того, что препарат j будет назначен пациенту i.

После того как модель предсказывает вероятности назначения препаратов, необходимо принять решение о том, какие препараты действительно назначить пациенту. Это делается с использованием пороговой функции:

где τ – порог, который определяет, при какой вероятности назначение препарата считается оправданным. Обычно τ = 0,5, но может варьироваться в зависимости от специфики задачи. В нашем случае τ может быть определен экспериментально в рамках оценки показателей каждой из моделей.

После обучения модели и формирования прогнозов необходимо оценить ее качество. В многометочной классификации используются следующие метрики.

Метрика AUC ROC измеряет, насколько хорошо модель различает разные классы. Если AUC ROC близка к 1, модель почти идеальна, если же ближе к 0,5, она не лучше случайного угадывания:

где TPR (t) – доля предсказанных верно положительных примеров среди всех реальных положительных примеров (англ. True Positive Rate) при пороге t ; FPR (t) – доля неверно предсказанных положительных примеров среди всех реальных отрицательных примеров (англ. False Positive Rate) при пороге t ; t – порог, который изменяется от 0 до 1, позволяя строить ROC-кривую.

Дисбаланс классов является одной из особенностей данной задачи, из-за чего для оценки качества моделей следует использовать микроусредненный (англ. micro-averaged) показатель AUC ROC, который будет отражать общее качество классификации.

Метрика F1-score помогает понять, насколько хорошо модель находит все нужные примеры (англ. recall) и насколько точно она это делает (англ. precision):

где

В случае задачи назначения ЛП следует использовать взвешенную F1-меру (англ. weighted F1-score) для учета важности каждого класса пропорционально частоте его присутствия в данных.

Метрика точности по совпадению предсказаний (англ. Custom Accuracy, СА) разработана под конкретную задачу:

где ypredj – вектор предсказанных вероятностей для образца j; indj = {i∣ytrueji 1} – множество индексов истинных меток для образца j; ArgTopk (ypredj) – множество индексов топ-k наибольших значений вектора ypredj, где k=|indj|.

Пояснения:

– пересечение множеств ArgTop|indj| (ypredj)∩\{i ∣ ytrueji=1\} определяет количество правильных предсказаний среди top-k вероятностей;

– деление на размер множества истинных меток |{i ∣ ytrueji=1}| нормализует значение точности для каждого образца;

– суммирование по всем образцам и деление на их количество 1/n ∑nj=1 дает среднюю точность по всему набору данных.

Для минимизации функции потерь и оптимизации параметров модели используются методы градиентного спуска, такие как стохастический градиентный спуск (англ. stochastic gradient descent, SGD) или его вариации. В процессе оптимизации модель корректирует свои параметры θ, чтобы минимизировать функцию потерь :

где η – скорость обучения (англ. learning rate), а  – градиент функции потерь по параметрам модели.

Таким образом, процесс назначения ЛП пациенту можно рассматривать как задачу многометочной классификации, где модель обучается на данных пациентов и их характеристиках, предсказывает вероятности назначения ЛП, а затем принимает окончательное решение о назначении на основе порогового значения. Оценка качества модели проводится с использованием таких метрик, как разработанная под контекст данной задачи метрика точности Custom Accuracy, F1-score и AUC ROC, что позволяет сделать вывод об эффективности ее работы.

В ходе анализа научной литературы были определены алгоритмы машинного обучения, которые могут быть потенциально эффективны для решения задачи назначения ЛП. В итоге выбраны и адаптированы описанные ниже модели.

Полносвязная нейронная сеть (англ. fully connected neural network, FCNN) библиотеки keras

Архитектура: три скрытых слоя с 256, 128 и 64 нейронами с функцией активации ReLU, выходной многометочный слой с функцией активации sigmoid. Компилировалась с оптимизатором Adam и функцией потерь binary_crossentropy для независимых бинарных классификаций каждой метки. Подобные методы математического моделирования часто используются в биомедицинских исследованиях [9].

Сверточная нейронная сеть (англ. convolutional neural network, CNN) библиотеки keras

Архитектура: сверточный слой с 64 фильтрами, функцией активации ReLU, за которым следует слой субдискретизации (MaxPooling) для уменьшения размерности, преобразование в одномерный вектор с помощью слоя Flatten, который передается в два полносвязных слоя с 128 и 64 нейронами (также с активацией ReLU), выходной многометочный слой и оптимизатор аналогично FCNN.

Модель обучения одного классификатора для каждого класса (англ. One-vs-Rest, OvR) библиотеки scikit-learn

Архитектура: базовый классификатор – логистическая регрессия, максимальное количество итераций – 1000. Модель OvR использовали для обучения моделей неинвазивной диагностики АКТГ-зависимого1 эндогенного гиперкортицизма на основе клинических данных [10].

Модель градиентного бустинга деревьев решений (англ. eXtreme Gradient Boosting Classifier, XGBC) библиотеки xgboost2

Архитектура: модель стандартной реализации библиотеки xgboost, где количество деревьев в ансамбле – 100 (гиперпараметр n_estimators), максимальная глубина каждого дерева – 6 (гиперпараметр max_depth), гиперпараметр скорости обучения (learning_rate) – 0,3. Метрика оценки качества – кросс-энтропия (logloss).

Модель ансамбля из 20 деревьев решений (англ. RandomForestClassifier, RFC) библиотеки scikit-learn

Архитектура: модель стандартной реализации библиотеки scikit-learn, представляющая собой ансамбль из 20 деревьев решений (гиперпараметр n_estimators), где каждое дерево обучается на случайной подвыборке данных и признаков, гиперпараметр максимальной глубины деревьев не задан, количество признаков (гиперпараметр max_features) определяется автоматически. Модели градиентного бустинга и случайного леса использовали для определения структуры фармакотерапии при гипертонической болезни [11].

Построенные модели были обучены на тренировочной выборке размером 121 455 значений, что составляет 90% от общих данных, где оставшиеся 10% составляет валидационная выборка. В качестве целевых определялись значения множеств классов, принадлежащих таким признакам ЛП, как торговые наименования, действующие вещества и фармакологические группы.

В таблице 2 представлены результаты сравнительного анализа производительности моделей по ключевым метрикам в рамках решения разных задач.

Модель XGBC демонстрирует наилучшие результаты во всех задачах и по всем метрикам. Согласно значению метрики Сustom Accuracy, XGBC с вероятностью 58% предсказывает все фармакологические группы ЛП, необходимые для лечения конкретного пациента. Метрика F1-score показывает значительное снижение по мере увеличения сложности задачи, особенно в определении торговых наименований: высокий показатель AUC ROC при значениях немногим выше 0,5 (50%). F1-score и Сustom Аccuracy указывают на проблему дисбаланса классов в имеющихся данных, которую для успешного решения задачи назначения ЛП необходимо доработать путем балансировки классов, улучшения параметров моделей многометочной классификации или оптимизации обучающего набора данных.

P. Silva et al. [12] в своем исследовании использования методов машинного обучения для определения и прогнозирования назначений ЛП разделили процесс назначения ЛП на сценарии и ограничили количество категорий ЛП до 40. Авторы уделили значительное внимание разработке и отбору признаков, которые могут улучшить точность предсказаний моделей: в рамках каждой из записей были созданы отдельные столбцы в виде трех наиболее часто назначаемых ЛП при заболевании, а также определена иерархическая структура заболеваний по кодам Международной классификации болезней 10-го пересмотра с анализом наиболее часто назначаемых препаратов [12]. Подобные оптимизации являются одним из способов помочь моделям машинного обучения справиться с дисбалансом классов и выявить новые скрытые зависимости между признаками для повышения предсказательной способности.

Наше исследование назначения ЛП детям не имеет ограничений по выборкам и сценариям: количество категорий целевых признаков, описанных в таблице 1, не ограничено. Один из способов помочь модели сузить круг возможных вариантов категорий для предсказания – определить спектр фармакологических групп ЛП, назначаемых врачами в качестве фармакотерапии поставленного пациенту диагноза и дополнить им тренировочную выборку. Информация из полученных 120 столбцов категорий фармакологических групп ЛП, назначаемых пациенту, основана на анализе больших данных информационной базы исследования и отражает особенности поведения врачей при определении структуры фармацевтической помощи в рамках конкретного диагноза. Подобное решение позволяет модели сместить фокус с общей картины наиболее релевантных ЛП и сконцентрироваться на других зависимостях.

В таблице 3 показаны результаты сравнительного анализа производительности оптимизированных моделей по ключевым метрикам в рамках решения разных задач, где целевыми значениями являются действующие вещества и торговые наименования ЛП.

Оптимизация позволила добиться значительного улучшения предсказательной способности: модель XGBC демонстрирует лучшие результаты по каждой из ключевых метрик. Предпринятые меры по дополнению тренировочного набора данных новыми признаками с целью снижения влияния дисбаланса классов на предсказательную способность модели оказались эффективными, однако не являются полноценным решением данной проблемы.

Точность моделей, определяющих действующее вещество, выше, чем у моделей, определяющих конкретный ЛП, по нескольким причинам. Во-первых, определение действующего вещества – более общая задача: меньшее количество действующих веществ по сравнению с конкретными ЛП упрощает их классификацию. Моделям легче найти различия между несколькими действующими веществами, чем между большим количеством различных препаратов, которые могут иметь схожие составы или базироваться на тех же биологически активных соединениях. Во-вторых, количество обучающих данных для каждого класса (в данном случае для каждого действующего вещества) может быть более сбалансированным по сравнению с ЛП. Проблема дисбаланса классов может возникнуть, когда одни классы значительно более многочисленны, чем другие. В случае конкретных ЛП этот дисбаланс выражен сильнее, что затрудняет точную классификацию, особенно для менее распространенных препаратов. Кроме того, множество ЛП могут содержать одинаковые действующие вещества, что создает перекрытие между классами и усложняет задачу для модели, пытающейся различить конкретные препараты. Это приводит к тому, что модели, обученные для предсказания торговых наименований ЛП, часто сталкиваются с большей неопределенностью и, как следствие, с меньшей точностью.

В результате проведенного исследования была выделена модель XGBC как наилучший способ решения задачи многометочной классификации ЛП. Полученная модель XGBC для предсказания действующих веществ была оптимизирована при помощи настройки гиперпараметров: количество деревьев (гиперпараметр n_estimators) увеличено до 500, а глубина деревьев (гиперпараметр max_depth) – до 10; для уменьшения риска переобучения при тренировке модели использовалась фиксированная доля данных (гиперпараметр subsample=0,9), а также ранняя остановка процесса обучения (гиперпараметр early_stopping_rounds=10), если улучшения ее показателей не наблюдаются в течение 10 итераций. Оптимизированная модель XGBC имела следующие значения метрик оценки качества: AUC ROC 0,9993; F1-score 0,8318; Custom Accuracy 0,8548.

Для валидации модели и получения наглядного представления о ее предсказательной способности при помощи инструментов библиотеки matplotlib языка программирования Python была построена матрица ошибок (рис. 1), которая показывает распределение истинных и ошибочных классификаций, что помогает выявить возможные проблемные зоны и направления для дальнейшего улучшения модели. Для построения графика было выбрано 20 наиболее часто назначаемых действующих веществ, что по суммарному количеству назначений составляет более 51% от всех назначаемых ЛП.

Идеальная модель имеет матрицу ошибок, где по диагонали от верхнего левого до правого нижнего угла (в клетках, где значения категорий истинных и предсказанных значений совпадают) есть значения, а вне этой диагонали отображаются нули. По соответствию значений категорий на матрице можно провести анализ предсказательной способности модели и сделать выводы о ключевых закономерностях ее работы.

Для еще более детального изучения прогностической способности полученной модели описаны сценарии назначения ЛП для сравнения истинных и предсказываемых значений. В таблице 4 представлена информация о некоторых из них. По этим данным можно выделить ряд проблем и сложностей как у модели, так и у решаемой ею задачи:

– в первом сценарии модель посчитала нужным добавить к предсказанным значениям такое действующее вещество, как сахаромицеты буларди (Saccharomyces boulardii – вид дрожжевых грибков, способствующих нормализации микрофлоры кишечника), дополнительно к уже назначенному пробиотическому комплексу;

– во втором сценарии модель заменила адсорбент полиметилсилоксан на диоктаэдрический смектит – его аналог по фармакологической группе;

– в третьем сценарии действующее вещество оксиметазолин было заменено на ксилометазолин (эти вещества входят в одну фармакологическую группу и практически аналогичны по фармакологическому действию);

– четвертый сценарий – хороший пример полного совпадения истинных и предсказанных значений.

Поведение модели, наблюдаемое в приведенных сценариях, может быть обусловлено несколькими факторами. Во-первых, модель может склоняться к предсказанию дополнительных препаратов, которые считаются одинаково релевантными в контексте определенного диагноза или анамнеза пациента, что приводит к включению в прогноз лишних веществ как в первом, так и в третьем сценариях. Во-вторых, такие замены, как в сценарии с полиметилсилоксаном и диоктаэдрическим смектитом, могут свидетельствовать о недостаточном (согласно расчетам внутри обученного алгоритма модели) различии между схожими препаратами, что может быть следствием их близости по фармакологической группе. Проблему третьего сценария с действующими веществами оксиметазолин и ксилометазолин можно также наблюдать на матрице ошибок (см. рис. 1). Для работы с матрицей ошибок важно обращать внимание на количество правильных и неправильных предсказаний для каждого класса. Анализируя диагональные элементы матрицы (где совпадают истинные и предсказанные метки), можно оценить точность модели для каждого отдельного класса, а несоответствия в остальных ячейках помогут выявить классы, которые модель путает чаще всего. На полученной матрице ошибок можно заметить определенные особенности в предсказаниях модели для меток «ксилометазолин» и «оксиметазолин»: модель имеет тенденцию путать эти два препарата, что выражается в перекрестных ошибках между метками 6 и 7, – оба препарата похожи по своему фармакологическому действию, из-за чего модель не всегда способна различить их в контексте задачи, и это приводит к неточностям в предсказаниях.

Сценарное моделирование – эффективный инструмент прогнозирования различных сценариев, нашедший свое применение, в частности, в сфере здравоохранения. В ходе исследования рассмотрена задача многометочной классификации в контексте назначения ЛП.

Проведен сравнительный анализ моделей XGBС, CNN, FCNN, OvR и RFC с акцентом на их способность классифицировать ЛП по таким признакам, как действующие вещества, фармакологические группы и торговые наименования. Оценка значений метрик AUC ROC, F1-score и Custom Accuracy полученных моделей определила модель XGBC как наилучший алгоритм решения задачи многометочной классификации каждого из целевых признаков. Целевой признак «Фармакологические группы» послужил элементом оптимизации обучающей выборки для помощи моделям в определении истинных меток торговых наименований ЛП и их действующих веществ. Метод доработки признаков как один из способов «помочь» моделям в определении истинных значений ЛП дал результат и значительно повысил их предсказательную способность. Последующая оптимизация гиперпараметров позволила довести прогностическую способность и точность модели XGBC до 85%, однако изучение результатов работы модели выявило ряд проблем ошибочного предсказания похожих по фармакологическому действию ЛП. Обнаруженная проблема свидетельствует о необходимости дальнейших оптимизаций как путем доработки самого технического задания решаемой задачи, так и с помощью введения и разработки новых признаков в тренировочной выборке. Решение проблемы дисбаланса классов моделей многометочной классификации особенно актуально при прогнозировании торговых наименований назначаемых ЛП.

Тем не менее характеристики полученной модели XGBC позволяют рассматривать ее как основного кандидата для создания прототипа системы СМ: модель способна предсказывать если не истинные, то похожие по группе и действию вещества и ЛП, что позволяет оценить предполагаемую структуру фармацевтической помощи в конкретном сценарии. Таким образом, предложенный в данном исследовании подход имеет значительный потенциал для моделирования достоверных сценариев и использования полученных результатов в системах СМ с целью улучшения и оптимизации медицинской и фармацевтической помощи детям.

1. АКТГ – адренокортикотропный гормон. 2. xgboost – это название библиотеки языка программирования Python. Если в коде указано XGBoost (вместо xgboost), интерпретатор кода выдаст ошибку, поэтому в тексте указываем xgboost.