farmaecFARMAKOEKONOMIKA. Modern Pharmacoeconomics and PharmacoepidemiologyФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология2070-49092070-4933IRBIS LLC10.17749/2070-4909/farmakoekonomika.2022.151farmaec-736Research ArticleORIGINAL ARTICLESОРИГИНАЛЬНЫЕ ПУБЛИКАЦИИUnified system and classification of indicators for integral assessment of the performance and effectiveness of medical care organization at the regional level in the Russian FederationЕдиная система и классификация показателей для интегральной оценки результативности и эффективности организации оказания медицинской помощи на уровне субъекта Российской Федерацииhttps://orcid.org/0000-0003-1581-0703ОмельяновскийВ. В.OmelyanovskiyV. V.

Омельяновский Виталий Владимирович – д.м.н., профессор, генеральный директор; руководитель Центра финансов здравоохранения; заведующий кафедрой экономики, управления и оценки технологий здравоохранения

Хохловский пер., д. 10/5, Москва 109028

Настасьинский пер., д. 3/2, Москва 127006

ул. Баррикадная, д. 2/1, стр. 1, Москва 123242

WoS ResearcherID: P-6911-2018

Scopus Author ID: 6507287753

 

Vitaliy V. Omelyanovskiy – Dr. Med. Sc., Professor, Director General; Head of Center for Healthcare Finance; Chief of Chair of Economics, Management and Evaluation of Healthcare Technologies

10/5 Khokhlovskiy Aly, Moscow 109028

3/2 Nastasyinskiy Aly, Moscow 127006

2/1 bldg 1 Barrikadnaya Str., Moscow 123242

WoS ResearcherID: P-6911-2018

Scopus Author ID: 6507287753

https://orcid.org/0000-0001-8020-369XМихайловИ. А.MikhailovI. А.

Михайлов Илья Александрович – главный специалист отдела организационно-методического обеспечения поддержки деятельности национальных медицинских исследовательских центров; ассистент кафедры экономики, управления и оценки технологий здравоохранения; аспирант

Хохловский пер., д. 10/5, Москва 109028

ул. Баррикадная, д. 2/1, стр. 1, Москва 123242

ул. Воронцово Поле, д. 12, стр. 1, Москва 105064

WoS ResearcherID: I-9035-2017

Scopus Author ID: 57203900904

Ilya А. Mikhailov – Chief Expert, Department of Organizational and Methodological Support for the Activities of National Medical Research Centers; Assistant Professor, Chair of Economics, Management and Evaluation of Healthcare Technologies; Postgraduate

10/5 Khokhlovskiy Aly, Moscow 109028

2/1 bldg 1 Barrikadnaya Str., Moscow 123242

12 bldg 1 Vorontsovo Pole Str., Moscow 105064

WoS ResearcherID: I-9035-2017

Scopus Author ID: 57203900904

mikhailov@rosmedex.ruhttps://orcid.org/0000-0001-9892-1147ЛукъянцеваД. В.LukyantsevaD. V.

Лукъянцева Дарья Валерьевна – к.м.н., начальник отдела клинической апробации и оценки инноваций; старший научный сотрудник Центра финансов здравоохранения; доцент кафедры организации здравоохранения и общественного здоровья

Хохловский пер., д. 10/5, Москва 109028

Настасьинский пер., д. 3/2, Москва 127006

ул. Баррикадная, д. 2/1, стр. 1, Москва 123242

WoS ResearcherID: X-3920-2019

Darya V. Lukyantseva – MD, PhD, Head of Department of Clinical Testing and Evaluation of Innovations; Senior Researcher, Center for Healthcare Finance; Associate Professor, Chair of Health Organization and Public Health

10/5 Khokhlovskiy Aly, Moscow 109028

3/2 Nastasyinskiy Aly, Moscow 127006

2/1 bldg 1 Barrikadnaya Str., Moscow 123242

WoS ResearcherID: X-3920-2019

https://orcid.org/0000-0002-6085-1320СамсоноваЕ. С.SamsonovaЕ. S.

Самсонова Елена Сергеевна – заместитель начальника отдела организационно-методического обеспечения поддержки деятельности национальных медицинских исследовательских центров

Хохловский пер., д. 10/5, Москва 109028

WoS ResearcherID: X-3920-2019

Elena S. Samsonova – Deputy Head of Department of Organizational and Methodological Support for the Activities of National Medical Research Centers

10/5 Khokhlovskiy Aly, Moscow 109028

WoS ResearcherID: X-3920-2019

https://orcid.org/0000-0001-9892-1147ЛебеденкоГ. Г.LebedenkoG. G.

Лебеденко Георгий Геннадьевич – начальник отдела организационно-методического обеспечения поддержки деятельности национальных медицинскихисследовательских центров; ассистент кафедры экономики, управления и оценки технологий здравоохранения

Хохловский пер., д. 10/5, Москва 109028

ул. Баррикадная, д. 2/1, стр. 1, Москва 123242

WoS ResearcherID: X-3920-2019

Georgiy G. Lebedenko – Head of Department of Organizational and Methodological Support for the Activities of National Medical Research Centers; Assistant Professor, Chair of Economics, Management and Evaluation of Healthcare Technologies

10/5 Khokhlovskiy Aly, Moscow 109028

2/1 bldg 1 Barrikadnaya Str., Moscow 123242

WoS ResearcherID: X-3920-2019

Федеральное государственное бюджетное учреждение «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации; Федеральное государственное бюджетное учреждение «Научно-исследовательский финансовый институт» Министерства финансов Российской Федерации; Федеральное государственное бюджетное образовательное учреждение дополнительного профессионального образования «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской ФедерацииРоссияCenter for Expertise and Quality Control of Medical Care; Financial Research Institute; Russian Medical Academy of Continuing Professional EducationRussian FederationФедеральное государственное бюджетное учреждение «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации; Федеральное государственное бюджетное образовательное учреждение дополнительного профессионального образования «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской Федерации; Федеральное государственное бюджетное научное учреждение «Национальный научно-исследовательский институт общественного здоровья им. Н.А. Семашко»РоссияCenter for Expertise and Quality Control of Medical Care; Russian Medical Academy of Continuing Professional Education; Semashko National Research Institute of Public HealthRussian FederationФедеральное государственное бюджетное учреждение «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации; Федеральное государственное бюджетное учреждение «Научно-исследовательский финансовый институт» Министерства финансов Российской Федерации; Федеральное государственное бюджетное образовательное учреждение дополнительного профессионального образования «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской ФедерацииРоссияCenter for Expertise and Quality Control of Medical Care; Financial Research Institute; Russian Medical Academy of Continuing Professional EducationRussian FederationФедеральное государственное бюджетное учреждение «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской ФедерацииРоссияCenter for Expertise and Quality Control of Medical CareRussian FederationФедеральное государственное бюджетное учреждение «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации; Федеральное государственное бюджетное образовательное учреждение дополнительного профессионального образования «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской ФедерацииРоссияCenter for Expertise and Quality Control of Medical Care; Russian Medical Academy of Continuing Professional EducationRussian Federation202220012023154442451Copyright © Omelyanovskiy V.V., Mikhailov I.А., Lukyantseva D.V., Samsonova Е.S., Lebedenko G.G., 20232023Омельяновский В.В., Михайлов И.А., Лукъянцева Д.В., Самсонова Е.С., Лебеденко Г.Г.Omelyanovskiy V.V., Mikhailov I.А., Lukyantseva D.V., Samsonova Е.S., Lebedenko G.G.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.pharmacoeconomics.ru/jour/article/view/736Objective

Objective: development of a unified system and classification of indicators for an integral assessment of performance and effectiveness of the organization of medical care (MC) at the regional level in the Russian Federation (RF).

Material and methods

Material and methods. A systematic search for domestic and foreign scientific publications and a comprehensive analysis of the current regulatory legal acts in the field of health care for the presence of indicators characterizing the effectiveness of MC organization in the RF regions were performed. The search for indicators of effectiveness was carried out in analytical reports based on the results of field events of national medical research centers (NMRC) in the constituent entities of the RF for 2019, 2020 and 2021 in various profiles of MC. In total, 3019 analytical reports on the results of field events and 97 annual public reports on the results of the NMRC activities were analyzed.

Results

Results. Three options for classifying indicators were formed: according to the method of obtaining (primary, calculated, secondary qualitative); in relation to the final result (resulting, process (surrogate)); classification of parameters that determine the MC system, including in the context of profiles, forms, types, conditions of MC (18 positions). The proposed unified system and classification of indicators has a number of advantages compared with the Organisation for Economic Cooperation and Development, Centers for Medicare & Medicaid Services and Commonwealth Fund indicators adopted in a number of countries. It was established that international systems use mainly resulting indicators, while the domestic health care system uses exclusively process indicators that are not combined into a single system and are monitored by various departments.

Conclusion

Conclusion. The presented approach to a unified system and classification of indicators for an integrated assessment of performance and effectiveness of MC organization allows to determine the priorities for the development of a monitoring system. At the same time, it should be noted that this approach requires further discussion and improvement.

Цель

Цель: разработка системы и классификации показателей для интегральной оценки результативности и эффективности организации оказания медицинской помощи (МП) на уровне субъекта Российской Федерации (РФ).

Материал и методы

Материал и методы. Проведен систематический поиск отечественных и зарубежных научных публикаций, выполнен комплексный анализ действующих нормативных правовых актов в сфере здравоохранения на предмет наличия показателей, характеризующих эффективность организации оказания МП на уровне субъекта РФ. Поиск индикаторов эффективности проводили в аналитических отчетах по результатам выездных мероприятий национальных медицинских исследовательских центров (НМИЦ) в субъекты РФ за 2019, 2020 и 2021 гг. по различным профилям МП. Проанализировано 3019 аналитических отчетов по результатам выездных мероприятий и 97 годовых публичных отчетов по результатам деятельности НМИЦ.

Результаты

Результаты. На основании проведенного анализа сформировано три варианта классификации показателей: по методике получения (первичные, расчетные, вторичные качественные); по отношению к конечному результату (результирующие, процессные (суррогатные)); классификация параметров, определяющих систему оказания МП, в т.ч. в разрезе профилей, форм, видов, условий МП (18 позиций). Предложенная единая система и классификация показателей имеет ряд преимуществ по сравнению с принятыми в ряде стран системами индикаторов Организации экономического сотрудничества и развития, агентства Centers for Medicare & Medicaid Services и Фонда Содружества. Установлено, что в международных системах используются, как правило, результирующие показатели, а в отечественной системе здравоохранения – исключительно процессные, которые не объединены в единую систему и мониторируются различными ведомствами.

Заключение

Заключение. Представленный подход к единой системе и классификации показателей для интегральной оценки результативности и эффективности организации оказания МП позволяет определить приоритеты развития системы мониторинга. В то же время следует отметить, что данный подход требует дальнейшего обсуждения и совершенствования.

Система здравоохраненияэффективность оказания медицинской помощипоказатели эффективностиинтегральные показателибенчмаркингрейтингиHealth care systemeffectiveness of medical careperformance indicatorsintegral indicatorsbenchmarkingratingsReferencesСаитгареева А.А., Бударин С.С., Волкова О.А. Показатели и критерии оценки эффективности деятельности медицинских организаций в федеральных и региональных нормативных правовых актах. Вестник Росздравнадзора. 2015; 6: 12–23.Saitgareeva A.A., Budarin S.S., Volkova O.A. The indicators and criteria for assessing performance of health care organizations in the federal and regional normative legal acts. Vestnik Roszdravnadzora / Bulletin of Roszdravnadzor. 2015; 6: 12–23 (in Russ.).Карайланов М.Г., Федоткина С.А., Русев И.Т., Прокин И.Г. Методический подход к оценке эффективности медицинской организации, оказывающей амбулаторную помощь. Клиническая патофизиология. 2016; 22 (40): 134–40.Karaylanov M.G., Fedotkina S.A., Rusev I.T., Prokin I.G. Methodologies for assessing the effectiveness of medical organizations that provide outpatient care. Clinical Pathophysiology. 2016; 22 (40): 134–40 (in Russ.).ГОСТ Р ИСО 9000-2015. Национальный стандарт Российской Федерации. Системы менеджмента качества. Основные положения и словарь. URL: https://docs.cntd.ru/document/1200124393 (дата обращения 07.10.2022).GOST R ISO 9000-2015. National Standard of the Russian Federation. Quality management systems. Fundamentals and vocabulary. Available at: https://docs.cntd.ru/document/1200124393 (in Russ.) (accessed 07.10.2022).Ollila E., Koivusalo M. The World Health Report 2000: World Health Organization health policy steering off course – changed values, poor evidence, and lack of accountability. Int J Health Serv. 2002; 32 (3): 503–14. https://doi.org/10.2190/0HLK-CDNQ-C6P3-9WF6.Ollila E., Koivusalo M. The World Health Report 2000: World Health Organization health policy steering off course – changed values, poor evidence, and lack of accountability. Int J Health Serv. 2002; 32 (3): 503–14. https://doi.org/10.2190/0HLK-CDNQ-C6P3-9WF6.Docteur E. Towards high-performing health systems: the OECD health project. URL: https://www.oecd.org/health/32026026.pdf (дата обращения 07.10.2022).Docteur E. Towards high-performing health systems: the OECD health project. Available at: https://www.oecd.org/health/32026026.pdf (accessed 07.10.2022).Porter M.E. What is value in health care? N Engl J Med. 2010; 363 (26): 2477–81. https://doi.org/10.1056/NEJMp1011024.Porter M.E. What is value in health care? N Engl J Med. 2010; 363 (26): 2477–81. https://doi.org/10.1056/NEJMp1011024.Porter M.E., Larsson S., Lee T.H. Standardizing patient outcomes measurement. N Engl J Med. 2016; 374 (6): 504–6. https://doi.org/10.1056/NEJMp1511701.Porter M.E., Larsson S., Lee T.H. Standardizing patient outcomes measurement. N Engl J Med. 2016; 374 (6): 504–6. https://doi.org/10.1056/NEJMp1511701.Weenink J.W., Braspenning J., Wensing M. Patient reported outcome measures (PROMs) in primary care: an observational pilot study of seven generic instruments. BMC Fam Pract. 2014; 15: 88. https://doi.org/10.1186/1471-2296-15-88.Weenink J.W., Braspenning J., Wensing M. Patient reported outcome measures (PROMs) in primary care: an observational pilot study of seven generic instruments. BMC Fam Pract. 2014; 15: 88. https://doi.org/10.1186/1471-2296-15-88.Cohen A.B., Mathews S.C. The digital outcome measure. Digit Biomark. 2018; 2 (3): 94–105. https://doi.org/10.1159/000492396.Cohen A.B., Mathews S.C. The digital outcome measure. Digit Biomark. 2018; 2 (3): 94–105. https://doi.org/10.1159/000492396.Veillard J., Garcia-Armesto S., Kadandale S., Klazinga N. International health system comparisons: from measurement challenge to management tool. In: Smith P.C., Mossialos E., Papanicolas I., Leatherman S. (Eds.) Performance measurement for health system improvement: experiences, challenges and prospects. Cambridge University Press; 2010: 641–72.Veillard J., Garcia-Armesto S., Kadandale S., Klazinga N. International health system comparisons: from measurement challenge to management tool. In: Smith P.C., Mossialos E., Papanicolas I., Leatherman S. (Eds.) Performance measurement for health system improvement: experiences, challenges and prospects. Cambridge University Press; 2010: 641–72.Sun H., Gong T.T., Jiang Y.T., et al. Global, regional, and national prevalence and disability-adjusted life-years for infertility in 195 countries and territories, 1990–2017: results from a global burden of disease study, 2017. Aging (Albany NY). 2019; 11 (23): 10952–91. https://doi.org/10.18632/aging.102497.Sun H., Gong T.T., Jiang Y.T., et al. Global, regional, and national prevalence and disability-adjusted life-years for infertility in 195countries and territories, 1990–2017: results from a global burden of disease study, 2017. Aging (Albany NY). 2019; 11 (23): 10952–91. https://doi.org/10.18632/aging.102497.Carlson J.J., Brouwer E.D., Kim E., et al. Alternative approaches to quality-adjusted life-year estimation within standard cost-effectiveness models: literature review, feasibility assessment, and impact evaluation. Value Health. 2020; 23 (12): 1523–33. https://doi.org/10.1016/j.jval.2020.08.2092.Carlson J.J., Brouwer E.D., Kim E., et al. Alternative approaches to quality-adjusted life-year estimation within standard cost-effectiveness models: literature review, feasibility assessment, and impact evaluation. Value Health. 2020; 23 (12): 1523–33. https://doi.org/10.1016/j.jval.2020.08.2092.Schoen C., Osborn R. The commonwealth fund 2010 international health policy survey in eleven countries. London: Commonwealth Fund; 2010.Schoen C., Osborn R. The commonwealth fund 2010 international health policy survey in eleven countries. London: Commonwealth Fund; 2010.Carinci F., Van Gool K., Mainz J., et al. Towards actionable international comparisons of health system performance: expert revision of the OECD framework and quality indicators. Int J Qual Health Care. 2015; 27 (2): 137–46. https://doi.org/10.1093/intqhc/mzv004.Carinci F., Van Gool K., Mainz J., et al. Towards actionable international comparisons of health system performance: expert revision of the OECD framework and quality indicators. Int J Qual Health Care. 2015; 27 (2): 137–46. https://doi.org/10.1093/intqhc/mzv004.Klazinga N. Benchmarking the quality of national health systems – the OECD indicators. Dtsch Med Wochenschr. 2008; 133: S145. https://doi.org/10.1055/s-0028-1085589.Klazinga N. Benchmarking the quality of national health systems – the OECD indicators. Dtsch Med Wochenschr. 2008; 133: S145. https://doi.org/10.1055/s-0028-1085589.Australia’s Health 2012. URL: https://www.aihw.gov.au/getmedia/5fd0fcfe-bac9-4a4c-8128-1152d0ae9d8d/14178.pdf.aspx?inline=true (дата обращения 07.10.2022).Australia’s Health 2012. Available at: https://www.aihw.gov.au/getmedia/5fd0fcfe-bac9-4a4c-8128-1152d0ae9d8d/14178.pdf.aspx?inline=true (accessed 07.10.2022).Harbers M.M., Verschuuren M., de Bruin A. Implementing the European Core Health Indicators (ECHI) in the Netherlands: an overview of data availability. Arch Public Health. 2015; 73 (1): 9. https://doi.org/10.1186/s13690-014-0058-4.Harbers M.M., Verschuuren M., de Bruin A. Implementing the European Core Health Indicators (ECHI) in the Netherlands: an overview of data availability. Arch Public Health. 2015; 73 (1): 9. https://doi.org/10.1186/s13690-014-0058-4.Rodrigues H., Brochado A., Troilo M., Mohsin A. Mirror, mirror on the wall, who’s the fairest of them all? A critical content analysis on medical tourism. Tour Manag Perspect. 2017; 24 (4): 16–25. https://doi.org/10.1016/j.tmp.2017.07.004.Rodrigues H., Brochado A., Troilo M., Mohsin A. Mirror, mirror on the wall, who’s the fairest of them all? A critical content analysis on medical tourism. Tour Manag Perspect. 2017; 24 (4): 16–25. https://doi.org/10.1016/j.tmp.2017.07.004.Gauld R., Al-Wahaibi S., Chisholm J., et al. Scorecards for health system performance assessment: the New Zealand example. Health Policy. 2011; 103 (2–3): 200–8. https://doi.org/10.1016/j.healthpol.2011.05.016.Gauld R., Al-Wahaibi S., Chisholm J., et al. Scorecards for health system performance assessment: the New Zealand example. Health Policy. 2011; 103 (2–3): 200–8. https://doi.org/10.1016/j.healthpol.2011.05.016.Veillard J., Moses McKeag A., Tipper B., et al. Methods to stimulate national and sub-national benchmarking through international health system performance comparisons: a Canadian approach. Health Policy. 2013; 112 (1–2): 141–7. https://doi.org/10.1016/j.healthpol.2013.03.015.Veillard J., Moses McKeag A., Tipper B., et al. Methods to stimulate national and sub-national benchmarking through international health system performance comparisons: a Canadian approach. Health Policy. 2013; 112 (1–2): 141–7. https://doi.org/10.1016/j.healthpol.2013.03.015.Серяпина Ю.В., Железнякова И.А., Омельяновский В.В. и др. Стандартизация порядков оказания медицинской помощи в Российской Федерации. Медицинские технологии. Оценка и выбор. 2020; 3: 36–43. https://doi.org/10.17116/medtech20204103136.Seryapina Yu.V., Zheleznyakova I.A., Omelyanovskiy V.V., et al. Standardization of the orders on medical care provision in the Russian Federation. Medical Technologies. Assessment and Choice. 2020; 3: 36–43 (in Russ.). https://doi.org/10.17116/medtech20204103136.

The authors declare that there are no conflicts of interest present.