farmaecFARMAKOEKONOMIKA. Modern Pharmacoeconomics and PharmacoepidemiologyФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология2070-49092070-4933IRBIS LLC10.17749/2070-4909/farmakoekonomika.2021.108farmaec-541Research ArticleORIGINAL ARTICLESОРИГИНАЛЬНЫЕ ПУБЛИКАЦИИCOVID-19 pandemic prediction model based on machine learning in selected regions of the Russian FederationМодель прогнозирования пандемии COVID-19 на основе машинного обучения в отдельных регионах Российской Федерацииhttps://orcid.org/0000-0002-8745-857XГавриловД. В.GavrilovD. V.

Гаврилов Денис Владимирович – руководитель медицинского направления

РИНЦ SPIN-код: 2860-6040

наб. Варкауса, д. 17, помещ. 62, Республика Карелия, Петрозаводск 185031, Россия

Denis V. Gavrilov – Head of Medical Department

17 premises 62 Varkaus Qy, Republic of Karelia, Petrozavodsk 185031, Russia

АбрамовР. В.AbramovR. V.

Абрамов Роман Владимирович – аналитик данных

наб. Варкауса, д. 17, помещ. 62, Республика Карелия, Петрозаводск 185031, Россия

Roman V. Abramov – Data Analyst

17 premises 62 Varkaus Qy, Republic of Karelia, Petrozavodsk 185031, Russia

https://orcid.org/0000-0002-0400-8750КирилкинаА. В.KirilkinaА. V.

Кирилкина Анна Валерьевна – заместитель главного врача по медицинской части

ул. Кирова, д. 42, Петрозаводск 185035, Россия

Anna V. Kirilkina – Deputy Chief Physician for Medicine

42 Kirov Str., Republic of Karelia, Petrozavodsk 185035, Russia

https://orcid.org/0000-0001-7834-096XИвшинА. А.IvshinА. А.

Ившин Александр Анатольевич – к.м.н., заведующий кафедрой акушерства и гинекологии, дерматовенерологии 

Scopus Author ID: 57222275843; РИНЦ SPIN-код: 8196-6605 

пр-т Ленина, д. 33, Республика Карелия, Петрозаводск 185910, Россия

Aleksandr A. Ivshin – MD, PhD, Chief of Chair of Obstetrics and Gynecology, Dermatovenerology

Scopus Author ID: 57222275843; RSCI SPIN-code: 8196-6605

33 Lenin Ave., Republic of Karelia, Petrozavodsk 185910, Russia

scipeople@mail.ruhttps://orcid.org/0000-0002-2350-977XНовицкийР. Э.NovitskiyR. E.

Новицкий Роман Эдвардович – генеральный директор

РИНЦ SPIN-код: 8309-1740

наб. Варкауса, д. 17, помещ. 62, Республика Карелия, Петрозаводск 185031, Россия

Roman E. Novitskiy – Director General

17 premises 62 Varkaus Qy, Republic of Karelia, Petrozavodsk 185031, Russia

Общество с ограниченной ответственностью «К-Скай»РоссияK-SkAI LLCRussian FederationГосударственное бюджетное учреждение здравоохранения «Республиканская инфекционная больница»РоссияRepublican Infectious Diseases HospitalRussian FederationФедеральное государственное бюджетное образовательное учреждение высшего образования «Петрозаводский государственный университет»РоссияPetrozavodsk State UniversityRussian Federation202103092021143342356Copyright © Gavrilov D.V., Abramov R.V., Kirilkina А.V., Ivshin А.А., Novitskiy R.E., 20212021Гаврилов Д.В., Абрамов Р.В., Кирилкина А.В., Ившин А.А., Новицкий Р.Э.Gavrilov D.V., Abramov R.V., Kirilkina А.V., Ivshin А.А., Novitskiy R.E.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.pharmacoeconomics.ru/jour/article/view/541Background

Background. Prediction of the new coronavirus infection (COVID-19) spread is important to take timely measures and initiate systemic preventive and anti-epidemic actions both at the regional and state levels to reduce morbidity and mortality.

Objective

Objective: to develop a model for short-term forecasting of COVID-19 cases and deaths in the Russian Federation.

Material and methods

Material and methods. The data for the model training were collected from the Stopcoronavirus.rf and Johns Hopkins University portals. It included 13 features to assess the infection dynamics and mortality, as well as the rate of morbidity and mortality in different countries and certain regions of the Russian Federation. The model was trained by the CatBoost gradient boosting method and retrained daily with updated data.

Results

Results. The forecast model of COVID-19 cases and deaths for the period of up to 14 days was created. The mean absolute percentage error (MAPE) estimate of the model’s accuracy ranged from 2.3% to 24% for 85 regions of the Russian Federation. The advantage of the CatBoost machine learning method over linear regression was shown using the example of the root mean square error (RMSE) value. The model showed less error for regions with a large population than for less populated ones.

Conclusion

Conclusion. The model can be used not only to predict the pandemic of the novel coronavirus infection but also to control and assess the spread of diseases from the group of new infections at their emergence, peak incidence, and stabilization period.

Актуальность

Актуальность. Прогнозирование распространения новой коронавирусной инфекции (COVID-19) имеет важное значение для принятия своевременных системных профилактических и противоэпидемических мер как на региональном, так и на федеральном уровне с целью снижения заболеваемости и смертности.

Цель

Цель: разработать модель краткосрочного прогнозирования зараженных и умерших от COVID-19 в Российской Федерации.

Материал и методы

Материал и методы. Данные для обучения модели собраны c портала Стопкоронавирус.рф и ресурса Университета Джонcа Хопкинса. Она включает 13 признаков для оценки динамики заражения и летальности, а также скорости их прироста в разных странах и отдельных регионах Российской Федерации. Модель обучена методом градиентного бустинга CatBoost и ежедневно переобучается на обновленных данных.

Результаты

Результаты. Создана модель краткосрочного предсказания числа зараженных и умерших от COVID-19 на период до 14 дней. Оценка точности модели с учетом ошибки предсказания в процентах (англ. mean absolute percentage error, MAPE) составляет от 2,3% до 24% для 85 регионов России. Показано преимущество метода машинного обучения CatBoost перед линейной регрессией на примере величины среднеквадратичной ошибки (англ. root mean square error, RMSE). Модель показывает меньшую ошибку для регионов с большой численностью населения, чем для менее населенных областей.

Заключение

Заключение. Модель может быть использована не только для прогнозирования пандемии новой коронавирусной инфекции, но и для контроля и оценки распространения заболеваний из группы новых инфекций на этапах их возникновения, пика заболеваемости и периода стабилизации.

Искусственный интеллектмашинное обучениеградиентный бустингэпидемиологический прогнозпандемия COVID-19Artificial intelligencemachine learninggradient boostingepidemiological forecastCOVID-19 pandemicИсследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках Соглашения № 075-15-2021-665The research was carried out with the financial support of the Ministry of Science and Higher Education of the Russian Federation under the Agreement No. 075-15-2021-665ReferencesWHO Coronavirus (COVID-19) Dashboard. URL: https://covid19.who.int/ (дата обращения 17.06.2020).WHO Coronavirus (COVID-19) Dashboard. Available at: https://covid19.who.int/ (accessed 17.06.2021).Временные методические рекомендации «Профилактика, диагностика и лечение новой коронавирусной инфекции (COVID 19). Версия 11» (утв. Министерством здравоохранения РФ 7 мая 2021 г.). URL: https://base.garant.ru/400738625/ (дата обращения 17.06.2021).Temporary methodological recommendations “Prevention, diagnosis and treatment of a new coronavirus infection (COVID 19). Version 11” (approved by the Ministry of Health of the Russian Federation on May 7, 2021) (in Russ.) Available at: https://base.garant.ru/400738625/ (accessed 17.06.2021).Huang C., Wang Y., Li X., et al. Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China. Lancet. 2020; 395 (10223): 497–506. https://doi.org/10.1016/S0140-6736(20)30183-5.Huang C., Wang Y., Li X., et al. Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China. Lancet. 2020; 395 (10223): 497–506. https://doi.org/10.1016/S0140-6736(20)30183-5.Onder G., Rezza G., Brusaferro S. Case-fatality rate and characteristics of patients dying in relation to COVID-19 in Italy. JAMA. 2020; 323 (18): 1775–6. https://doi.org/10.1001/jama.2020.4683.Onder G., Rezza G., Brusaferro S. Case-fatality rate and characteristics of patients dying in relation to COVID-19 in Italy. JAMA. 2020; 323 (18): 1775–6. https://doi.org/10.1001/jama.2020.4683.Mehta P., McAuley D.F., Brown M., et al. COVID-19: consider cytokine storm syndromes and immunosuppression. Lancet. 2020; 395 (10229): 1033–4. https://doi.org/10.1016/S0140-6736(20)30628-0.Mehta P., McAuley D.F., Brown M., et al. COVID-19: consider cytokine storm syndromes and immunosuppression. Lancet. 2020; 395 (10229): 1033–4. https://doi.org/10.1016/S0140-6736(20)30628-0.Hollander J.E., Carr B.G. Virtually perfect? Telemedicine for COVID-19. N Engl J Med. 2020; 382 (18): 1679–81. https://doi.org/10.1056/NEJMp2003539.Hollander J.E., Carr B.G. Virtually perfect? Telemedicine for COVID-19. N Engl J Med. 2020; 382 (18): 1679–81. https://doi.org/10.1056/NEJMp2003539.Стенограмма совещания о санитарно-эпидемиологической обстановке в России (13.04.2020 г.). URL: http://prezident.org/tekst/stenogramma-soveschanija-o-sanitarno-epidemiologicheskoi-obstanovke-v-rossii-13-04-2020.html (дата обращения 17.06.2021).Stenogram of the meeting on the sanitary and epidemiological situation in Russia (April 13, 2020). Available at: http://prezident.org/tekst/stenogramma-soveschanija-o-sanitarno-epidemiologicheskoiobstanovke-v-rossii-13-04-2020.html (in Russ.) (accessed 17.06.2021).Гусев А.В., Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении. Информационное общество. 2017; 4-5: 78–93.Gusev A.V., Dobridnyuk S.L. Artificial intelligence in medicine and healthcare. Information Society. 2017; 4-5: 78–93 (in Russ.).Гусев А.В., Плисс М.А. Основные рекомендации к созданию и развитию информационных систем в здравоохранении на базе искусственного интеллекта. Врач и информационные технологии. 2018; 3: 45–60.Gusev A.V., Pliss M.A. The basic recommendations for the creation and development of information systemsin health care based on artificial intelligence. Information Technologies for the Physician. 2018; 3: 45–60 (in Russ.).Гусев А.В., Кузнецова Т.Ю., Корсаков И.Н. Искусственный интеллект в оценке рисков развития сердечно-сосудистых заболеваний. Журнал телемедицины и электронного здравоохранения. 2018; 3 (8): 85–90.Gusev A.V., Kuznetsova T.Yu., Korsakov I.N. Artificial intelligence for cardiovascular risks assessment. The Journal of Telemedicine and e-Health. 2018; 3 (8): 85–90 (in Russ.).Гусев А.В., Гаврилов Д.В., Корсаков И.Н. и др. Перспективы использования методов машинного обучения для предсказания сердечно-сосудистых заболеваний. Врач и информационные технологии. 2019; 3: 41–7.Gusev A.V., Gavrilov D.V., Korsakov I.N., et al. Prospects for the use of machine learning methods for predicting cardiovascular disease. Information Technologies for the Physician. 2019; 3: 41–7 (in Russ.).Тамм М.В. Коронавирусная инфекция в Москве: прогнозы и сценарии. ФАРМАКОЭКОНОМИКА. Современная фармако экономика и фармакоэпидемиология. 2020; 13 (1): 43–51. https://doi.org/10.17749/2070-4909.2020.13.1.43-51.Tamm M.V. COVID-19 in Moscow: prognoses and scenarios. FARMAKOEKONOMIKA. Sovremennaya farmakoekonomika i farmako epidemiologiya / FARMAKOEKONOMIKA. Modern Pharmacoeconomics and Pharmacoepidemiology. 2020; 13 (1): 43–51 (in Russ.). https://doi.org/10.17749/2070-4909.2020.13.1.43-51.Fanelli D., Piazzab F. Analysis and forecast of COVID-19 spreading in China, Italy and France. Chaos Solitons Fractals. 2020; 134: 109761. https://doi.org/10.1016/j.chaos.2020.109761.Fanelli D., Piazzab F. Analysis and forecast of COVID-19 spreading in China, Italy and France. Chaos Solitons Fractals. 2020; 134: 109761. https://doi.org/10.1016/j.chaos.2020.109761.Petropoulos F., Makridakis S. Forecasting the novel coronavirus COVID-19. PLoS One. 2020; 15 (3): e0231236. https://doi.org/10.1371/journal.pone.0231236.Petropoulos F., Makridakis S. Forecasting the novel coronavirus COVID-19. PLoS One. 2020; 15 (3): e0231236. https://doi.org/10.1371/journal.pone.0231236.Ceylan Z. Estimation of COVID-19 prevalence in Italy, Spain, and France. Sci The Total Environ. 2020; 729: 138817. https://doi.org/10.1016/j.scitotenv.2020.138817.Ceylan Z. Estimation of COVID-19 prevalence in Italy, Spain, and France. Sci The Total Environ. 2020; 729: 138817. https://doi.org/10.1016/j.scitotenv.2020.138817.Roda W.C., Varughese M.B., Han D., Li M.Y. Why is it difficult to accurately predict the COVID-19 epidemic? Infect Dis Model. 2020; 5: 271–81. https://doi.org/10.1016/j.idm.2020.03.001.Roda W.C., Varughese M.B., Han D., Li M.Y. Why is it difficult to accurately predict the COVID-19 epidemic? Infect Dis Model. 2020; 5: 271–81. https://doi.org/10.1016/j.idm.2020.03.001.Pandey G., Chaudhary P., Gupta R., Pal S. SEIR and Regression Model based COVID-19 outbreak predictions in India. arXiv:2004.00958. https://doi.org/10.1101/2020.04.01.20049825.Pandey G., Chaudhary P., Gupta R., Pal S. SEIR and Regression Model based COVID-19 outbreak predictions in India. arXiv:2004.00958. https://doi.org/10.1101/2020.04.01.20049825.Алешукина А.В., Денисенко В.В., Алешукин Г.С., Голошва Е.В. Применение математической модели для прогнозирования эпидемиологической ситуации по COVID-19 в Ростовской области. COVID19-Preprints.Microbe.ru; 2020. https://doi.org/10.21055/preprints-3111736.Aleshukina А.V., Denisenko V.V., Aleshukin G.S., Goloshva Е.V. Application of a mathematical model for predicting the epidemiological situation of COVID-19 in the Rostov Region. COVID19-Preprints.Microbe. ru; 2020 (in Russ.).Yang Z., Zeng Z., Wang K., et al. Modified SEIR and AI prediction of the epidemics trend of COVID-19 in China under public health interventions. J Thorac Dis. 2020; 12 (3): 165–74. https://doi.org/10.21037/jtd.2020.02.64.Yang Z., Zeng Z., Wang K., et al. Modified SEIR and AI prediction of the epidemics trend of COVID-19 in China under public health interventions. J Thorac Dis. 2020; 12 (3): 165–74. https://doi.org/10.21037/jtd.2020.02.64.Petropoulos F., Makridakis S. Forecasting the novel coronavirus COVID-19. PLoS One. 2020; 15 (3): e0231236. https://doi.org/10.1371/journal.pone.0231236.Petropoulos F., Makridakis S. Forecasting the novel coronavirus COVID-19. PLoS One. 2020; 15 (3): e0231236. https://doi.org/10.1371/journal.pone.0231236.Мелик-Гусейнов Д.В., Карякин Н.Н., Благонравова А.С. и др. Регрессионные модели прогнозирования количества летальных исходов при новой коронавирусной инфекции. Современные технологии в медицине. 2020; 12 (2): 6–13. https://doi.org/http://doi.org/10.17691/stm2020.12.2.01.Melik-Huseynov D.V., Karyakin N.N., Blagonravova A.S., et al. Regression models predicting the number of deaths from the new coronavirus infection. Modern Technologies in Medicine. 2020; 12 (2): 6–13 (in Russ.). https://doi.org/http://doi.org/10.17691/stm2020.12.2.01.Forecast the global spread of COVID-19. URL: https://ods.ai/competitions/sberbank-covid19-forecast (дата обращения 17.06.2021).Forecast the global spread of COVID-19. Available at: https://ods.ai/competitions/sberbank-covid19-forecast (accessed 17.06.2021).Prokhorenkova L., Gusev G., Vorobev A., et al. CatBoost: unbiased boosting with categorical features. 32nd Conference on Neural Information Processing Systems. NeurIPS; 2018.Prokhorenkova L., Gusev G., Vorobev A., et al. CatBoost: unbiased boosting with categorical features. 32nd Conference on Neural Information Processing Systems. NeurIPS; 2018.Стопкоронавирус.РФ. URL: https://стопкоронавирус.рф (дата обращения 17.06.2021).StopcoronavirusRF. Available at: https://стопкоронавирус.рф (in Russ.) (accessed 17.06.2021).COVID-19 Data Repository by the Center for Systems Science and Engineering (CSSE) at Johns Hopkins University. URL: https://github.com/CSSEGISandData/COVID-19 (дата обращения 17.06.2021).COVID-19 Data Repository by the Center for Systems Science and Engineering (CSSE) at Johns Hopkins University. Available at: https://github.com/CSSEGISandData/COVID-19 (accessed 17.06.2021).Pavlyshenko B.M. Linear, machine learning and probabilistic approaches for time series analysis. The 1st IEEE International Conference on Data Stream Mining & Processing, 23–27 August 2016, Lviv, Ukraine.Pavlyshenko B.M. Linear, machine learning and probabilistic approaches for time series analysis. The 1st IEEE International Conference on Data Stream Mining & Processing, 23–27 August 2016, Lviv, Ukraine.Ji C., Zoua X., Hu Y., et al. XG-SF: an XGBoost classifier based on shapelet features for time series classification. Procedia Comput Sci. 2019; 147: 24–8. https://doi.org/10.1016/j.procs.2019.01.179.Ji C., Zoua X., Hu Y., et al. XG-SF: an XGBoost classifier based on shapelet features for time series classification. Procedia Comput Sci. 2019; 147: 24–8. https://doi.org/10.1016/j.procs.2019.01.179.Botchkarev A. Performance metrics (error measures) in machine learning regression, forecasting and prognostics: properties and typology. arXiv:1809.03006. https://doi.org/10.28945/4184.Botchkarev A. Performance metrics (error measures) in machine learning regression, forecasting and prognostics: properties and typology. arXiv:1809.03006. https://doi.org/10.28945/4184.

The authors declare that there are no conflicts of interest present.