Введение

В 2019 году Всемирная организация здравоохранения (ВОЗ) опубликовала первый Всемирный отчет о зрении, в котором в числе пяти глобальных приоритетных направлений развития была обозначена задача по разработке и совершенствованию информационных систем здравоохранения по профилю «офтальмология» [1], которые должны осуществлять сбор статистических данных и отчетов различных уровней для лиц, принимающих решения в области здравоохранения. Среди рекомендованных ВОЗ направлений развития была обозначена задача укрепления национального потенциала для сбора, анализа и использования данных о заболеваниях глаза и его придаточного аппарата, а также создание глобального перечня показателей состояния здоровья населения по данному профилю, из которого страны смогли бы отбирать соответствующие показатели для оценки эффективности организации оказания медицинской помощи на национальном уровне, а также смогли бы осуществлять построение интегральных рейтингов административно-территориальных образований [1].

Установление на международном уровне приоритета по разработке информационных систем и созданию единой системы показателей связано с недостаточной эффективностью глобальных инициатив, направленных на охрану здоровья глаза и его придаточного аппарата за последние два десятилетия [2–5]. В частности, эксперты отмечают, что недостаточный уровень сбора показателей во многих странах мира может быть связан с недостатком инвестиций в развитие информационных систем здравоохранения на национальном уровне в странах с низким и средним уровнем дохода, вертикальным характером подавляющего большинства систем организации оказания медицинской помощи по профилю «офтальмология», низкой вовлеченностью профессионального сообщества врачейофтальмологов в процесс информатизации, а также с различными ограничениями государственно-частного партнерства в здравоохранении в различных странах [6–8]. Также недостаточный уровень сбора данных может быть связан с отсутствием единой системы индикаторов эффективности организации оказания медицинской помощи по профилю «офтальмология» в глобальных системах мониторинга здоровья ВОЗ на сегодняшний день [9, 10].

Эксперты ВОЗ подчеркивают необходимость интеграции офтальмологической помощи в более широкое планирование в области здравоохранения [4]. Во Всемирном докладе о проблемах зрения [World report on vision]1 говорится, что здоровье глаза и его придаточного аппарата следует рассматривать как важнейший компонент всеобщего охвата услугами здравоохранения [11]. Организация проведения системного мониторинга в данной области рассматривается во всем мире как один из основных факторов, влияющих на достижение целей устойчивого развития Организации Объединенных Наций [9], и требует формирования единой системы показателей (индикаторов), согласованных между собой и включающих индикаторы доступности, качества и достаточности финансирования офтальмологической помощи [9]. В рамках работы Глобальной комиссии по здравоохранению экспертами The Lancet Global Health было представлено исследование глобальных тенденций по нарушениям зрения и определены приоритеты для формирования системы показателей, которые могут использоваться странами на национальном уровне для мониторинга и повышения эффективности организации оказания офтальмологической помощи [12].

Формирование системы показателей (индикаторов), характеризующих эффективность организации оказания медицинской помощи по профилю «офтальмология» также является крайне актуальной задачей и для системы здравоохранения Российской Федерации. В 2014 году в Российской Федерации было зарегистрировано более 16,2 млн случаев заболеваний глаза и его придаточного аппарата; число инвалидов по зрению, выявленных первично и повторно составило 82,6 тысяч [13]. В настоящее время в Российской Федерации экспертное сообщество использует следующие показатели и группы показателей [13]:

• показатель заболеваемости глаза и его придаточного аппарата на 100 тыс. населения;
• первичная заболеваемость (выявляемость);
• структура заболеваний глаза и придаточного аппарата (миопия, катаракта, глаукома, слепота, слабовидение);
• показатель заболеваемости глаза и его придаточного аппарата у детей;
• число детей-инвалидов по зрению;
• заболеваемость ретинопатией недоношенных;
• показатель охвата диспансерным наблюдением;
• коэффициент совместительства врачей-офтальмологов;
• укомплектованность штатов;
• доля профилактических посещений врачей-офтальмологов;
• обеспеченность офтальмологическими койками;
• хирургическая активность офтальмологических стационаров [13].

Также в качестве показателей результативности офтальмологической помощи экспертное сообщество использует различные индикаторы системы внутреннего контроля и управления качеством и безопасностью медицинской деятельности, такие как:

• средняя острота зрения с коррекцией в первые 3 суток после операции по поводу катаракты;
• средний показатель индуцированного послеоперационного астигматизма;
• доля пациентов, у которых получено прилегание сетчатки в раннем послеоперационном периоде;
• доля интраоперационных осложнений;
• доля послеоперационных осложнений;
• индикатор технологического результата хирургического лечения;
• удовлетворенность пациентов медицинской помощью [14].

Таким образом, как в подавляющем большинстве стран мира, так и в Российской Федерации системы бенчмаркинга, основанные на индикаторах эффективности организации офтальмологической помощи, находятся либо в самом начальном этапе разработки, либо отсутствуют. В связи с этим целью нашего исследования являлось формирование системы показателей оценки результативности и эффективности организации оказания медицинской помощи для формирования интегрального рейтинга субъектов Российской Федерации по профилю «офтальмология».

Материал и методы

Исследование проводилось путем экспертного опроса в форме структурированного интервью, которое проходило в несколько этапов. На первом этапе производился первичный отбор показателей на основании анализа аналитических отчетов по результатам выездных мероприятий в субъекты РФ и годовых публичных отчетов ФГАУ «НМИЦ «МНТК «Микрохирургия глаза» им. акад. С.Н. Федорова» Минздрава России за 2020 и 2021 годы.

На втором этапе происходил отбор экспертов на основании следующих критериев включения:

• наличие добровольного информированного согласия эксперта на участие в исследовании;
• наличие высшего медицинского образования по анализируемому профилю медицинской помощи;
• трудовой стаж по анализируемому профилю медицинской помощи от 10 лет и более;
• опыт работы на руководящих, административных или управленческих должностях от 10 лет и более;
• «высокий» уровень компетентности экспертов, оцененный на основании коэффициента уровня компетентности.

Уровень компетентности эксперта оценивался на основе опроса самооценки [15], который позволил рассчитать суммарный индекс компетентности (k) каждого эксперта. Каждому эксперту предлагалось оценить уровень своих компетенций по трем направлениям: k1 – численное значение самооценки экспертом уровня теоретических знаний предмета исследования; k2 – численное значение самооценки экспертом уровня практических знаний (опыта) предмета исследования; k3 – численное значение самооценки экспертом уровня способности прогнозировать будущее развитие или состояние предмета исследования. Каждое из трех направлений оценивалось по следующей шкале: «высокий уровень» – 1 балл; «средний уровень» – 0,5 балла; «низкий уровень» – 0 баллов. Коэффициент компетентности эксперта (k) рассчитывался путем вычисления среднего арифметического от значений k1, k2 и k3. В исследование включались только эксперты, после опроса которых коэффициент компетентности составил от 0,8 до 1 балла.

Далее были сформулированы критерии для экспертной оценки значимости отобранных показателей в соответствии с международными принципами, используемыми при построении систем бенчмаркинга [16–21]. Каждый эксперт оценивал каждый из показателей от 1 до 5 баллов по следующим критериям:

• степень влияния на уровень смертности или инвалидности (критерий 1);
• доступность сбора данных для расчета показателя и точность расчета показателя (критерий 2);
• значимость влияния показателя на общую оценку ситуации в субъекте РФ (критерий 3);
• возможность эффективного влияния на изменение данного показателя в субъектах РФ (критерий 4);
• возможность перевода показателя в баллы для включения в интегральный рейтинг субъекта РФ (критерий 5).

Опросы всех экспертов проводились исключительно индивидуально и в очном формате.

После проведения экспертного опроса (анкетирования) оценивалась согласованность экспертных мнений. Для количественной оценки степени совпадения ответов экспертов применяется коэффициент конкордации Кендалла (W) [15], который представляет собой число от 0 до 1, характеризующее степень согласованности мнений экспертов (в виде рангов) по совокупности критериев. При значении коэффцициента W < 0,3 согласованность мнений экспертов считается неудовлетворительной, при значениях 0,3 < W < 0,7 согласованность мнений экспертов считается средней и при W > 0,7 согласованность ранжирования мнений экспертов считается высокой. Значимость различий оценивалась с использованием непараметрического критерия Фридмана. Статистическая обработка производилась в программе Statistica 10 (StatSoft, USA).

Результаты

Всего в экспертном опросе (анкетировании) приняли участие 11 экспертов ФГАУ «НМИЦ «МНТК «Микрохирургия глаза» им. акад. С.Н. Федорова» Минздрава России, каждый из которых соответствовал всем критериям включения, изложенным выше. Средний коэффициент компетентности экспертов составил 0,95.

Из выбранных на этапе первичного отбора 20 показателей коэффициент конкордации Кендалла W > 0,3 был получен для 6 показателей. Коэффициент конкордации Кендалла 0,2 < W < 0,3 был получен для 5 показателей. Коэффициент конкордации Кендалла 0,1 < W < 0,2 был получен для 8 показателей. Далее в статье представлено подробное описание результатов исследования для показателей, характеризовавшихся коэффициентом конкордации Кендалла W > 0,1.

Для каждого показателя был рассчитан весовой коэффициент для дальнейшего использования при построении интегральных рейтингов субъектов РФ. Весовой коэффициент рассчитывался как произведение двух индикаторов: коэффициента согласованности мнений экспертов (коэффициента конкордации Кендалла) и итогового рейтинга показателя, который представляет собой сумму средних значений оценок экспертов по критериям 1–5.

Сводные результаты экспертного опроса по отбору показателей, характеризующих эффективность и результативность организации оказания медицинской помощи по профилю «офтальмология» представлены в таблице и на рисунке. Показатели в таблице ранжированы по значению весового коэффициента.

По результатам исследования установлено, что наиболее оптимальным для использования при построении интегрального рейтинга субъектов РФ по результатам исследования был признан показатель «доля офтальмологических операций в дневном стационаре и амбулаторных условиях (суммарно) от всех офтальмологических операций», который характеризовался итоговым рейтингом 18,364 баллов (16-е место по итоговому рейтингу) и самым высоким коэффициентом конкордации W = 0,5253, что соответствует среднему уровню согласованности мнений экспертов с тенденцией к высокой согласованности. Также данный показатель характеризуется выраженной статистической значимостью различий относительно характеристик других показателей (p = 0,00012).

На втором месте по оптимальности использования при построении интегрального рейтинга субъектов РФ находится показатель «доля хирургии катаракты в дневном стационаре и амбулаторных условиях (суммарно) от общего количества хирургии катаракты», который характеризовался итоговым рейтингом 17,545 баллов (17-е место по итоговому рейтингу) и коэффициентом конкордации W = 0,4995, что соответствует среднему уровню согласованности мнений экспертов. Также данный показатель характеризуется выраженной статистической значимостью различий относительно характеристик других показателей (p = 0,0002).

На третьем месте по оптимальности использования при построении интегрального рейтинга субъектов РФ находится показатель «общая заболеваемость за отчетный период, (число случаев) на 100 тыс. совокупного населения (код по МКБ-10 (Н00-Н59), в том числе по наиболее распространенным (значимым) группам заболеваний», который характеризовался итоговым рейтингом 20,364 баллов (6-е место по итоговому рейтингу) и коэффициентом конкордации W=0,3631, что соответствует среднему уровню согласованности мнений экспертов. Также данный показатель характеризуется выраженной статистической значимостью различий относительно характеристик других показателей (p=0,00305).

На четвертом месте по оптимальности использования при построении интегрального рейтинга субъектов РФ находится показатель «доля факоэмульсификаций к общему количеству операций по удалению катаракты в круглосуточных стационарах», который характеризовался итоговым рейтингом 19,273 баллов (10-е место по итоговому рейтингу) и самым высоким коэффициентом конкордации W = 0,3474, что соответствует среднему уровню согласованности мнений экспертов. Также данный показатель характеризуется выраженной статистической значимостью различий относительно характеристик других показателей (p = 0,00415).

На пятом месте по оптимальности использования при построении интегрального рейтинга субъектов РФ находится показатель «уровень общей инвалидности на 10 тыс. взрослого населения в субъекте РФ, по всем офтальмонозологиям», который характеризовался итоговым рейтингом 19,000 баллов (12-е место по итоговому рейтингу) и коэффициентом конкордации W = 0,3141, что соответствует среднему уровню согласованности мнений экспертов. Также данный показатель характеризуется выраженной статистической значимостью различий относительно характеристик других показателей (p = 0,00789).

На шестом месте по оптимальности использования при построении интегрального рейтинга субъектов РФ находится показатель «количество проведенных операций по профилю «офтальмология», проведенных в условиях дневного стационара, от общего количества операций по профилю в дневном и круглосуточном стационаре», который характеризовался итоговым рейтингом 16,818 баллов (18-е место по итоговому рейтингу) и коэффициентом конкордации W = 0,3249, что соответствует среднему уровню согласованности мнений экспертов. Также данный показатель характеризуется выраженной статистической значимостью различий относительно характеристик других показателей (p = 0,00642).

По результатам исследования установлено, что наибольшим итоговым рейтингом обладает показатель «Охват диспансерным наблюдением пациентов с глаукомой, %» – 22,455 баллов, однако данный показатель характеризовался низким коэффициентом конкордации W = 0,2394, что свидетельствует о низкой согласованности мнений экспертов в отношении использования данного показателя для интегрального рейтингования субъектов Российской Федерации.

Примечательно, что большинство показателей, вошедших в топ-10 показателей при сортировке только по итоговому рейтингу, характеризовались крайне низкими коэффициентами конкордации (W < 0,1), за исключением показателей «охват диспансерным наблюдением пациентов с глаукомой» и «общая заболеваемость за отчетный период, (число случаев) на 100 тыс. совокупного населения (код по МКБ-10 (Н00-Н59)), в том числе по наиболее распространенным (значимым) группам заболеваний».

В данную группу показателей с высоким итоговым рейтингом и крайне низкими коэффициентами конкордации, в частности, были отнесены показатели кадрового обеспечения: обеспеченность населения врачами-офтальмологами и укомплектованность штатных должностей врачей-офтальмологов. Также в данную группу были отнесены показатели первичной и общей заболеваемости по наиболее распространенным (значимым) группам заболеваний, а также показатель «доля болезней глаза и его придаточного аппарата, установленных впервые в жизни в ходе проведения диспансеризации и профилактических медицинских осмотров».

Для всех остальных основных показателей была констатирована либо низкая согласованность мнений экспертов, либо низкое значение итогового рейтинга, либо отсутствие статистической значимости различий, либо сочетание перечисленных факторов.

Таким образом, для использования в качестве показателей для рейтингования и интегральной оценки результативности и эффективности организации оказания медицинской помощи по профилю «офтальмология» в субъектах Российской Федерации рекомендуются показатели с высокой или средней степенью согласованности мнений экспертов и наличием статистической значимости по коэффициенту конкордации относительно всех остальных показателей. По результатам проведенного исследования данным требованиям удовлетворяют показатели со следующими весовыми коэффициентами:

• доля офтальмологических операций в дневном стационаре и амбулаторных условиях (суммарно) от всех офтальмологических операций, % – весовой коэффициент 9,6455;
• доля хирургии катаракты в дневном стационаре и амбулаторных условиях (суммарно) от общего количества хирургии катаракты, % – весовой коэффициент 8,7638;
• общая заболеваемость за отчетный период, (число случаев) на 100 тыс. совокупного населения (код по МКБ10 (Н00-Н59)), в том числе по наиболее распространенным (значимым) группам заболеваний – весовой коэффициент 7,3930;
• доля факоэмульсификаций к общему количеству операций по удалению катаракты в круглосуточных стационарах, % – весовой коэффициент 6,6950;
• уровень общей инвалидности на 10 тыс. взрослого населения в субъекте РФ, по всем офтальмонозологиям (код по МКБ-10 (Н00-Н59)) – весовой коэффициент 5,9679;
• количество проведенных операций по профилю «офтальмология», проведенных в условиях дневного стационара, от общего количества операций по профилю в дневном и круглосуточном стационарах – весовой коэффициент 5,4634.

Обсуждение

В ходе данного исследования была предложена и апробирована методика отбора показателей, характеризующих эффективность и результативность оказания медицинской помощи пациентам с болезнями глаза и его придаточного аппарата по профилю «офтальмология» на уровне субъекта Российской Федерации, и которые могут быть использованы как для интегрального рейтингования субъектов Российской Федерации, так и при формировании федеральных проектов или ведомственных целевых программ, направленных на совершенствование оказания медицинской помощи пациентам с болезнями глаза и его придаточного аппарата.

Обращает на себя внимание, что по результатам ранжирования показателей только по итоговому рейтингу без учета коэффициента согласованности мнений экспертов приоритет отдается использованию показателей, характеризующих деятельность первичного звена и эффективность организации оказания первичной медико-санитарной помощи по профилю «офтальмология», а также показателей первичной и общей заболеваемости. Однако при ранжировании показателей с учетом коэффициента согласованности мнений экспертов на первые позиции выходят показатели, преимущественно характеризующие хирургическую активность по профилю «офтальмология».

Примечательно, что в сравнении с данными других исследований по отбору показателей для оценки организации оказания медицинской помощи пациентам с болезнями глаза и его придаточного аппарата, в нашем исследовании высокую оценку со стороны опрошенных экспертов получили преимущественно процессные показатели, а не результирующие, такие как: доля офтальмологических операций в дневном стационаре и амбулаторных условиях, доля хирургии катаракты в дневном стационаре и амбулаторных условиях от общего количества хирургии катаракты, доля факоэмульсификаций к общему количеству операций по удалению катаракты в круглосуточных стационарах и другие. Также обращает на себя внимание, что все эти показатели являются показателями хирургической активности в офтальмологии, что свидетельствует о первоочередной значимости данного направления для развития системы оказания медицинской помощи по данному профилю. Такое расхождение результатов может быть связано с системными проблемами организации сбора данных о процессах оказания медицинской помощи пациентам с болезнями глаза и его придаточного аппарата в Российской Федерации, в связи с чем эксперты в первую очередь обращают внимание на показатели, отражающие эффективность отдельных элементов процесса оказания медицинской помощи, и уже во вторую очередь на результирующие показатели, которые достигаются только после выстраивания всех процессов, необходимых для организации оказания медицинской помощи. Поэтому необходим поэтапный переход от мониторирования процессных показателей к результирующим показателям по мере развития системы организации оказания медицинской помощи и развития систем сбора данных.

Обращает на себя внимание, что среди отобранных по результатам исследования показателей отсутствуют показатели, характеризующие доли послеоперационных осложнений, возникающих после проведения офтальмологических операций, что противоречит системе показателей, используемых странами-членами ОЭСР [22], где целый блок показателей основного рейтинга стран посвящен именно послеоперационным осложнениям, что связано с необходимостью обеспечения внесения в заключительный клинический диагноз полного перечня осложнений основного заболевания, в том числе послеоперационных осложнений, которые в настоящее время мало фиксируются.

Заключение

В ходе проведенного исследования были отобраны показатели (индикаторы), характеризующие эффективность и результативность оказания медицинской помощи пациентам с болезнями глаза и его придаточного аппарата по профилю «офтальмология» на уровне субъекта Российской Федерации, которые могут быть использованы и для интегрального рейтингования субъектов Российской Федерации, и при формировании федеральных проектов или ведомственных целевых программ, направленных на совершенствование оказания медицинской помощи пациентам с болезнями глаза и его придаточного аппарата.

Результаты проведенного исследования также могут быть использованы для организации системы мониторинга эффективности реализации данных проектов и программ.

______________________________________________________________________

1 URL: https://apps.who.int/iris/bitstream/handle/10665/328717/9789240017207-rus.pdf.

1. World Health Organization (WHO): World report on vision. 2019. – URL: https://www.who.int/publications/i/ item/9789241516570.
2. World Health Organization (WHO): A framework and indicators for monitoring VISION 2020 – The Right to Sight / Report of a WHO Working Group. Geneva, 24-26 June 2002. – URL: https:// icoph.org/advocacy/vision-2020-right-to-sight-documents/
3. World Health Organization (WHO): Global Initiative for the Elimination of Avoidable Blindness: action plan 2006–2011. 2007. – URL: https://apps.who.int/iris/handle/10665/43754.
4. World Health Organization (WHO): Universal eye health: a global action plan 2014–2019. 2013. – URL: https://www.who.int/ publications/i/item/universal-eye-health-a-global-actionplan2014-2019.
5. World Health Organization (WHO): Catalogue of key eye health indicators in the African region. 2017. – URL: https://www.afro. who.int/sites/default/files/2017-06/978929023289-eng.pdf.
6. World Health Organization (WHO): Global reference list of 100 core health indicators. 2015. – URL: https://apps.who.int/ iris/handle/10665/173589.
7. Eckert K.A., Lansingh V.C., McLeod-Omawale J., Furtado J.M., Martinez-Castro F., Carter M.J. Field testing project to pilot World Health organization eye health indicators in Latin America. Ophthalmic Epidemiol. 2018; 25(2): 91–104.
8. Ma ga A., Jiwani S.S., Mutua M.K., Porth T.A., Taylor C.M., Asiki G., Melesse D.Y., Day C., Strong K.L., Faye C.M. Generating statistics from health facility data: the state of routine health information systems in eastern and southern Africa // BMJ Glob Heal. – 2019; 4(5): e001849.
9. United Nations. Transforming our world: The 2030 agenda for sustainable development. New York United Nations, Dep Econ Soc Aff. 2015. – URL: https://sdgs.un.org/2030agenda.
10. World Health Organization (WHO). Tracking universal health coverage: 2021 global monitoring report. 2021. – URL: https:// www.who.int/publications/i/item/9789240040618.
11. McCormick I., Mactaggart I., Resnikoff S., Muirhead D., Murthy G.V., Silva J.C., Bastawrous A., Stern J., Blanchet K., Wang N., Yusufu M., Cooper A., Gichangi M., Burton M.J., Ramke J. Eye health indicators for universal health coverage: results of a global expert prioritisation process // Br J Ophthalmol. – 2022 Jul 1; 106(7): 893 LP-901.
12. Burton M.J., Ramke J., Marques A.P., Bourne R.R.A., Congdon N., Jones I., Tong B.A.M.A, Arunga S., Bachani D., Bascaran C. The Lancet global health Commission on global eye health: vision beyond 2020 // Lancet Glob Heal. – 2021; 9(4): e489–551.
13. Нероев В.В. Организация офтальмологической помощи населению Российской Федерации / В.В. Нероев // Вестник офтальмологии. – 2014 – T. 130. – № 6. – С. 8–12.
14. Чухраёв А.М. Эффективность применения индикаторов в системе внутреннего контроля и управления качеством и безопасностью медицинской деятельности в Федеральном государственном автономном учреждении «Национальный медицинский исследовательский центр «Межотраслевой научно-технический комплекс «Микрохирургия глаза» им. академика С.Н. Федорова» Минздрава России / А.М. Чухраёв, Н.С. Ходжаев, Т.В. Беликова // Сибирский научный медицинский журнал. – 2019. – T. 39. – № 3. – С. 138–145.
15. Willerman B. The adaptation and use of Kendall’s coefficient of concordance (W) to sociometric-type rankings // Psychol Bull. – 1955 Mar; 52(2): 132–3.
16. Tandon A., Murray C.J., Lauer J. a, Evans D.B. Measuring health system performance for 191 countries // Eur J Health Econ. – 2002; 3(3): 145–8.
17. Hibbard J.H., Stockard J., Tusler M. Hospital performance reports: Impact on quality, market share, and reputation // Health Aff. 2005; 24(4): 1150–60.
18. Hibbard J.H., Stockard J., Tusler M. Does publicizing hospital performance stimulate quality improvement efforts? // Health Aff. – 2003; 22(2): 84–94.
19. The Quality Indicator Study Group. An approach to the evaluation of quality indicators of the outcome of care in hospitalized patients, with a focus on nosocomial infection indicators. Vol. 23 // Am J Infect Control. – 1995 Jun; 23(3): 215-22.
20. Roberts D.A., Ng M., Ikilezi G., Gasasira A., Dwyer-Lindgren L., Fullman N., Nalugwa T., Kamya M., Gakidou E. Benchmarking health system performance across regions in Uganda: A systematic analysis of levels and trends in key maternal and child health interventions, 1990–2011 // BMC Med. – 2015; 13(1): 1–16.
21. Giovanelli L., Marino` L., Rotondo F., Fadda N., Ezza A., Amadori M. Developing a performance evaluation system for the Italian public healthcare sector // Public Money & Manag. – 2015; 35(4): 297–302.
22. Carinci F., Van Gool K., Mainz J., Veillard J., Pichora E.C., Januel J.M., Arispe I., Kim S.M., Klazinga N.S. Towards actionable international comparisons of health system performance: expert revision of the OECD framework and quality indicators // Int J Qual Heal care J Int Soc Qual Heal Care. – 2015 Apr; 27(2): 137–46.