Background.

Безопасность – основополагающий принцип оказания медицинской помощи. Качество и безопасность медицинской помощи – результат взаимодействия врача и пациента, основанный на квалификации профессионала, умеющего снижать риски осложнений, прогрессирования заболевания, возникновения нового патологического процесса.

Медицинская отрасль является одной из наиболее быстро развивающихся и одновременно с этим подвержена самым различным рискам. Перечень рисков развития последствий в процессе оказания медицинской помощи крайне широк. Любое медицинское вмешательство связано с определенным риском развития нежелательных последствий. С одной стороны, медицинские работники рискуют собственным здоровьем и жизнью при осуществлении профессиональной деятельности, например, при контактах с инфекционными больными. С другой стороны, для пациента существует риск неблагоприятного исхода после оказания медицинской помощи. Несвоевременно и некачественно оказанная медицинская помощь может стать причиной ухудшения здоровья, частичной или полной утраты трудоспособности, а также привести к летальному исходу. Человеческий фактор играет одну из главных ролей в возникновении дефектов медицинской помощи: частота ошибок персонала варьирует от 30 до 80%1. Анализируя международный опыт, можно сделать вывод, что система отчетов об инцидентах (врачебных ошибках) используется на различных уровнях: федеральном, региональном, на уровне медицинской организации. Признавая безопасность пациентов в качестве ключевого приоритета здравоохранения, в рамках 72-й сессии Всемирной ассамблеи здравоохранения 194 страны объявили 17 сентября Всемирным днем безопасности пациентов, цель которого – повышение глобальной осведомленности о безопасности пациентов и поощрение международной солидарности в действиях как профессионального сообщества, так и самих пациентов, их родственников, различных организаций, представляющих интересы пациентов.

Так, в США существуют как национальные агентства, которые имеют систему мониторинга инцидентов, так и локальные организации, имеющие свои системы мониторинга инцидентов2. Создание системы добровольного сообщения о любых врачебных ошибках – произошедших и потенциальных – является ключевым компонентом системы безопасности в медицинской организации3. Международная объединенная комиссия в целях прохождения аккредитации по международным стандартам качества JCI включила требование о создании системы добровольного сообщения о любых врачебных ошибках как обязательное4. Однако медицинские работники в 50–96% случаев не информируют о неблагоприятных событиях и ошибках, возникающих в процессе оказания медицинской помощи5.

Подходы к управлению рисками и формирование системы риск-менеджмента

Согласно современным требованиям российского законодательства соблюдение установленного порядка внутреннего контроля качества и безопасности медицинской деятельности является одним из обязательных лицензионных требований, предъявляемых к лицензиату при осуществлении медицинской деятельности, что обязывает медицинских работников и должностных лиц медицинской организации предпринимать ряд практических действий по созданию такой системы.

В качестве ведущего направления выделяется необходимость внедрения инновационных подходов повышения безопасности медицинской деятельности в медицинских организациях на основе системы управления рисками.

Выделяют два подхода к управлению рисками6:

• человекоориентированный (пациентоориентированный) – в основе деятельности медицинских организаций находится пациент, его нужды и стремления к сохранению и восстановлению здоровья; в рамках данного подхода акцентируется внимание на дефектах оказания медицинской помощи;
• системный (организационный) – концентрируется на условиях, в которых работают люди, основан на построении системы защиты, которая способна предотвратить ошибки или компенсировать их последствия.

Формирование системы риск-менеджмента начинается с определения объектов и субъектов системы, а также процесса управления рисками (необходимо ответить на вопросы: «кто может пострадать?» и «каким образом?»).

Система управления рисками имеет следующие особенности:

• является центральной частью любого стратегического управления организации и одним из наиболее динамично развивающихся направлений7;
• позволяет выявить скрытые источники опасности, оценить последствия и выработать тактику (меры) противодействия, направленную на ограничение случайных событий, наносящих физический и моральный ущерб пациентам, медицинским работникам, медицинской организации в целом8;
• представляет собой процесс принятия и выполнения управленческих решений, направленных на снижение вероятности возникновения неблагоприятного результата и минимизацию возможных негативных последствий нежелательного развития событий в ходе реализации принятых решений9.

Выделяют объективные и субъективные причины, провоцирующие неблагоприятный исход или недостижение поставленной цели медицинского вмешательства (по объему и качеству его выполнения) как на этапе диагностики, так и на этапе лечения. К субъективным причинам на этапе диагностики относят: недостаточный сбор анамнеза либо его недооценка, неполное обследование (физикальное, инструментальное, лабораторное), неправильная трактовка объективных данных либо недооценка тяжести состояния больного; на этапе лечения – возникновение химической несовместимости лекарственных средств при назначении пяти и более лекарственных препаратов, назначение лекарственного препарата при наличии гиперчувствительности к нему.

Среди объективных причин дефектов диагностики выделяют: сложность диагностики (атипичное, бессимптомное течение заболевания или травмы и пр.), позднее обращение за медицинской помощью, отказ от госпитализации, обследования; затруднение контакта с пациентом (опьянение, кома); на этапе лечения – сложность процесса лечения (например, снижение эффективности лечения в связи с идиосинкразией), позднее обращение за медицинской помощью либо отказ пациента от лечения.

В тех случаях, когда дефекты оказания медицинской помощи обусловлены субъективными причинами, следует установить причины неправильных врачебных действий, основой которых могут быть: ненадлежащее исполнение врачом своих обязанностей, недостаточная квалификация медицинского работника либо организационные недостатки, за которые несет ответственность руководство медицинской организации (например, отсутствие необходимого медицинского оборудования, ненадлежащее обеспечение лекарственными препаратами в стационаре).

Для системы управления рисками в качестве инструментов управления рисками предлагается использовать индикаторы качества медицинской помощи по направлениям деятельности10, являющиеся количественными показателями, отражающими структуру (качество ресурсов), процесс и результат оказания медицинской помощи (триада показателей А. Донабедиана). От корректного их использования будет зависеть эффективность выстроенной системы управления рисками в организации11.

Показатели ресурсов позволяют определить соответствие возможностей медицинской организации поставленным целям по оказанию медицинской помощи. К группе показателей ресурсов относятся:

• медицинские кадры и их квалификация: риски взаимодействия специалистов и преемственности оказания медицинской помощи, неправильной трактовки объективных данных, недооценки тяжести состояния больного, неукомлектованности медицинскими кадрами;
• материально-техническое обеспечение (состояние объектов здравоохранения, медицинского оборудования, коечная мощность, оборот койки). При оценке данного показателя могут возникать риски, связанные с отсутствием необходимых лекарственных препаратов, медицинского оборудования, отключением электроэнергии и воды. Например, ужесточение лицензионных требований к осуществлению медицинской деятельности в части дооснащения медицинским оборудованием медицинских организаций повлечет за собой финансовые затраты на приобретение этого оборудования и наем медицинского персонала для работы на данном оборудовании;
• финансово-экономическое обеспечение (обязательное медицинское страхование, финансирование из бюджета субъекта, оказание платных медицинских услуг). При оценке данного показателя могут возникать риски, связанные с нехваткой финансовых средств. Например, в случае неоказания или несвоевременного оказания медицинской помощи, а также в случае оказания медицинской помощи ненадлежащего качества, по результатам экспертизы качества страховая организация примет меры в виде финансовых санкций к медицинской организации;
• информационное обеспечение (подключение к единой государственной информационной системе в сфере здравоохранения (ЕГИСЗ), автоматизированной системе мониторинга движения лекарственных препаратов от производителя до конечного потребителя). При оценке данного показателя могут возникать риски, связанные с неэффективным расходом бюджетных средств за счет невозможности реализации схем «повторного вброса» лекарственных препаратов, различные риски нелегальной реализации лекарственных препаратов, подлежащих предметно-количественному учету, либо лекарственных препаратов, не предназначенных для розничной продажи.

Достаточные ресурсы позволяют соблюсти технологии, гарантирующие хороший результат для пациентов (определенное качество диагностики, лечения и реабилитации). Оценка показателей структуры может проводится в рамках внутреннего контроля качества и безопасности медицинской деятельности. Например, причинами недостаточной квалификации врача могут быть малый стаж либо отсутствие объективных причин низкой квалификации (при наличии первичной специализации, регулярном прохождении курсов повышения квалификации и при большом стаже работы).

Показатели процесса характеризуют медицинскую и организационную технологию деятельности. Приоритетом управления рисками в медицине является управление качеством лечебно-диагностического процесса. На данном этапе возникают две основные группы рисков:

• связанные с угрозой здоровью пациентов, когда медицинскими работниками допускаются ошибки в плане диагностики и лечения основного и сопутствующего заболеваний, предупреждения осложнений и т.д.
• связанные с угрозой здоровью медицинских работников: контакты с инфекционными больными, несчастные случаи при оказании помощи больным с психиатрической патологией, либо больным в состоянии алкогольного, наркотического опьянения и др.

К группе показателей процесса относятся:

• безопасность (включая инфекционные риски) – риски возникновения у госпитальных больных пролежней, язв, внутрибольничных инфекций (катетер-ассоциированные инфекции центрального венозного кровотока, вентиляционно-ассоциированная пневмония), послеоперационных кровотечений и гематом, дыхательной недостаточности, а также риски падений пациентов;
• диагностика – риски некорректной диагностики, дефекты информационного взаимодействия и т.д;
• лечение (включая фармакотерапевтические риски) – риски хирургического лечения, риски фармакотерапии.

Например, при неправильно поставленном диагнозе пациенту может быть оказана услуга, которая не только не улучшит состояние его здоровья, но и нанесет вред. Лечебные (фармакотерапевтические) риски подразумевают, что методы, способы лечения, применяемые медикаменты могут быть опасны для конкретного пациента (например, аллергия на определенные лекарственные препараты).

Инфекционными рисками можно считать заражение пациента при осуществлении лечебно-диагностических процедур в медицинской организации (например, медицинский работник некачественно провел дезинфекцию приборов или оборудования).

Таким образом, показатели процесса являются наиболее важными показателями, так как позволяют выявить причины несоблюдения обязательных требований, предусмотренных порядками оказания медицинской помощи, стандартами медицинской помощи и клиническими рекомендациями; позволяют выявить и проанализировать проблемы, возникшие непосредственно во время оказания медицинской помощи, то есть до того, как получен нежелательный результат и есть время для исправления ситуации. Необходимо отметить, что безопасность пациентов в процессе лечения может быть показателем как процесса, так и результата лечения).

К группе показателей результатов относятся:

• исходы лечения – смерть, угроза смерти (опасное для жизни состояние), значительная временная или стойкая утрата общей и(или) профессиональной трудоспособности, прерывание беременности, бесплодие, появление нового заболевания, снижение качества жизни независимо от причин такого положения. При оценке данного показателя при летальных исходах могут возникать риски, связанные с расхождением клинических и патологоанатомических диагнозов), риски развития осложнений и нежелательных лекарственных реакций, дефекты реабилитации;
• стоимость лечения – соотношение минимальной стоимости затраченных на конкретный случай оказания медицинской помощи и высокой клинической эффективности определенного случая/эпизода лечения пациента;
• удовлетворенность пациента – при оценке данного показателя в случае неудовлетворенности пациента могут возникать риски, связанные с возникновением жалоб, подачи гражданских исков к медицинской организации.

Кроме упомянутых показателей предлагается использовать дополнительный значимый показатель в системе управления рисками – рейтингование врачей в пределах как одной медицинской организации, так и общенациональный рейтинг на территории всей страны – с поправкой на степень риска смертности и осложнений (в том числе отдаленных послеоперационных) и непредвиденных повторных госпитализаций. Работа по прогнозированию и предотвращению риска врачебных ошибок должна быть приоритетом в управлении качеством медицинской помощи и обеспечении безопасности пациентов.

На сегодняшний день основой управления риском является система или набор мероприятий, направленных на анализ всех инцидентов, связанных с безопасностью пациентов, например, анализ медицинской документации, жалоб и судебных исков пациентов, мониторинг данных в системе ЕГИСЗ, результаты экспертизы качества медицинской помощи, результаты проверок контрольно-надзорных органов. В упомянутых документах содержится множество дополнительной значимой информации об условиях и причинах возникновения дефектов оказания медицинской помощи. Важным источником информации о безопасности медицинской помощи являются пациенты. В частности, они могут способствовать обеспечению безопасности применения лекарственных препаратов, сообщая о негативных побочных эффектах или иных событиях (инцидентах), связанных с фармакотерапией. Анализ первичной медицинской документации является самым доступным источником информации о неблагоприятных событиях, возникающих при оказании медицинской помощи. В целях повышения эффективности выявления инцидентов могут быть определены критерии, по которым медицинская документация будет отбираться, например: случаи внутрибольничной пневмонии, падений пациентов, длительное пребывание в реанимации, интраоперационной летальности и др. По итогам проведенного анализа рисков составляется перечень рисков с вероятностью частоты их возникновения и мер по управлению данными рисками.

Внедрение медицинской организацией активного выявления и регистрации дефектов оказания медицинской помощи позволит занять проактивную позицию по отношению к управлению рисками. В результате по каждому дефекту будут предприняты корректирующие действия во всей организации в целом, что позволит избежать повторения аналогичных ошибок и повысить безопасность пациентов в медицинской организации12. Метод выявления дефектов медицинской помощи показал свою эффективность, что привело к повышению безопасности медицинской деятельности13.

Таким образом, мероприятия по управлению рисками обеспечивают надежность и эффективность деятельности организации посредством определения тех рисков, которые требуют внимания руководства и определения приоритетов рисков с точки зрения целей организации. Степень снижения или предупреждения риска методами, предлагаемыми внутренним контролем, свидетельствуют об эффективности данной системы.

Основные направления системы обеспечения безопасности пациентов в зависимости от точки приложения медицинского воздействия включают:

• профилактику отрицательных последствий медицинских вмешательств;
• профилактику дефектов организации работы медицинского персонала;
• профилактику осложнений, связанных с поведением пациента.

Соответственно, основными направлениями, которые позволят обеспечить предельно высокую безопасность пациента, являются:

• использование медицинских вмешательств с доказанной клинической и экономической эффективностью;
• внедрение инновационных технологий управления рисками лечебно-диагностического процесса.

Пути совершенствования системы управления рисками

В настоящее время особое место среди путей повышения эффективности системы здравоохранения занимает поиск инновационных технологий управления. Перспектива внедрения искусственного интеллекта становится все более реальной. Анализируя зарубежный опыт, необходимо отметить, что в 2017 г. Европейским союзом (ЕС) принята Резолюция 2015/2103(INL) «Нормы гражданского права о робототехнике» (Civil Law Rules on Robotics). ЕС предлагает сформировать регулирующую систему по вопросам искусственного интеллекта, ввести ответственность за вред, который может быть причинен искусственным интеллектом, а также сформировать базовые основы для разработки этических кодексов производителей и определения правового статуса роботов. Медицинские продукты и сервисы на основе искусственного интеллекта уже разрабатывают крупнейшие компании, такие как: IBM (Watson Health, Watson for Oncology, Medical Sieve), Google (Deepmind Health), Android (Sense.ly, AiCure), Apple, Microsoft, General Electric. В России в соответствии с Указом Президента РФ В.В. Путина принята Национальная стратегия развития искусственного интеллекта на период до 2030 года14, в которой обозначена важность и приоритетность развития технологий искусственного интеллекта как сквозной цифровой технологии.

Одной из первых инициатив по урегулированию отношений в данной сфере было утверждение Федерального закона от 24.04.2020 № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации – городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных». В законе впервые дается определение понятию «искусственный интеллект»15.

Среди инновационных технологий, которые активно внедряются на данный момент в медицинскую деятельность в России, можно отметить телемедицинские технологии, дистанционную торговлю лекарственными средствами, а также блокчейн, который может быть использован как для управления электронными медицинскими картами, цепочками поставок лекарственных средств и медицинских изделий, удаленного мониторинга пациентов, так и для анализа медицинских данных.

В нашей стране ведется работа по внедрению искусственного интеллекта сразу по нескольким направлениям сферы здравоохранения. Примером работы искусственного интеллекта служат системы поддержки принятия врачебных решений, а также программы, предназначенные для автоматического выявления патологических проявлений в рентгенологических исследованиях, КТ и МРТ, маммограммах.

Современное состояние правового регулирования искусственного интеллекта не препятствует внедрению технологий в медицинскую деятельность, а наоборот, открывает широкие горизонты для применения в отрасли здравоохранения, в частности, в системе управления рисками причинения вреда (ущерба) жизни и здоровью граждан. Основная цель искусственного интеллекта в системе управления рисками – научиться обрабатывать и анализировать медицинские данные в целях вычисления вероятности наступления неблагоприятного исхода для жизни или здоровья конкретного пациента, вероятности недостижения той цели, ради которой проводится медицинское вмешательство; анализировать сообщения о нежелательных реакциях и событиях при применении лекарственных препаратов и медицинских изделий, что поможет выявлять взаимосвязь между неблагоприятным событием и фактами и обстоятельствами, которые сопровождали лечебно-диагностический процесс.

В будущем не исключена тенденция все большего переложения на искусственный интеллект ряда функций и обязанностей по управлению рисками в медицинской организации, которые сегодня выполняет человек, а именно:

• идентификация рисков (получение необходимой информации о структуре, свойствах объекта, прогнозируемых рисках, а также получение ответов на вопросы:
• «что произошло», «как произошло», «по-чему произошло»);
• классификация рисков по видам (управленческие, профессиональные медицинские, социально-экономические);
• оценка рисков (количественное описание рисков, в ходе которого определяются такие их характеристики, как вероятность и размер возможного ущерба) различными методами: экономическим, математико-статистическим, методом экспертных оценок, смешанным;
• ранжирование по степени значимости, осуществление выбора методов управления рисками (основывается на минимизации возможного ущерба) и их применение, оценка результатов управления рисками.

Построение системы управления рисками – риск-менеджмент – внутри медицинской организации с использованием искусственного интеллекта будет одним из путей повышения безопасности, эффективности и качества оказания медицинской помощи.

Медицинские системы на базе искусственного интеллекта, способные обрабатывать огромное количество медицинских данных, будут превосходить среднестатистического врача в точности и скорости постановки диагноза, прогнозе рисков развития заболеваний и принятии других решений16.

С другой стороны, не менее важным будет аспект вовлеченности самого пациента в процесс сохранения здоровья в целях профилактики хронических неинфекционных заболеваний. Так, пациент может применять результаты искусственного интеллекта (о предрасположенности к тем или иным заболеваниям либо о выявленных у него потенциальных факторах риска развития заболеваний; изменения показателей здоровья: частоты пульса и дыхания, артериального давления, насыщения крови кислородом и другие) для принятия мер, направленных на коррекцию образа жизни, что повысит ответственность пациента за сохранение своего здоровья.

Интересный перечень требований к искусственному интеллекту предлагает А. Буркова17:

• искусственный интеллект должен: всегда контролироваться человеком; получать специальное разрешение, чтобы общаться с людьми; автоматически отключаться при возникновении аномальных ситуаций; соблюдать право людей на частную жизнь, конфиденциальность персональных данных и на личную безопасность и т.д.;
• искусственный интеллект не должен: вводить людей в заблуждение ни в какой форме; вносить несанкционированные изменения в информацию и факты; нарушать честь и достоинство людей; нарушать свободу людей, навязывать им свои стандарты.

Еще одной важной проблемой становится то, что юридически значимые решения, принятые искусственным интеллектом, практически невозможно опротестовать, что значительно снижает гарантии прав граждан в сфере охраны здоровья и возможности по контролю за принятием решений с помощью искусственного интеллекта. Например, искусственный интеллект анализирует данные инвалида и решает, сколько курсов медицинской реабилитации ему полагается от государства в рамках Программы государственных гарантий бесплатного оказания гражданам медицинской помощи. Если искусственный интеллект решил отказать или назначил меньше, чем раньше, больному просто некуда обратиться, поскольку принятое решение изменить будет затруднительно.

С учетом изложенного, требуется анализ с последующим установлением ключевых правовых положений, относящихся к распространению искусственного интеллекта, определение его правового статуса как субъекта или объекта (будет выступать самостоятельной стороной договора или посредником между врачом и пациентом), правового режима использования информации, полученной с использованием технологии искусственного интеллекта, юридической ответственности за результаты решений, принятые искусственным интеллектом.

Приоритетным на сегодняшний день признается подход к искусственному интеллекту по принципу «управляет человек», который гарантирует, что окончательные управленческие решения, влияющие на качество медицинской помощи и безопасность пациента, будут приниматься медицинскими работниками.

Заключение и выводы

Проблема качественного оказания медицинской помощи привлекает к себе особое внимание, поскольку профессиональная деятельность медицинских работников связана с повышенным риском.

Современное законодательство в сфере охраны здоровья предъявляет жесткие требования к медицинским организациям при оказании ими медицинских услуг. Нарушение этих требований приводит к крупным финансовым потерям медицинских организаций и, как следствие, к уголовной, материальной и дисциплинарной ответственности виновных.

Безопасность пациента необходимо рассматривать как фундаментальный основополагающий принцип оказания медицинской помощи населению, приоритетный критерий оценки ее качества, выражающийся в максимально возможном соответствии клинических исходов ожиданиям врача и больного при минимальном риске отрицательных последствий лечения и диагностики. Система управления рисками направлена на обеспечение безопасности пациентов и предполагает сведение к минимуму риска негативных последствий оказания медицинской помощи в условиях интенсификации лечебно-диагностического процесса. После выбора оптимальных способов воздействия на конкретные риски появится возможность сформировать общую стратегию управления всем комплексом рисков, возникающих при оказании медицинской помощи.

В период цифровизации экономики одним из наиболее перспективных инновационных направлений развития системы здравоохранения, но пока слабо урегулированных, является технология искусственного интеллекта.

Для повышения безопасности пациентов необходимы комплексные усилия, включая широкий ряд мероприятий по улучшению результатов деятельности, в том числе с использованием технологий искусственного интеллекта, направленных на безопасную клиническую практику и безопасные условия для оказания медицинской помощи.

Внедрение системы управления рисками с использованием искусственного интеллекта в медицинской организации позволит:

• увеличить выявляемость дефектов оказания медицинской помощи с последующим принятием мер, направленных на снижение количества случаев, приводящих к причинению вреда жизни и здоровью пациентов и медицинских работников, повышению качества и безопасности оказания медицинской помощи;
• уменьшить расходы медицинской организации на урегулирование жалоб и ликвидацию последствий дефектов оказания медицинской помощи и нежелательных событий.

______________________________________________________________________

1 Human errors in a multidisciplinary intensive care unit: a 1-year prospective study / Bracco D. et al. // Intensive Care Med. 2001. V. 27. № 1. P. 137–145.
Iatrogenic complications in adult intensive care units: a prospective two-center study / Giraud T. et al. // Crit. Care Med. 1993. V. 21. № 1. P. 40–51.
2 Overview of medical errors and adverse events / Garrouste-Orgeas M. et al. // Annals of Intensive Care. 2012. V. 2. № 1. P. 2.
3 Michael R Cohen Why error reporting systems should be voluntary // BMJ. 2000. 320(7237). P. 728.
4 Международные стандарты аккредитации медицинских организаций. Перевод с английского / под редакцией А.Ю. Абрамова, Г.Э. Улумбековой. Москва, 2013. С. 156.
5 Rates of spontaneous reporting of adverse drug reactions in France / Be’gaud B. et al. // JAMA. 2002. V. 288. № 13. P. 1588.
6 Reason J. Human error: models and management // BMJ. 2000. V. 320. № 7237. P. 768–770.

7 Королькова Е. М. Риск-менеджмент: управление проектными рисками: учебное пособие для студентов экономических специальностей / Е. М. Королькова. Тамбов : Изд-во ФГБОУ ВПО «ТГТУ», 2013. 160 с.
8 Бурыкин И.М., Алеева Г.Н., Хафизьянова Р.Х. Управление рисками в системе здравоохранения как основа безопасности оказания медицинской помощи // Современные проблемы науки и образования. 2013. No 1. С. 3–18.
9 Королькова Е. М. Риск-менеджмент: управление проектными рисками: учебное пособие для студентов экономических специальностей / Е. М. Королькова. Тамбов : Изд-во ФГБОУ ВПО «ТГТУ», 2013. 160 с.
10 Briner M., Manser T., Kessler O. Clinical risk management in hospitals: strategy, central coordination and dialogue as key enablers // Journal of Evaluation in Clinical Practice. 2012. Overview of medical errors and adverse events / Garrouste-Orgeas M. et al. // Annals of Intensive Care. 2012. V. 2. № 1. P. 2.
11 Donabedian A. The quality of medical care // Science. 1978. V. 200. № 4344. P. 856–864. National Patient Safety Agency. Seven steps to patient safety An overview guide for NHS staff [Электронный ресурс]. URL: www.npsa.nhs.uk/sevensteps.

12 Кондратова Н.В. Риск-Менеджмент в медицинской организации: как извлечь пользу от медицинских ошибок // In the World of Scientific Discoveries, 4(76), 2016. P. 52–59.
13 Overview of medical errors and adverse events / Garrouste-Orgeas M. et al. // Annals of Intensive Care. 2012. V. 2. № 1. P. 2.
14 Указ Президента Российской Федерации от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации» // Собрание законодательства Российской Федерации, 14.10.2019, № 41, ст. 5700.

15 Федеральный закон от 24.04.2020 № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации – городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона “О персональных данных”» // Собрание законодательства Российской Федерации, 27.04.2020, № 17, ст. 2701.
16 Применение систем искусственного интеллекта в условиях нового этапа освоения Арктики: аналитический обзор. Российский союз промышленников и предпринимателей. М., 2018. С. 21–24.

17 Буркова А. Использование искусственного интеллекта: нужно ли регулирование? // Право и экономика. 2018. № 9. С. 7.