Введение

Интеграция искусственного интеллекта в различные сферы человеческой деятельности в значительной степени изменила образ медицины. Поскольку технологии искусственного интеллекта продолжают развиваться беспрецедентными темпами, их потенциал в решении разнообразных задач, в том числе медицинских, становится все более очевидным. Многие эксперты оптимистично смотрят на перспективы применения искусственного интеллекта в здравоохранении, так как они могут сыграть ключевую роль в решении некоторых из наиболее острых проблем, стоящих как перед отдельными специалистами, так и перед отраслью в целом, – от повышения точности диагностики до улучшения опыта взаимодействия пациентов с медицинской организацией.

Однако интеграция искусственного интеллекта в здравоохранение сопряжена с определенными трудностями. Одно из главных препятствий – разрыв между организациями-разработчиками искусственного интеллекта и специалистами здравоохранения. С одной стороны, медицина – весьма деликатная сфера, в которой острыми остаются вопросы, касающиеся этики, надежности, безопасности и юридической ответственности врачей, так как многие решения касаются благополучия, здоровья, а нередко и жизни пациентов. Интеграция искусственного интеллекта вносит в них дополнительный уровень сложности, так как эта технология не обладает субъектностью – искусственный интеллект не является участником процесса, как врач или пациент. Большинство специалистов, занимающихся разработкой искусственного интеллекта, не обладают глубоким пониманием всех нюансов, которые сложились в сфере здравоохранения исторически. С практической точки зрения, малое количество из них имеют медицинское образование и понимают цели тех или иных клинико-диагностических манипуляций на уровне, необходимом для формулирования задач, которые искусственный интеллект может решить. С другой стороны, большинство врачей не обладают глубоким пониманием цифровых технологий, а потому не могут адекватно оценить надежность, безопасность и даже применимость алгоритмов в том или ином клиническом случае. Эта проблема уходит глубже: из-за отсутствия компетентности в области искусственного интеллекта, медицинские специалисты не могут сформулировать запрос к компаниям-разработчикам и заявить потребность в автоматизации конкретных задач, так как у них нет понимания того, как устроен искусственный интеллект, каковы его возможности и ограничения. Компании-разработчики же не могут выявить эту потребность вследствие особой специфики работы и устройства сферы здравоохранения и отсутствия соответствующей экспертизы.

С развитием цифровых технологий и ростом использования их в медицине появилась принципиально новая специальность – медицинская информатика, существующая на стыке двух научных дисциплин. В определенной степени врачи-кибернетики могут решить указанную проблему, являясь недостающим звеном в цепи «разработчик искусственного интеллекта – врач». Потребность в междисциплинарных специалистах и группах будет только расти в ближайшем будущем, но именно сфера здравоохранения будет всегда испытывать дефицит в них. Во-первых, это связано с необходимостью изучения двух принципиально разных наук, что требует определенного склада ума и характера. Во-вторых, получение медицинского образования требует значительного количества времени – в Российской Федерации подготовка специалистов проходит по программе специалитета в течение 6 лет, а в дальнейшем для получения медицинской специальности будущий врач обязан пройти дополнительно программу ординатуры в течение еще двух лет (как правило, требуется ординатура по организации здравоохранения и общественному здоровью). Получение образования в сфере информатики по программе бакалавриата займет еще 4 года, а зачастую оно необходимо медицинским кибернетикам, т. к. знаний, полученных в медицинском ВУЗе, не хватает. Очевидное решение этой проблемы – расширение и углубление технического курса в процесс медицинского образования, что избавит будущего специалиста от необходимости получать степень бакалавра. Но даже в случае привлечения огромного числа людей к обучению по этой специальности, количество врачей-информатиков увеличится лишь через 5–10 лет (когда они закончат обучение), в то время как потребность в них есть уже сейчас. Кроме подготовки таких специалистов, альтернативным решением может стать создание мультидисциплинарных команд, но оно не предполагает обучение широкого круга медицинских специалистов работе с искусственным интеллектом, что необходимо для сознательного и компетентного использования, как было указано выше.

Данная проблема требует решения, причем достаточно простого, чтобы его можно было имплементировать в систему здравоохранения в разумные сроки, так как внедрение искусственного интеллекта и его использование растет с каждым годом. Таким решением может быть проведение короткого курса по искусственному интеллекту в рамках высшего медицинского или последипломного образования, в частности, в рамках ординатуры и/или профессиональной переподготовки по организации здравоохранения и общественному здоровью. Однако краткие курсы необходимы и в рамках обучения по другим медицинским специальностям. И это становится насущной задачей. Целью такого обучения будет не глубокое изучение технологий искусственного интеллекта, но формирование базовой грамотности у медицинских специалистов.

В свою очередь, для минимального уровня понимания технологий искусственного интеллекта медицинским специалистам необходимо расширить понятийный аппарат за счет терминов, касающихся ключевых аспектов искусственного интеллекта. В данной статье мы приводим ряд понятий и терминов, которые, на наш взгляд, входят в необходимый минимум для работы с искусственным интеллектом в медицине.

Искусственный интеллект как технология

Прежде всего, для осознанной работы с искусственным интеллектом необходимо иметь представление о том, что собой представляет данная технология. Концепция «искусственного интеллекта» в современном понимании этого термина зародилась в середине двадцатого века и неразрывно связана с зарождением такой науки, как кибернетика. Можно сказать, что создание искусственного интеллекта является ее конечной целью. С развитием технологий программные средства, которые были связаны с искусственным интеллектом, становились сложнее, а спектр выполняемых ими задач расширялся.

Согласно «Национальной стратегии развития искусственного интеллекта до 2030 года» искусственный интеллект – это «совокупность технологических решений, способных имитировать когнитивные функции человека и достигать результатов, как минимум сопоставимых с человеческим интеллектом, что также включает в себя способность к самообучению и поиску решений без заранее заданных алгоритмов» [1]. В России медицинские изделия с искусственным интеллектом, как правило, называются системами поддержки принятия врачебных решений (СППВР), что подчеркивает неэквивалентность роли врача и программного продукта в процессе лечения и диагностики пациентов.

Современный искусственный интеллект не является «интеллектом» в полном смысле этого слова. Он не наделен теми качествами, которые мы обычно подразумеваем под словом «разум». В связи с таким бытовым использованием термина, принято выделять два вида искусственного интеллекта:

1. Слабый искусственный интеллект – это искусственный интеллект, предназначенный для решения задач узкого спектра в установленных условиях с использованием заранее описанных алгоритмов. Справедливо сказать, что любые современные технологии на основе искусственного интеллекта относятся к «слабому искусственному интеллекту».
2. Сильный искусственный интеллект – гипотетическая технология общего назначения, способная решать интеллектуальные задачи широкого спектра на уровне человека. На сегодняшний день вычислительные мощности и программное обеспечение не позволяет разработать искусственный интеллект такого уровня.

Все модели искусственного интеллекта принято определять как жесткие или мягкие. Жесткие модели используют язык формальной логики, математики и информатики. Они представляют собой компьютерные программы в привычном смысле этого слова. На основе жестких моделей разрабатываются семантические сети и экспертные системы, которые также называются «традиционным искусственным интеллектом» (выполняющими узкий набор инструкций), в противовес «генеративному искусственному интеллекту» (создающему новые данные на основе предыдущих). Мягкие модели основаны на принципах мягких вычислений, в рамках которых могут использоваться неточные или приближенные методы решения задач, которые, в свою очередь, могут не иметь однозначно верного или неверного решения. К мягким моделям относят нейросети.

По устройству искусственный интеллект делится на несколько типов:

Семантические сети – это модели, состоящие из архитектуры сущностей и связей между ними. Можно представить искусственный интеллект на основе семантических сетей как граф или древо решений, где связи представлены логическими утверждениями «и», «или», «включен в», «если-тогда» и т. д. В основе работы такого искусственного интеллекта, как правило, лежит бинарная логика с двумя возможными исходами: «истинно» или «ложно». Устройство семантических сетей относительно простое, но оно требует значительной подготовительной работы на этапе разработки, связанной с описанием объектов, их классов, характера связей, схемы данных и т. д. Таким образом, данный вид искусственного интеллекта может выдавать решения лишь по заранее определенной логике решений и не способен к обработке данных, использование которых не было предусмотрено на этапе создания семантической сети. В связи с этим, их использование ограничено, а эффективность во многом зависит от пользователя. Похожим образом работают современные справочники болезней и некоторые диагностические инструменты на основе искусственного интеллекта.

Экспертные системы представляют собой систему, включающую большие объемы сложных данных, которые объединены алгоритмом и сортированы по установленным критериям. В общем случае они включают четыре компонента: база знаний, машина вывода, пользовательский интерфейс, объяснительный компонент. Такой вид искусственного интеллекта примечателен в первую очередь тем, что для его создания необходимо участие экспертов определенной области для подготовки базы знаний.

Данные в ней должны быть не только верными, но также точными, классифицированными и единообразными. В качестве представления формы знаний в экспертных системах используются фреймы – модели абстрактного образа, кратко и исчерпывающе описывающие суть объекта, процесса или явления, и включающие схемы действий в реальной ситуации. Среди фреймов можно выделить фреймы-роли, фреймы-структуры, фреймы-ситуации, фреймы-сценарии и т. д. Система связанных фреймов может образовывать семантическую сеть. К экспертным системам относятся системы поддержки врачебных решений, таких, как, например, Электронный Клинический Фармаколог, семантическим ядром которого является Объединенная База Медицинских Знаний (UMKB, United Medical Knowledge Base). Мягкие модели искусственного интеллекта основаны на машинном обучении, которое заключается в определении программой корреляций и закономерностей в представленных данных без необходимости определять их априори [2]. Это означает, что при их разработке не обязательно проводить работу по жесткой классификации и четкому оформлению информации, как это происходит при создании семантических сетей и экспертных систем. Это особенно актуально в медицине, где данные не всегда могут быть определены однозначным образом, а процессы лечения и диагностики подвержены влиянию многих факторов, не все из которых изучены досконально или вовсе известны. Машинное обучение в общем случае включает 4 этапа: обработка данных, «тренировка» модели, калибровка модели и применение модели. Глубокое обучение является отдельным видом машинного обучения, на основе которого устроены нейронные сети. Основное отличие глубокого обучения заключается в количестве скрытых слоев и связей между этими слоями.

Нейросети или нейронные сети – вид самообучающегося искусственного интеллекта, способный выявлять корреляции в однотипных данных и генерировать новые данные на основе описанных инструкций. Инструкции определяют процесс «обучения» нейронных сетей, а именно формат входных и выходных данных, количество итераций обработки данных, критерии обработки данных и т. д. Обучение нейросетей требует подготовки данных для обучения – информации, структурированной определенным образом или неструктурированной, в определенном формате. После обработки набор данных преобразуется в модель. Модель имеет параметры – настройки отдельных узлов алгоритма, имеющие определенный вес. Так, алгоритм может генерировать ответ с акцентом на определенную информацию, или наоборот, игнорировать нерелевантную для конечного результата часть запроса, если она присутствует во входных данных. Для генерации данных нейросеть должна получить запрос от пользователя или инструкцию, называемую «промпт».

Значительная часть нейросетей широкого пользования относится к категории генеративных нейросетей– алгоритмов, выявляющих взаимосвязи в данных для обучения и генерирующих новые данные на основе известных. Генеративными нейросетями, в частности, являются большие языковые модели.

Обучение нейросетей осуществляется двумя способами. Обучение под присмотром или контролируемое обучение (Supervised learning) предполагает разметку фрагментированных данных, для того чтобы алгоритм мог обрабатывать специфические участки информации с более высокой точностью. Разметку осуществляют, к примеру, при подготовке для обработки алгоритмом медицинских снимков (выделяются патологические участки, а аналогичные им в последствии выявляются алгоритмом на других изображениях). При обучении без присмотра или неконтролируемом обучении (unsupervised learning) данные не сопровождаются описательными метками – алгоритм группирует большие объемы информации в кластеры на основе сходств и различий.

Среди технологий искусственного интеллекта на основе машинного обучения следует выделить большие языковые модели (LLM), способные распознавать, анализировать и воспроизводить человеческую речь (как правило, в печатной форме) благодаря алгоритмам обработки естественного языка (NLP). Это избавляет пользователя от необходимости взаимодействовать с программой через математический язык или языки программирования. На основе этой технологии были разработаны такие инструменты, как chat-GPT, использование которого активно обсуждается в контексте образования, коммуникации клиентов и организаций, и в качестве справочного инструмента. Среди зарегистрированных в РФ решений на основе алгоритмов обработки естественного языка такие продукты, как Webiomed.DHRA (СППВР) и Webiomed.NLP (система обработки неструктурированных медицинских записей).

Другая технология искусственного интеллекта на основе машинного обучения – компьютерное зрение. Она позволяет компьютеру обрабатывать переданное пользователю изображение, анализировать и интерпретировать его содержание, а также определять наличие на изображении объектов или особых паттернов. Эта технология, в частности, используется в целях диагностики патологий на снимках КТ, МРТ и т. д. Так, на территории РФ решения на основе искусственного интеллекта для диагностики медицинских изображений используются такие программные решения, как Botkin.AI для визуализации и обработки изображений, платформа Radlogics, нейросетевая система Саrе Mentor AI для анализа рентгеновской проекционной маммографии, программное обеспечение DENTOMO для анализа одонтограмм и другие.

Проблемы искусственного интеллекта

Для корректного использования искусственного интеллекта, кроме базового представления об устройстве этой технологии, необходимо понимать ее ограничения и ошибки, которые могут возникать в процессе работы.

Одна из главных проблем искусственного интеллекта, в значительной степени ограничивающая возможности ее применения в здравоохранении, – проблема «черного ящика». Ее суть заключается в невозможности отследить логику принятия решения искусственным интеллектом и объяснить внутренние, невидимые наблюдателю, процессы, выполняемые алгоритмом. По степени отслеживаемости логики решений также выделяют искусственный интеллект типов «белый ящик» и «серый ящик» (абсолютно и частично прозрачные системы соответственно) [3]. С позиции этики, без возможности отслеживания логики решений искусственным интеллектом, с одной стороны, врач не может принять взвешенное и исчерпывающее решение, а пациент, с другой стороны, не может дать информированное согласие на совершение процедур. С точки зрения юриспруденции, однако, эта проблема на данный момент не имеет однозначного решения. В ближайшее десятилетие можно ожидать достаточное количество прецедентов, которые станут основой для регулирования искусственного интеллекта типа «черный ящик». К искусственному интеллекту типа «черный ящик» относятся в первую очередь нейронные сети, а к типу «белый ящик» – семантические сети и экспертные системы.

В более широком смысле проблема «черного ящика» сводится к концепции «объяснимого искусственного интеллекта» (explainable AI). Она имеет два уровня: первый предполагает прозрачность алгоритмов в целом, а второй – возможность отследить логику каждого отдельного решения [4]. Проблема заключается в том, что объяснимый искусственный интеллект отличается меньшей точностью, скоростью и более узким спектром решаемых задач по сравнению с «черными ящиками» [5]. Таким образом, специалисты здравоохранения вынуждены выбирать между объяснимостью и эффективностью искусственного интеллекта.

Объяснимость искусственного интеллекта – качество технологии, которое необходимо для своевременного выявления ошибок. В контексте нейросетей, кроме математических и программных ошибок, особое внимание уделяется так называемым «галлюцинациям» и феномену умного Ганса. Галлюцинации искусственного интеллекта – это генерация бессмысленного или ошибочного ответа на запрос пользователя. При этом данный ответ не совпадает с данными для обучения и «воспринимается» искусственным интеллектом как верный. Так, большая языковая модель при ответе на вопрос о заболевании может дать некорректный перечень симптомов, а программы с функцией компьютерного зрения – определить здоровые участки, как патологические. Феномен Умного Ганса – побочный эффект от способности искусственного интеллекта обнаруживать закономерности. Он заключается в использовании искусственного интеллекта метаданных для поиска корреляций, построении заключений на основе вторичных признаков. Так, например, искусственный интеллект может выдать заключение о высоком риске наличия некоторого заболевания у пациента по имени «Иван», по причине того, что в его базе данных для обучения количество пациентов с этим именем было выше, чем других. Некорректное использование искусственным интеллектом метаданных невозможно предсказать – это может быть даже модель устройства, на котором происходило сканирование или название медицинской организации, в которой проходило исследование [6][7].

Ошибочное использование метаданных часто приводит к более масштабному явлению, известному как предвзятость искусственного интеллекта. В этом случае искусственный интеллект систематически выявляет сходства в целых группах пациентов и делает ошибочные заключения, которые могут распространяться на всех участников этих групп. Например, ряд моделей делали вывод о более низкой вероятности наличия у пациентов африканской расы ряда заболеваний. Некоторые авторы считают, что это связано со сложным социально-экономическим положением афроамериканцев в США, из-за чего они реже обращаются за медицинской помощью, и, в связи с чем, в базе данных искусственного интеллекта количество информации об их здоровье непропорционально меньше, по сравнению с представителями европеоидной расы [8] [9].

Для предотвращения перечисленных ошибок, а также регулирования использования технологии искусственного интеллекта в здравоохранении в целом, предполагается необходимость валидации программных продуктов – подтверждения их эффективности и безопасности. Существующие процедуры не гарантируют то, что заключения модели будут обладать высокой достоверностью, так как у компаний-разработчиков нет нерыночных стимулов для усовершенствования алгоритмов, даже напротив – может оказаться выгоднее отказаться от доработки программы. Нынешние рекомендации по валидации со стороны регулирующих органов весьма размыты и неконкретны, не ограничены по срокам, организациям не предлагаются инструменты оценки моделей и отсутствует практика наложения ограничений за невыполнение рекомендаций [10]. Количество проводимых рандомизированных исследований не коррелирует с количеством продуктов на основе искусственного интеллекта [11]. Этот факт приводит к тому, что значительная часть продуктов используется медицинскими организациями «вслепую» – без четкого понимания о безопасности, эффективности, точности, этичности моделей и т. д.

Заключение

В данной статье мы привели лишь ряд терминов и понятий, касающихся искусственного интеллекта в контексте здравоохранения. Привести исчерпывающий перечень же – задача куда большего масштаба и требует коллаборации специалистов разных профилей. В первую очередь, мы считаем, что для врачей и всех работников в здравоохранении важно понимать саму суть технологии искусственного интеллекта – ее ограничения в спектре выполняемых задач, особенности архитектуры и, в связи с этим, назначение в зависимости от устройства. Развитие базовой грамотности необходимо для соблюдения принципов «не навреди» (так как компетентное использование технологий является необходимым условием безопасности), информированного согласия и использования инновационных инструментов искусственного интеллекта с целью увеличения эффективности лечебно-диагностических процедур. С другой стороны, применение искусственного интеллекта в здравоохранении растет уже сейчас, причем в самых разных сферах – диагностике, лечении, распределении пациентов, коммуникации и т. д. В связи с этим, практикующим специалистам в здравоохранении необходимо понимать проблемы, связанные с искусственным интеллектом, возникающие не в отдельных случаях (например, при ошибке со стороны компании-разработчика), а систематически, из-за особенностей функционирования и устройства технологии.

Глобальное же решение проблемы формирования базовой грамотности в сфере искусственного интеллекта у специалистов в здравоохранении требует более обстоятельного и скрупулезного подхода, с фокусом на работу с как можно более широким кругом работников и подготовку специалистов, обладающих как медицинскими, так и техническими компетенциями.

1. Murphy Kevin P. Machine learning: a probabilistic perspective. MIT press, 2012.
2. Martins T.G.D.S., Schor P. Unpacking the black box. Einstein (Sao Paulo). 2020 Dec 21; 19:eED6037. DOI: 10.31744/einstein_journal/2021ED6037. PMID: 33338193; PMCID: PMC7793127.
3. Amann J., Blasimme A., Vayena E., Frey D., Madai V.I.; Precise4Q consortium. Explainability for artificial intelligence in healthcare: a multidisciplinary perspective. BMC Med Inform Decis Mak. 2020 Nov 30; 20(1): 310. DOI: 10.1186/s12911-020-01332-6. PMID: 33256715; PMCID: PMC7706019.
4. Gunning D., Stefik M., Choi J., Miller T., Stumpf S., Yang G.Z. XAIExplainable artificial intelligence. Sci Robot. 2019 Dec 18; 4(37): eaay7120. DOI: 10.1126/scirobotics.aay7120. PMID: 33137719.
5. Roberts M., Driggs D., Thorpe M., Gilbey J., Yeung M., Ursprung S. et al. Common pitfalls and recommendations for using machine learning to detect and Prognosticate for COVID-19 using chest Radiographs and CT scans. Nat Mach Intell 2021; 3: 199–217. DOI: 10.1038/s42256-021-00307-0.
6. Zech J.R., Badgeley M.A., Liu M., Costa A.B., Titano J.J., Oermann E.K. Variable generalization performance of a deep learning model to detect pneumonia in chest Radiographs: A cross-sectional study. PLoS Med 2018; 15(): e1002683. DOI: 10.1371/journal.pmed.1002683.
7. Gichoya J.W., Thomas K., Celi L.A., Safdar N., Banerjee I., Banja J.D., Seyyed-Kalantari L., Trivedi H., Purkayastha S. AI pitfalls and what not to do: mitigating bias in AI. Br J Radiol. 2023 Oct; 96(1150): 20230023. DOI: 10.1259/bjr.20230023. Epub 2023 Sep 12. PMID: 37698583; PMCID: PMC10546443.
8. Obermeyer Z., Powers B., Vogeli C., Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019 Oct 25;366(6464):447-453. DOI: 10.1126/science. aax2342. PMID: 31649194.] [Moss E, Metcalf J. High tech, high risk: Tech ethics lessons for the COVID-19 pandemic response. Patterns. 2020;1(7): 100102.
9. Wawira Gichoya J., McCoy L.G., Celi L.A., Ghassemi M. Equity in essence: a call for Operationalising fairness in machine learning for Healthcare. BMJ Health Care Inform 2021; 28(): e100289. DOI: 10.1136/bmjhci-2020-100289.
10. Plana D., Shung D.L., Grimshaw A.A., Saraf A., Sung J.J.Y., Kann B.H. Randomized clinical trials of machine learning interventions in health care: A systematic review. JAMA Netw Open 2022; 5(): e2233946. DOI: 10.1001/jamanetworkopen.2022.33946.