ИННОВАЦИОННЫЕ МЕДИЦИНСКИЕ ТЕХНОЛОГИИ
Валидация больших языковых моделей в медицине: обзор подходов, метрик и методологических вызовов
1 — ООО «К-скай», 185031, Российская Федерация, г. Петрозаводск, наб. Варкауса, д. 17, ПОМ/ОФ 62/20.
emakarova@webiomed.ru
ORCID: https://orcid.org/0000-0002-5410-5890
2 — ООО «К-скай», 185031, Российская Федерация, г. Петрозаводск, наб. Варкауса, д. 17, ПОМ/ОФ 62/20.
akaftanov@webiomed.ru
ORCID: https://orcid.org/0000-0001-6898-8009
3 — ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Минздрава России, 127254, Российская Федерация, г. Москва, ул. Добролюбова, д. 11.
agusev@webiomed.ru
ORCID: https://orcid.org/0000-0002-7380-8460
4 — ФГБУ «Всероссийский научно-исследовательский и испытательный институт медицинской техники» Росздравнадзора, 115478, Российская Федерация, Москва, Каширское шоссе, д. 24, стр. 16.
ivanov@vniiimt.ru
ORCID: https://orcid.org/0000-0003-0971-853X
5 — ФГБУ «Всероссийский научно-исследовательский и испытательный институт медицинской техники» Росздравнадзора, 115478, Российская Федерация, Москва, Каширское шоссе, д. 24, стр. 16.
matvienkoav@minzdrav.gov.ru
ORCID: https://orcid.org/0009-0009-4625-9572
Внедрение больших языковых моделей (LLM) в клиническую практику открывает новые возможности для поддержки принятия решений, документирования и коммуникации с пациентами. Однако переход от лабораторных экспериментов к безопасному применению в реальных клинических условиях требует разработки надежных подходов к валидации. В настоящем обзоре систематизируются современные методы оценки LLM в медицине, включая автоматические метрики (ROUGE, BLEU, BERTScore, METEOR) и клинические бенчмарки (MedQA, MIRAGE, GeneTuring). Анализируются ключевые методологические проблемы: разрыв между результатами на экзаменационных тестах и реальной клинической компетентностью, ограниченность лексических метрик, отсутствие стандартизации экспертных оценок и недостаточная репрезентативность данных. Предлагаются рекомендации по формированию многоуровневой стратегии валидации, сочетающей количественные метрики, экспертную верификацию и постмаркетинговый мониторинг.
Ключевые слова: большие языковые модели, валидация, медицинские бенчмарки, метрики оценки, клиническая безопасность, экспертная оценка, генерация с дополненным поиском (RAG)
Введение
За последние годы большие языковые модели (large language model, LLM) продемонстрировали впечатляющие результаты в широком спектре медицинских задач – от интерпретации клинических записей до поддержки принятия врачебных решений и взаимодействия с пациентами. Однако скорость развития LLM значительно опережает развитие методологий их валидации. Традиционные подходы к оценке, заимствованные из области обработки естественного языка, часто оказываются недостаточными для медицинских задач, где цена ошибки может быть критически высокой. Широко распространенные бенчмарки на основе экзаменационных вопросов (например, USMLE) создают иллюзию готовности моделей к клиническому применению, тогда как реальная клиническая компетентность требует принципиально иного уровня проверки [1].
В последние годы наблюдается экспоненциальный рост числа исследований, посвященных применению LLM в медицине. Систематический обзор Gorenstein и соавт. [1] выявил 36 исследований, охватывающих восемь неврологических субспециальностей, однако лишь шесть из них имели проспективную клиническую валидацию. Аналогичная картина наблюдается и в других областях медицины: лишь 5% современных исследований LLM проводятся на реальных данных электронных медицинских записей; остальные используют клинические виньетки, экспертные вопросы или экзаменационные тесты [2].
Настоящий обзор ставит целью систематизацию современных подходов к валидации больших языковых моделей в медицине.
- Количественные метрики оценки
Лексические метрики. Наиболее распространенным классом метрик остаются метрики лексического совпадения, среди которых доминируют ROUGE (Recall-Oriented Understudy for Gisting Evaluation) и BLEU (Bilingual Evaluation Understudy). Эти метрики оценивают степень перекрытия между сгенерированным моделью текстом и эталонным ответом на основе совпадения n-грамм [3, 4, 5]. В медицинских задачах такие метрики могут быть не чувствительны к клиническому контексту, а только к лексическому совпадению с эталоном. Кроме того, данные метрики могут не учитывать синонимически верные перефразирования, а удаление критической информации (как, например, отрицания), могут лишь немного снижать значение метрики, сильно меняя семантику текста.
Исследование Arzideh и соавт. [6] при оценке RAG-систем для клинического поиска информации показало, что традиционные метрики, основанные на лексических совпадениях, недостаточно отражают качество извлечения информации в медицинских текстах.
Семантические метрики. В ответ на ограничения лексических метрик все большее распространение получают метрики, оценивающие семантическую близость на основе векторных представлений.
Например, BERTScore использует контекстуальные эмбеддинги BERT для сравнения семантической схожести ответов, который лучше понимает синонимы терминов и поэтому лучше отражает смысловое соответствие. В качестве других примеров семантических метрик можно также привести метрики BLEURT и METEOR [3, 6].
Метрики точности и полноты. Для задач классификации и извлечения информации традиционно применяются Precision (точность), Recall (полнота или чувствительность) и F1-мера (среднее гармоническое между ПЦПР и чувствительностью).
В исследованиях по извлечению сущностей из медицинских записей или нормативных документов, эти метрики остаются основными. Например, при оценке извлечения терминов из CCC (Clinical Care Classification) использовались Precision, Recall и F1 для каждого класса терминов [7]. В медицинских задачах выбор между precision и recall при калибровке моделей и систем может завесить от решаемой задачи: в случае скрининга может быть важнее полнота (не пропустить потенциально опасное состояние), в задаче назначения лечения – точность (избежать ложноположительных рекомендаций).
Специализированные метрики. Для некоторых медицинских задач также разрабатываются специализированные метрики. Например, в задаче извлечения классификационных кодов OTA/AO из радиологических отчетов использовали коэффициент согласия Коэна (Cohen’s kappa), который учитывает случайное совпадение при оценке межэкспертного согласия [8].
Метрики для оценки поиска и извлечения. Для оценки качества извлечения информации в RAG-системах применяются специализированные метрики поиска: MRR@10 (Mean Reciprocal Rank), P@1 (Precision at 1), Recall@K и NDCG@10 (Normalized Discounted Cumulative Gain). Например, эти метрики использовались в многокорпусном бенчмарк-исследовании [9], которое оценивало, что вносит больший вклад в работу RAG-систем – выбранная модель или метод построения векторной базы данных (включая методы деления документов, ранжирования, построения запроса к БД и т.д.).
- Клинические бенчмарки и тестовые наборы данных
Бенчмарки на основе экзаменационных вопросов. Одним из широко используемых классов медицинских бенчмарков являются наборы данных на основе экзаменационных вопросов, в первую очередь MedQA, основанный на вопросах USMLE (United States Medical Licensing Examination) [10]. Современные LLM демонстрируют на этом бенчмарке результаты, превышающие средние показатели врачей [11].
Однако, как уже отмечалось в ранее упомянутых исследованиях, высокая производительность на экзаменационных тестах не транслируется в клиническую компетентность [1]. Этот разрыв является ключевым методологическим вызовом современной валидации медицинских LLM.
Практико-ориентированные бенчмарки. В связи с ограничениями экзаменационных бенчмарков разрабатываются наборы данных, моделирующие реальные клинические сценарии. Например, MIRAGE (Medical Information Retrieval-Augmented Generation Evaluation) – бенчмарк, включающий 7663 вопроса из пяти медицинских наборов данных QA [12], GeneTuring – для оценки знаний в области геномики [13] и др.
Результаты, достигаемые LLM на этих бенчмарках показывают, что реальная их клиническая эффективность существенно ниже, чем можно предположить на основе экзаменационных тестов.
Узкоспециализированные медицинские бенчмарки. Для оценки LLM в конкретных медицинских областях разрабатываются специализированные бенчмарки. Например, в онкологии разработали RAG-LLM-систему с использованием базы данных Molecular Oncology Almanac (MOAlmanac), достигнув 93% точности на реальных клинических запросах [14]. В области традиционной китайской медицины разработали систему вопросов-ответов на основе графа знаний для терапии Jin San Zhen, используя 60 оценочных вопросов, охватывающих различные категории заболеваний [15]. Разработанного для гастроэнтерологии специализированного LLM-ассистента GastroTCM оценивали на одно- и много-раундовых диалогах с привлечением экспертов [16].
Так как LLM – это в первую очередь системы обработки текстовых данных, большое значение имеет язык, на котором создавался бенчмарк, т.к. при переводе (особенно автоматическом) клинические детали могут теряться, и оценить точность ответов языковой модели становится сложнее.
- Обсуждение
Как следует из проведенного обзора, единый подход к валидации LLM-систем для использования в реальной клинической практике все еще не сформирован. При этом растущий интерес медицинского сообщества и пациентов к этой технологии приводит к необходимости вырабатывать методы клинической валидации подобных систем, чтобы обеспечить их безопасность в реальных условиях. На основе анализа современного состояния можно предложить многоуровневую стратегию валидации медицинских LLM:
- Автоматическая оценка с использованием семантических метрик (BERTScore, BLEURT) в дополнение к лексическим.
- Оценка на практико-ориентированных бенчмарках, моделирующих реальные клинические сценарии.
- Использование RAG для привязки к конкретным источникам знаний.
- Экспертная верификация выборочных результатов работы систем, использующих LLM.
- Постмаркетинговый (пострегистрационный) мониторинг в реальных клинических условиях.
Заключение
Валидация больших языковых моделей в медицине находится на этапе активного методологического становления. Существующие подходы – от лексических метрик до экспертных оценок и специализированных бенчмарков, имеют как сильные стороны, так и существенные ограничения.
Ключевые вызовы включают: разрыв между производительностью на экзаменационных тестах и реальной клинической компетентностью; ограниченность автоматических метрик в оценке клинической корректности; отсутствие стандартизации в экспертных оценках.
Для оценки LLM в условиях российского здравоохранения проблемой является также недостаток специализированных бенчмарков (наборов тестовых данных) на русском языке, учитывающих особенности российской системы здравоохранения и нормативно-правовой базы.
Перспективным направлением является разработка многоуровневых стратегий валидации, сочетающих как автоматические метрики, так и экспертную валидацию и постмаркетинговый мониторинг. Такой комплексный подход позволит преодолеть разрыв между лабораторными успехами LLM и их безопасным применением в реальной клинической практике.
- Gorenshtein A., Shihada K., Omar M., Barash Y., Nadkarni G.N., Klang E. Large Language Models in Clinical Neurology: A Systematic Review. Research Square. 2026. DOI: 10.21203/rs.3.rs-8902070/v1.
- Bedi S. и другие. Testing and Evaluation of Health Care Applications of Large Language Models: A Systematic Review. JAMA. 2024; 333(4): 319–328. DOI: 10.1001/jama.2024.21700
- Evangelista E., Ruba F., Bukhari S., Nazir A., Sharma R. GraphRAG-Enabled Local Large Language Model for Gestational Diabetes Mellitus: Development of a Proof-of-Concept. JMIR Diabetes. 2026; 11:e76454. DOI: 10.2196/76454.
- Zhang S., Phan E., Velmovitsky P., Pham Q., Sanner S. Retrieval-Augmented Generation for Medical Question Answering on a Heart Failure Dataset: Performance Analysis. JMIR Form Res. 2026; 10:e84932. DOI: 10.2196/84932.
- He S., Zhang Y., Li J. Personalized Diabetes Treatment Support Using Large Language Models Fine-Tuned on Electronic Health Records: Development and Evaluation Study. JMIR Form Res. 2026; 10:e71541. DOI: 10.2196/71541.
- Arzideh K., Schafer H., Idrissi-Yaghir A., Schmidt C.S., Eryilmaz B., Bahn M., Turki A., Pollok O.B., Hartmann E.M., Winnekens P., Borys K., Haubold J., Nensa F., Hosch R. Improving Retrieval Augmented Generation for Health Care by Fine-Tuning Clinical Embedding Models: Development and Evaluation Study. J Med Internet Res. 2026; 28:e82997. DOI: 10.2196/82997.
- Li M., Chen D., Xiao Q., He Z., Zhang Y., Zhong J., Luo Y., Ma H. Automated Identification of Nursing Diagnoses and Interventions From Nursing Records Using a Retrieval-Augmented Large Language Model Approach: Quantitative Study. J Med Internet Res. 2026; 28:e89850. DOI: 10.2196/89850.
- Hu S., Keeley T., Halvorson R., Campbell S.T., Lefaivre K.A., Levack A., Lundy D.W., Meinberg E., Schweser K., Shymon S.J., Marmor M.T. Deriving the OTA/AO fracture classification from routinely collected radiology reports using a large language model. OTA Int. 2026 May 1; 9(2):e482. DOI: 10.1097/OI9.0000000000000482. PMID: 42078173; PMCID: PMC13134765.
- Mikkelsen Y. Clinical Context Variables Collectively Rival Model Choice in Embedding-Based Retrieval: Multi-Corpus Benchmark Study. JMIR Med Inform. 2026 May 7; 14:e94241. doi: 10.2196/94241. PMID: 42097608; PMCID: PMC13195371.
- Jin D. и др. What Disease does this Patient Have? A Large-scale Open Domain Question Answering Dataset from Medical Exams. Applied Sciences, 2021, 11(14), 6421. DOI: 10.3390/app11146421.
- Singhal K., Tu T., Gottweis J. et al. Toward expert-level medical question answering with large language models. Nat Med 31, 943–950 (2025). https://doi.org/10.1038/s41591-024-03423-7.
- Xiong H., Jin Q., Ye Z. et al. Benchmarking Retrieval-Augmented Generation for Medicine arXiv.org. 2024. URL: https://arxiv.org/abs/2402.13178 DOI: 10.18653/v1/2024.findings-acl.372.
- Joy J., Su A.I. Federated knowledge retrieval elevates large language model performance on biomedical benchmarks. GigaScience. 2026; 15:giag007. DOI: 10.1093/gigascience/giag007.
- Jun H., Tanaka Y., Johri S., Camp S.Y., Bao E.L., Carvalho F.L.F., Gui D.Y., Jordan A.C., Labaki C., Martin S.D., Nagy M., O’Meara T.A., Pappa T., Pimenta E.M., Saad E., Yang D.D., Gillani .R, Tewari A.K., Reardon B., Van Allen E. A context-augmented large language model for accurate precision oncology medicine recommendations. Cancer Cell. 2026 Mar 9; 44(3):676–685. e4. doi: 10.1016/j.ccell.2025.12.017. Epub 2026 Jan 15. PMID: 41544626; PMCID: PMC12811686.
- Chen J., Luo M., Chen J., Luo G., Li G., Lei C., Chen D., Yu J., Gu K. Construction and evaluation of the knowledge graph and large model question-answering system for Jin San Zhen therapy: a tool study for primary care and general practice. Front Med. 2026;13:1755583. DOI: 10.3389/fmed.2026.1755583.
- Wang L., Tang K., Yang Z., Wang Y., Zhang .P, Wu B., Zhao W., Chen J., Gong J., Du S., Li S. GastroTCM: a large language model assistant for gastroenterology in traditional Chinese medicine. Chinese medicine. 21. 46. DOI: 10.1186/s13020-025-01295-8.