Background.

В последние годы в лучевой диагностике развивается новое направление изучения и углубленного анализа цифровых медицинских изображений – радиомика. Это современная медицинская технология, объединяющая лучевую диагностику, технологии искусственного интеллекта (ИИ) и математическую статистику. Текстурный анализ изображений является частью радиомики и обеспечивает объективную количественную оценку неоднородности опухоли путем распределения и взаимосвязи уровней пикселей или вокселей серого в изображении. Путем анализа медицинских изображений (например, магнитно-резонансных (МР) томограмм) врачом-рентгенологом, дальнейшего компьютерного и математического преобразования данных с использованием специализированного программного обеспечения (ПО), возможно высокопроизводительное извлечение ряда специфических количественных признаков изображения, не видимых человеческим глазом, которые могут коррелировать с патофизиологическими свойствами исследуемой ткани. Радиомика позволяет выявлять скрытые корреляции и определять такие характеристики опухоли, как текстура, гетерогенность, интенсивность и пространственные отношения, которые не могут быть оценены врачом-рентгенологом. Благодаря этому радиомика становится современным методом «виртуальной биопсии», способным полноценно оценить структуру опухоли со всей ее неоднородностью без проведения морфологической верификации [1].

Машинное обучение (МО) является классом методов ИИ, сутью которого является создание алгоритмов, которые способны автоматически извлекать признаки из данных, анализировать большие объемы информации, которые затруднительно обработать путем классических статистических методов, решать задачи или предсказывать результаты на их основе и классифицировать.

Главной целью радиомики в сочетании с методами МО является возможность построения стандартизированных диагностических или прогностических радиомических моделей, основанных на специфических признаках изображения, выявленных при компьютерном и математическом анализе, и обладающих высокими дискриминативными возможностями и воспроизводимостью. На сегодняшний день в мировой литературе имеются многочисленные масштабные исследования, подтверждающие диагностическую ценность радиомики и эффективность разработанных диагностических и прогностических радиомических моделей [2–21]. Радиомические модели могут на дооперационном этапе неинвазивно на основе данных магнитно-резонансной томографии (МРТ) определять степень гистологической дифференцировки опухоли и прогноз заболевания [2–10], эффективно проводить дифференциальную диагностику выявленных очаговых новообразований [2, 11–17], выявлять наличие предикторов микрососудистой инвазии опухоли [18–19] и повышенного риска возникновения рецидива заболевания [20], а также оценивать молекулярно-генетические характеристики опухоли и предсказывать ответ опухоли на лечение [21]. Однако, несмотря на это, существует ряд сложностей и ограничений, лимитирующих широкое внедрение радиомических моделей в рутинную практику. Среди них: субоптимальное качество исследований, отсутствие стандартизированных протоколов исследований и оптимальных алгоритмов подбора последовательностей исследования для включения в набор данных (НД), отсутствие внешней валидации, а в случае гепатоцеллюлярного рака (ГЦР) – еще и малая выборка морфологически верифицированных узлов из-за клинических ограничений для проведения пункционных биопсий у пациентов с циррозом печени (высокий риск осложнений) и возможности постановки диагноза без морфологической верификации на основании классических рентгенологических признаков контрастирования опухолевых узлов. К последним относятся: диффузное (не кольцевидное) контрастное усиление опухоли, размером > 1 см, в поздней артериальной фазе; «вымывание» контрастного вещества в венозной фазе; выявление псевдокапсулы в опухолевых узлах, размером >2 см, в отсроченной (равновесной) фазе; рост опухоли менее, чем за 6 мес. на 50% или увеличение размеров опухоли не менее, чем на 5 мм за 6 месяцев [22]. Все вышеперечисленные ограничения обусловливают низкую воспроизводимость полученных результатов и, соответственно, низкие дискриминативные способности разработанных диагностических или прогностических радиомических моделей.

Несмотря на то, что ежегодно наблюдается увеличение объема первично цифровых (машиночитаемых) медицинских электронных записей, включающих в себя как клинические данные (результаты физикальных исследований), так и результаты лабораторных (уровень опухолевого маркера, специфичного для того или иного заболевания) и инструментальных (МРТ) исследований, важным аспектом, ограничивающим простое использование накопленной информации для эффективной разработки технологий ИИ, является тот факт, что медицинские электронные записи возникают в ходе рутинной медицинской деятельности организаций, а не специально в целях сбора данных для их последующей машинной обработки. Это, в свою очередь, ведет к неструктурированности данных, различающимся форматам представления данных и т.п. Поэтому ключевым фактором, представляющим фундамент для создания надежных систем ИИ в медицине, является формирование из большого массива медицинских данных тщательно собранного, структурированного и качественно размеченного (аннотированного) НД [23]. Без этого даже самая совершенная нейронная сеть не сможет продемонстрировать высокую точность в реальной клинической практике, которая отличается огромным разнообразием данных.

Поэтому целью нашего исследования стала разработка методологических подходов и создание алгоритма контроля качества набора медицинских данных, используемого при создании ПО на основе технологий ИИ для диагностики новообразований печени.

Материалы и методы

В первичный НД включали данные пациентов, выполнивших МРТ органов брюшной полости с внутривенным контрастным усилением в период 2021–2025 гг. в условиях Федерального государственного бюджетного учреждения «Национальный медицинский исследовательский центр онкологии имени Н.Н. Блохина» Министерства здравоохранения Российской Федерации (ФГБУ «НМИЦ онкологии им. Н.Н.Блохина» Минздрава России), по данным которой были обнаружены очаговые образования в печени (ООП) различного генеза (как злокачественные, так и доброкачественные). МР-исследования выполняли на МР-томографах различных производителей с напряженностью магнитного поля 1,5 и 3 Т.

Процесс формирования НД включал в себя шесть основных блоков: сбор данных, структурирование данных, обезличивание (анонимизацию) НД, разметку (аннотацию) данных, формирование файлов данных и аннотации, формирование сопроводительного текстового файла (readme-файла).

Сбор данных осуществлялся с помощью медицинской информационной системы (МИС) «БАРС», а также с использованием специализированного ПО «Махаон».

Структурирование данных подразумевало создание и последующую работу с электронной таблицей (реестром данных).

С целью анонимизации НД применяли специализированное приложение (.exe) Dicom Anonym Application, версия 1.0.0.0.

Аннотацию данных проводили профильные медицинские специалисты со стажем работы врачом-рентгенологом не менее одного года, имеющие опыт разметки анатомических структур и патологических очагов ручным и полуавтоматическим методами в специализированных ПО.

Для аннотации исходными данными служили файлы в формате DICOM (англ. Digital Imaging and Communications in Medicine), которые являются международным стандартом обработки, хранения, передачи, печати и визуализации медицинских изображений. Применение формата DICOM обеспечивает сохранность полной информации о параметрах исследования, структуре данных и пациенте, что критически важно для стандартизации и последующего анализа в радиомических исследованиях.

Для исследования были отобраны пять последовательностей обезличенных МР-исследований оптимального качества: Т1-взвешенные изображения (ВИ) в нативную фазу (Т1), Т2-ВИ (Т2), диффузионно-взвешенные изображения (DWI), Т1-ВИ в артериальную фазу (AF), Т1-ВИ в равновесную фазу (RF). На отобранных последовательностях МР-исследований была выполнена сегментация паренхимы печени и патологических очагов в печени ручным и полуавтоматическим методами в 3D-режиме с использованием специализированного ПО «3D Slicer» [24].

В качестве врача-рентгенолога экспертного класса (эксперта), проверяющего и, при необходимости, корректирующего все аннотированные МР-изображения, выступал высококвалифицированный врач-рентгенолог со стажем работы более 20 лет.

При формировании файлов данных и аннотации анонимизированные и аннотированные файлы медицинских исследований размещали по папкам. По окончании формирования файлов данных и аннотации формировался сопроводительный текстовый файл (readme-файл).

Результаты и обсуждение

Исследование проводилось в рамках научно-исследовательской работы (НИР) ФГБУ «НМИЦ онкологии им. Н.Н.Блохина» Минздрава России» «Исследование и поиск высокоточных методов диагностики опухолей печени c использованием технологий ИИ», целью которой является разработка и внедрение в клиническую практику программного продукта поддержки принятия врачебных решений в диагностике опухолей печени на основе технологий ИИ.

НД – совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимых для разработки ПО на основе ИИ [23, 25].

В процессе формирования НД нами разрабатывались методологические подходы к контролю его качества. Результатом работы стало создание алгоритма контроля качества набора медицинских данных, используемого при создании ПО на основе технологий ИИ для диагностики новообразований печени.

Сбор данных. Основанием для сбора данных являлось техническое задание (ТЗ) на формирование НД, которое является основным документом, позволяющим регламентировать все этапы процесса таким образом, чтобы на его основе можно было воспроизвести создание НД. При этом при формировании ТЗ необходимо предусмотреть общее количество исследований, указать их модальность, наименование, распределение по целевым классам патологии и прочие параметры [26–27].

Благодаря цифровизации здравоохранения и появлению современной высокотехнологичной аппаратуры большинство медицинских данных, полученных от пациентов, хранится в МИС медицинских организаций, предназначенных для сбора, хранения, обработки и представления информации, необходимой для автоматизации процессов оказания и учета медицинской помощи и информационной поддержки медицинских работников, включая информацию о пациентах, об оказываемой им медицинской помощи и о медицинской деятельности медицинских организаций [28, 23].

В процессе сбора данных осуществлялась выгрузка уникальных идентификаторов исследований, а затем уже по ним – выгрузка медицинских исследований в формате DICOM. Выгрузка уникальных идентификаторов исследований при формировании НД осуществлялась путем формирования запроса к базе данных МИС «БАРС», содержащего определенные условия. Такими условиями в нашем исследовании были: даты исследований (2021–2025 гг.), модальность и наименование проведенных исследований (МРТ органов брюшной полости с внутривенным контрастным усилением), популяция пациентов (взрослые) и др. (параметры условий запроса определялись соответствующими пунктами ТЗ). После выбора фильтров из МИС «БАРС» получали список уникальных идентификаторов исследований, удовлетворяющих характеристикам фильтров. Данный список использовался для получения медицинских данных, отличающихся по объему и характеру содержащейся в них информации. Основными типами и источниками данных в нашем исследовании являлись: данные МР-исследования, данные из выписного эпикриза, данные аннотации.

Данные МР-исследования включали в себя: дату проведения и наименование исследования, наименование медицинской организации, где выполнено исследование, характеристики МР-томографа (название производителя, напряженность магнитного поля (1,5 Т, 3 Т), протокол сканирования (T1, Т2, DWI, AF, RF), толщина среза и др.). Все эти параметры, обеспечивающие стандартизацию данных и воспроизводимость результатов исследования, были получены непосредственно при работе с медицинскими изображениями (исходные технические метаданные, встроенные в DICOM-заголовок каждого снимка), а также в ходе изучения протокола МР-исследования.

Медицинские изображения – это набор файлов в формате DICOM, получаемых с диагностического устройства (аппарата МРТ). Необходимый объем и содержание данных определяли по целевому назначению и требованиям ТЗ на НД. Для загрузки медицинских данных лучевой диагностики из архива на локальное рабочее место использовали специализированное ПО «Махаон». Оно позволяет загружать на рабочее место медицинские исследования, содержащие различные модальности, в т.ч. и МР-данные. Наиболее частая проблема, с которой сталкивались медицинские специалисты на данном этапе, – это длительная загрузка МР-исследований из архива, единственным решением которой является планирование загрузки с учетом загруженности каналов связи.

Важным аспектом работы являлся отбор МР-исследований оптимального качества. С этой целью осуществлялась проверка МР-исследований на предмет отсутствия дефектов на изображениях DICOM, корректности заполнения DICOM-тегов, наличия всех необходимых МР-последовательностей, соответствие модальности, анатомической области и др. Еще на этапе выполнения МР-исследования с целью минимизации возникновения артефактов, затрудняющих интерпретацию и последующую аннотацию изображений, всем пациентам заранее были даны рекомендации по подготовке к исследованию.

При использовании разных моделей МО, способных к поиску нелинейных связей и закономерностей в большом массиве данных, различные серии МРТ имеют большую значимость для дифференциальной диагностики ООП, соответственно, сочетание различных МР-последовательностей в одной радиомической модели и добавление наибольшего их количества позволяют повысить дискриминативные возможности моделей, улучшая их точность и диагностическую значимость. Соответственно, наилучшей стратегией подбора дизайна исследования является максимальное включение рационально обоснованных последовательностей МР-исследования в модели МО. Для обучения нейросетевой модели нами были выбраны пять основных протоколов МР-сканирования, позволяющих выявлять максимальное количество ООП и дифференцировать их между собой на основе рентгенологических семиотических признаков: T1, Т2, DWI, AF, RF.

Протокол МР-исследования содержал подробное описание выявленных изменений и заключение, выставленное врачом-рентгенологом. Анализ текстовых описаний и заключений МР-исследований с последующим отбором (на основании ключевых слов и выражений) исследований с искомыми целевыми классами патологии также являлись важными аспектами нашей работы.

Выписной эпикриз, который загружали в формате pdf из МИС «БАРС», содержит детальную информацию о пациенте, включающую: пол, возраст, дату рождения, диагноз, установленный врачом-онкологом в соответствии с МКБ-10, данные морфологического исследования (в случае проведения морфологической верификации патологических очагов в печени), уровень опухолевых маркеров, специфичных для данного заболевания и др. Указанные параметры помогают ИИ контекстуализировать находки на снимках и повышают точность диагностики.

Следует подчеркнуть, что интеграция демографических, клинических, морфологических, лабораторных и технических данных в процесс МО чрезвычайно важна, т.к. может позволить преодолеть ключевые ограничения радиомических моделей, основанных исключительно на анализе изображений: увеличить точность, обеспечить персонализацию диагностики, снизить количество ложноположительных и ложноотрицательных результатов, улучшить обобщающую способность алгоритмов и, как результат, – повысить качество нейросетевой модели по распознаванию ООП. При этом интеграция метаданных не является тривиальной задачей и требует специального методологического подхода.

Данные об аннотации включали в себя: дату разметки, использованные критерии (например, семиотические признаки злокачественности или доброкачественности ООП) и др. Данная информация является критически важной для качества обучающей выборки и оценки работы модели.

Основополагающими при сборе данных являются полнота, релевантность и репрезентативность медицинских данных.

По окончании сбора данных медицинские специалисты, задействованные в подготовке НД, приступали ко второму этапу – структурированию данных.

Структурирование данных. Структурирование данных – это процесс разделения данных по отдельным критериям на группы, имеющие между собой логические связи. Данные могут структурироваться на основании различных признаков и целей создания НД, отраженных в ТЗ на создание НД.

В ходе нашего исследования все данные собирались в единую структуру – реестр, организованный в виде файла электронной таблицы и содержащий следующие стандартизированные и структурированные данные:

• порядковый номер исследования;
• уникальные идентификаторы исследования и название папки, где будут храниться исходные МР-изображения (без разметки) (анонимизированные) и МР-изображения, содержащие сегментацию (аннотированные);
• дата исследования (в формате дд.мм.гггг);
• пол;
• дата рождения (в формате дд.мм.гггг) (возраст заполнялся автоматически).

Дополнительно разработан кодификатор возраста по группам:

1 – Моложе 45 лет;

2 – 46–60 лет;

3 – 61–75 лет;

4 – Старше 75 лет;

• основной клинический диагноз в соответствии с МКБ-10 (на основании данных из выписного эпикриза).

Дополнительно у пациентов с ООП разработан кодификатор основного клинического диагноза по группам:

1 – C00-C26 Злокачественные новообразования (ЗНО) губы, полости рта и глотки, органов пищеварения;

2 – C30-C39 ЗНО органов дыхания и грудной клетки;

3 – C40-C49 ЗНО костей, суставных хрящей, кожи и мягких тканей;

4 – C50-C63 ЗНО молочной железы, женских и мужских половых органов;

5 – C64-C68 ЗНО мочевых путей;

6 – C69-C75 ЗНО глаза, головного мозга и других отделов центральной нервной системы (ЦНС), щитовидной и других эндокринных желез;

7 – C76-C80 ЗНО неточно обозначенные, вторичные и неуточненных локализаций;

8 – C97 Первично множественные злокачественные новообразования (ПМЗО);

9 – D00-D36 In situ новообразования и доброкачественные новообразования (ДНО);

10 – Z00-Z99 Обращение в медучреждение;

11 – Прочее;

• данные морфологического исследования (на основании данных из выписного эпикриза):

Гистология/цитология очага в печени:

1 – аденокарцинома;

2 – плоскоклеточный рак;

3 – холангиоцеллюлярный рак (ХЦР);

4 – ГЦР;

5 – гастроинтестинальные стромальные опухоли (GIST);

6 – нейроэндокринные опухоли (НЭО);

7 – инфильтративный протоковый/дольковый рак;

8 – прочее.

При наличии морфологической верификации ЗНО печени дополнительно указывалась степень гистологической дифференцировки опухоли (Grade): 1 – G1; 2 – G2; 3 – G3.

В случае отсутствия данных морфологического исследования подтверждение диагноза проводилось на основе данных классических семиотических признаков, динамического наблюдения, экспертной оценки врачом-рентгенологом со стажем работы более 20 лет.

• количество очагов на основе разметки (в разметку включались очаги, размером более 8 мм) (точное число).

Дополнительно разработан кодификатор количества очагов на основе разметки:

1 – 1 очаг;

2 – 2–4 очага;

3 – 5–10 очагов;

4 – 11–15 очагов;

5 – >15 очагов;

• общее количество очагов;
• минимальный размер очага (см).

Дополнительно разработан кодификатор минимального размера очага:

1 – ≤1 см;

2 – 2–4 см;

3 – ≥5 см;

• максимальный размер очага (см).

Дополнительно разработан кодификатор максимального размера очага:

1 – ≤5 см;

2 – 6-10 см;

3 – 11-15 см;

4 – >15 см;

• наличие/отсутствие сливных очагов;
• наличие/отсутствие очагов <0.8 см;
• уровень опухолевых маркеров (альфа-фетопротеин (АФП); раковоэмбриональный антиген (РЭА); СА 19,9; хромогранин А; серотонин; СА 15,3; СА 125; СА 72,4; SCC).

Дополнительно разработан кодификатор уровня опухолевых маркеров, где на основании заданных интервалов были выделены несколько групп;

распределение очагов по целевым классам:

• ДНО (гемангиома, киста, фокальная нодулярная гиперплазия (ФНГ));
• ЗНО (ГЦР, ХЦР, метастаз (мтс));
• ПРОЧЕЕ (абсцесс, билома, гематома, паразитарная киста, билиарная опухоль (кроме ХЦР), аденома, гепатобластома, НЭО первичная, опухоль жировой ткани и миофибробластические опухоли (липома, ангиолипома, солитарные фиброзные опухоли (СФО) и пр.); опухоль неопределенной дифференцировки (ПЭКома, саркома, ангиомиолипома (АМЛ)); сосудистые опухоли, кроме гемангиом (ангиосаркома, саркома Капоши, лимфангиома); зона абляции; зоны лучевой терапии (ЛТ); тромбоз неопухолевый; тромбоз опухолевый);
• НОРМА (печень без патологических очагов);

характеристика паренхимы печени (норма; стеатоз; гемохроматоз; цирроз (регенераторные и диспластические узлы);

ФИО врача-рентгенолога, проводящего разметку (аннотатора), статус разметки и комментарии;

ФИО эксперта, статус проверки и комментарии, в т.ч. указание на наличие брака при аннотации данных.

Разработанный нами реестр данных позволяет контролировать качество собранных, структурированных и стандартизированных данных, может использоваться для получения информации в ходе подготовки различной документации (например, отчетов, публикаций и др.), для создания сопроводительного текстового файла (readme-файла) и, в целом, является инструментом управления всеми процессами, связанными с НД.

НД был разделен на три выборки – тренировочную, тестовую и валидационную – в соотношении 80% (1600 аннотированных МР-исследований) – 10% (200 аннотированных МР-исследований) – 10% (200 аннотированных МР-исследований) соответственно.

В рамках первого этапа работы подготовленный нами первичный структурированный НД, предназначенный для тренировки (обучения) модели ИИ, включил в себя 500 из 1600 МР-исследований пациентов, среди которых: 81 МР-исследование – без патологических очагов в печени и 419 МР-исследований – с ООП различного генеза (как злокачественными, так и доброкачественными). Детальная характеристика пациентов, включенных в исследование, представлена в таблице 1.

Чрезвычайно важными при структурировании набора данных являются:

• стандартизация данных (приведение данных к единому формату, например, стандартные коды основного клинического диагноза в соответствии с МКБ-10);
• анализ качества и полноты (проверка НД на предмет наличия пропусков, дубликатов, противоречий или «шума»);
• обогащение данных (добавление производных признаков, которые могут быть полезны для ИИ, например, расчет объема опухоли на основе разметки).

Следует подчеркнуть, что формирование стандартизированного, высококачественного и обогащенного НД возможно только благодаря привлечению к работе компетентных и высококвалифицированных медицинских специалистов, обладающих высоким уровнем теоретической подготовки, практических навыков, а также опытом создания эталонных НД. Создание НД такого уровня напрямую влияет на качество обучения ИИ [23].

Структурированный НД является информацией закрытого типа, т.к. может содержать персональные данные пациентов, что не позволяет применять его в коммерческих или исследовательских целях. Для получения возможности широкого использования НД проводится анонимизация НД [26–27].

Анонимизация НД. При подготовке НД использовались данные пациентов, которым оказаны медицинские услуги. Перед получением медицинских услуг все пациенты были проинформированы о том, что их данные могут быть использованы для подготовки НД, и подписали информированное добровольное согласие.

Информационная безопасность и защита персональных данных являются критически важными аспектами при работе с медицинскими данными. Медицинские исследования могут содержать: личные данные пациентов, личные данные медицинского персонала (данные о врачах, выдавших заключения МР-исследований, или медицинских работниках, проводящих МР-исследования), информацию о медицинской организации, где выполнено исследование, и другие сведения. Для обеспечения конфиденциальности все персональные данные, содержащиеся в НД, должны быть обезличены (удалены или анонимизированы) [23, 29].

Методические рекомендации по применению приказа Роскомнадзора от 5 сентября 2013 года № 996 «Об утверждении требований и методов по обезличиванию персональных данных» определяют процесс «обезличивание персональных данных» как действия, в результате которых становится невозможным без использования дополнительной информации определить принадлежность персональных данных конкретному субъекту персональных данных [30].

DICOM-файл медицинского исследования – объектно-ориентированный файл с теговой организацией для представления кадра изображения (или серии кадров), а также сопровождающей или управляющей информации в виде DICOM-тегов.

Существуют различные варианты анонимизации DICOM-изображений [31]. Возможно осуществление как полной анонимизации персональных данных выбранных исследований, так и анонимизации с сохранением ограниченного набора DICOM-тегов, данные которых могут быть необходимы для анализа исследований ПО с ИИ, что не нарушает законодательства в области защиты и конфиденциальности данных.

Анонимизацию следует выполнять с сохранением исходного разрешения и качества изображений, чтобы не терять диагностически значимую информацию.

Задача анонимизации DICOM-файлов актуальна для многих исследовательских и научных групп, создающих наборы медицинских данных. По этой причине в свободном доступе имеются отдельные алгоритмы или ПО для решения данной задачи. Мы в своей работе использовали специализированное приложение (.exe) Dicom Anonym Application, версия 1.0.0.0. На рис. 1 представлен пример анонимизации данных с помощью приложения Dicom Anonym Application.

Достоинствами данного приложения являются открытый программный код и простота пользования для небольших объемов данных.

После сохранения анонимизированных DICOM-исследований, теги которых, содержащие личную информацию, были обезличены, медицинский персонал, задействованный в подготовке НД, приступал к четвертому этапу – аннотации данных.

Аннотация данных. Под аннотацией данных понимается этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фотои видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием систем ИИ.

К основным видам аннотации изображений относят классификацию (общий анализ), детекцию (ограничение целевых областей прямоугольниками) и сегментацию (выделение целевых областей попиксельной маской) изображений. В рамках нашего исследования осуществляли сегментацию МР-изображений, как наиболее точный и наилучший вид аннотации с точки зрения последующего обучения ИИ.

Перед началом работы была создана шкала цветов для аннотации МР-изображений, где каждому целевому классу патологии присвоен определенный цвет. Шкала цветов для аннотации МР-изображений представлена на рисунке 2, примеры аннотации МР-изображений в соответствии с данной шкалой из эталонного НД представлены на рисунках 3.1 и 3.2.

Согласно ГОСТ ISO 13485-2017 («Межгосударственный стандарт. Изделия медицинские. Системы менеджмента качества. Требования для целей регулирования»), персонал, осуществляющий деятельность, влияющую на качество подготовки НД, должен быть компетентным, иметь соответствующее образование, подготовку, навыки и опыт [32].

К сегментации МР-изображений допускались медицинские специалисты со стажем работы врачом-рентгенологом не менее одного года, имеющие опыт разметки анатомических структур и патологических очагов в печени ручным и полуавтоматическим методами в специализированных ПО. В экспертную группу должны были входить специалисты со стажем работы в должности врача-рентгенолога более 10 лет и имеющие большой опыт работы с определенным типом НД.

Медицинский персонал, принимающий участие в аннотации данных, мог быть отобран по результатам предварительного тестирования. Также учитывалось наличие конфликтов интересов, которые могли стать существенным препятствием для получения объективного суждения. В результате отбора в мультидисциплинарную команду вошли девять аннотаторов и один эксперт.

До начала разметки всем аннотаторам была выдана пошаговая инструкция по аннотированию цифровых диагностических изображений (ЦДИ), содержащая основные принципы аннотации паренхимы печени и ООП и наглядно иллюстрированная конкретными примерами корректной сегментации. На наш взгляд, такой формат способствует унификации подхода между аннотаторами и формированию качественных НД для последующего анализа и обучения моделей ИИ.

После инструктажа перед допуском к работе проводилось тестирование аннотаторов. После успешного прохождения предварительного тестирования аннотатор допускался к работе.

В зависимости от уровня сложности сегментации, в работе применялись два сценария:

• паренхима печени/патологические очаги в печени первоначально сегментировались аннотатором, после чего эксперт проверял и, при необходимости, корректировал аннотацию;
• в спорных или сложных случаях к работе привлекались два аннотатора. Финальная разметка определялась по объединению контуров или их пересечению. Далее подключался эксперт, осуществляющий валидацию, при необходимости – корректировку контуров.

Для аннотации ЦДИ при создании НД необходимым элементом служит ПО. При выборе ПО для своей работы проведен обзор возможностей и сравнительный анализ функциональности наиболее распространенного доступного бесплатного ПО для аннотации ЦДИ. Произведено сравнение минимальной (базовой) функциональности ПО для аннотации ЦДИ: общие характеристики, поддерживаемые форматы; загрузка, представление и сохранение исходных изображений и данных аннотации; возможности визуализации медицинских изображений; инструменты для ручной сегментации и дополнительные возможности корректировки областей сегментации, а также инструменты полуавтоматической и автоматической сегментации. Оценка функциональности ПО проведена на основе официальной сопроводительной документации, данных мировой литературы [33], а также в рамках собственных исследований при сегментации медицинских изображений врачами-рентгенологами в процессе других НИР ФГБУ «НМИЦ онкологии им. Н.Н.Блохина» Мин здрава России («Исследование и разработка методов интеллектуального анализа изображений для повышения качества рентгенологической диагностики ЗНО в почках», «Исследование и разработка методов интеллектуального анализа компрессионных рентгеновских изображений молочных желез (маммограмм), «Исследование и разработка методов интеллектуального анализа изображений для повышения качества рентгенологической диагностики ЗНО в яичниках»).

В результате обзора функциональности и тестирования ПО врачами-рентгенологами и техническими специалистами были сформированы требования к базовой функциональности ПО для аннотации ЦДИ:

Общие характеристики:

• наличие открытого исходного кода (open source);
• легкая установка;
• возможность установки ПО на локальных серверах;
• возможность работать на разных операционных системах (Windows, Linux, macOS);
• удобство использования графического интерфейса пользователя;
• возможность распределенной работы нескольких экспертов над одним НД;
• возможность формирования задач эксперту, отслеживания статуса готовности;
• возможность расширения функциональности ПО и добавления новых пользовательских модулей.

Загрузка и сохранение файлов. Поддерживаемые форматы:

• поддержка основных форматов обрабатываемых исходных медицинских изображений и форматов областей сегментации;
• возможность загрузки иерархической структуры папок DICOM (с отображением, какие сегментации относятся к каким исходным изображениям), загрузки нескольких файлов с сегментациями и исходными изображениями, одновременной работы с несколькими сегментациями для одного изображения;
• возможность выборочно сохранять произвольные наборы исходных изображений и областей сегментации;
• возможность просматривать теги DICOM;
• сохранение векторных данных при ручной разметке полилиниями, полигонами и другими фигурами и возможность их дальнейшего изменения.

Возможности визуализации медицинских изображений:

• наличие 3D-визуализации исходного медицинского изображения и области сегментации;
• разнообразие вариантов расположения окон просмотра;
• возможность изменять направления осей проекции;
• возможность управления контрастом (по выбираемой области, на основе гистограммы интенсивности);
• отображение номера среза, позиции курсора;
• наличие крестового курсора для отображения позиции на всех проекциях, что делает возможным просматривать и синхронизировать несколько серий изображений одновременно.

Инструменты ручной сегментации и дополнительные возможности корректировки сформированной области сегментации:

• стандартные ручные инструменты, наличие ручных инструментов редактирования области сегментации в 3D-окне (например, инструмент «Ножницы», позволяющий вырезать подпространства, ограниченные цилиндрической поверхностью, в срезах и в 3D-окне);
• логические операции со слоями сегментаций;
• возможность отмены последнего действия;
• определение диапазона интенсивностей по области;
• работа с областью сегментации как с графом (выделение главной компоненты, удаление компонент определенного размера, выделение/удаление выбранной компоненты);
• сглаживание границ различными методами (заливка полостей, удаление выпуклостей и др.);
• расширение/сужение области сегментации на определенную величину.

Инструменты полуавтоматической сегментации:

методы, выделенные аннотаторами как наиболее эффективные при тестовой сегментации:

• метод на основе интерполяции областей сегментации между срезами (Fill between slices), позволяет задать области сегментации в нескольких срезах и интерполировать эти области в неразмеченных срезах, что дает возможность в несколько раз ускорить разметку по сравнению с ручными методами. Методы интерполяции хорошо работают в разметке структур, форма которых не сильно варьирует от среза к срезу;
• метод «выращивания областей» (Grow From Seeds) – интерактивный алгоритм на основе клеточных автоматов. Начальным областям сегментации присваиваются классы сегментации, затем классы итеративно распространяются на другие вокселы. Каждый воксел обладает силой и может быть «завоеван» соседними вокселами. Класс воксела может смениться на другой, если сила атаки, зависящая от силы соседних вокселов и разности его свойств и свойств «соседей», больше, чем его собственная сила;
• метод «отсечения поверхностью» (Surface Cut), аппроксимирует размечаемые структуры выпуклой поверхностью. Может быть применен в том случае, когда соседние с целевой структурой ткани обладают сходной интенсивностью. Метод позволяет грубо отделить целевую структуру от окружающих тканей;
• Thresholds;
• Region Growing 2D;
• Intelligent Scissors;
• RITM Interactive.

Инструменты автоматической сегментации:

• готовые модули (расширения) для автоматической сегментации. Большинство модулей являются моделями глубокого обучения и связаны с сегментацией различных органов (например, печени) по МР-изображениям [33].

В результате проведенного сравнительного анализа функциональности наиболее распространенного доступного бесплатного ПО для аннотации ЦДИ нами было выбрано ПО «3D Slicer» – программный модульный продукт c открытым исходным кодом широкого профиля, позволяющий обрабатывать многомерные изображения и обладающий наиболее обширным функционалом по сравнению с другими программными продуктами в области сегментации, регистрации, фильтрации и других областях обработки медицинских изображений. При необходимости он может быть дополнен инструментами полуавтоматической сегментации из другого ПО (MITK, ITK-SNAP) [24, 33].

На сегодняшний день существует два способа разметки: в 2Dи 3Dрежимах. 2D-разметка – выделение наибольшей зоны интереса на аксиальном срезе, соответствующем наибольшей площади образования. Данная разметка может быть получена в результате мануального субъективного подбора подходящего среза врачами-рентгенологами и применением инструмента “Brush” в формате 2D. 3D-разметка – выделение наибольшей зоны интереса (все пиксели, отнесенные аннотаторами к патологической структуре) на каждом аксиальном срезе последовательно или аналогичная методология с применением более продвинутых инструментов разметки (функции “Fill between Slice”, “Sphere Brush” и другие), предоставляющая возможность получить результат, идентичный разметке при применении ранее описанной технологии.

Известно, что радиомическая модель, построенная на текстурных признаках, извлеченных при 3D-сегментации, обладает значительно более высокими дискриминативными способностями, даже в сложной задаче многоклассовой классификации, по сравнению с моделью, основанной на данных 2D-сегментации. Выявленное преимущество обусловлено тем, что 3D-сегментация оценивает пространственную гетерогенность и морфологическую сложность опухоли более эффективно, нежели 2D-сегментация, что, в свою очередь, благодаря извлечению большего количества уникальных значимых признаков, улучшает точность текстурного анализа. В конечном итоге это приводит к получению более полноценной информации о структуре новообразования для моделей МО. Именно поэтому нами была выбрана 3D-сегментация, как наиболее предпочтительный способ для последующего проведения радиомического анализа.

В настоящее время известно несколько методов сегментации зоны интереса: ручной, полуавтоматический и автоматический [1]. Самым первым и наиболее часто применяемым является ручной метод. Он выполняется непосредственно аннотатором с использованием специального ПО. Границы печени на каждом срезе обводят вручную, проявляя при этом повышенную внимательность и скрупулезность. Аналогичным образом осуществляют идентификацию очаговых ново образований. Преимуществами ручного способа сегментации являются: независимость от артефактов на изображениях, применимость при значительных объемах поражения или диффузных процессах в печени, возможность корректировки под конкретную клиническую задачу. Основным недостатком ручного способа сегментации является наличие субъективного фактора – врача-рентгенолога, выполняющего сегментацию, в т.ч. в плане вероятности ошибок. Вариабельность аннотации при ручном методе максимальная, поскольку зависит от индивидуального подхода каждого специалиста. Повысить точность данного метода возможно за счет сегментации одной области интереса разными специалистами или многократная разметка одной зоны интереса одним специалистом, что значительно увеличивает воспроизводимость, но, в свою очередь, является время- и трудозатратным.

Полуавтоматические методы сегментации (по интенсивности, разрезанию графа) являются комбинированными и предполагают участие как аннотатора, так и применение компьютерных алгоритмов. Аннотатор осуществляет ввод ключевых точек или маркировку зон интереса на полученных сканах, а благодаря компьютерным алгоритмам происходит автоматическая обработка на основании анализа пикселей. После автоматической обработки при помощи алгоритмов аннотатор нередко прибегает к коррекции допущенных ошибок, после чего возможна визуализация и экспорт полученной 3D-модели. Недостатками полуавтоматических методов сегментации с их алгоритмами являются высокая чувствительность к качеству изображения, пороговым настройкам, наличию шумов и артефактов. Кроме того, применение способа ограничено при значительных изменениях в печени, занимающих большой объем.

Автоматические методы сегментации предполагают выделение границ органа, патологических очагов на основе компьютерных алгоритмов без участия человека и основаны на технологиях МО, компьютерного зрения и ИИ. Недостатками автоматических способов сегментации на текущий момент, в зависимости от применяемой технологии, могут быть: высокая вычислительная сложность и, соответственно, стоимость, что, в свою очередь, требует значительного количества ресурсов, длительное время обучения, многообразие структур сети, высокие требования к оборудованию, склонность к переобучению на небольшом количестве данных и многие другие.

В нашем исследовании применялись ручной (большинством аннотаторов) и полуавтоматический методы. Разметка изображений в ручном режиме представляет собой чрезвычайно трудоемкий процесс и занимает длительное время. Так, например, на одну 3D-сегментацию паренхимы печени на 5 МР-последовательностях аннотаторами затрачивалось 5–7 часов в зависимости от размеров печени (количества срезов) и наличия артефактов. Пример 3D-сегментации паренхимы печени из эталонного НД (после проверки экспертом-рентгенологом) представлен на рис. 4.

Высокая трудоемкость 3D-сегментации требует дальнейшего развития полуавтоматических и автоматических программ для аннотации, а также поиска новых решений в этой области.

Независимо от способа и метода сегментации, на ее качество оказывают влияние множество исходных параметров, среди которых: качество входных данных (МР-изображений), артефакты от движения, сердцебиения, пульсации сосудов, перистальтики кишечника, локализация патологического новообразования, уровень квалификации и практический опыт врача-рентгенолога, затраченное время и др. При этом главным фактором, влияющим на качество сегментации, по нашему опыту, является разработка и последующее соблюдение методологии сегментации. Однако, несмотря на это, нередко возникают ошибки сегментации.

Основными ошибками в нашем исследовании, допущенными аннотаторами, являлись:

1. Недостаточная сегментация паренхимы печени (невключение в маску паренхимы печени всех ее сегментов) (рис. 5 и 6).

 

Возможные причины:

отсутствие редактирования аннотатором ошибок, допущенных после применения автоматических компьютерных алгоритмов при использовании полуавтоматического метода сегментации (рис. 5);

сложности визуализации четких границ рядом расположенных анатомических структур (границ паренхимы печени и сердца) (рис. 6) [35];

2. Недостаточная сегментация паренхимы печени (пропуск маски паренхимы печени на одном из МР-срезов).

Возможные причины: невнимательность при ручном методе сегментации либо отсутствие редактирования аннотатором ошибок, допущенных после применения автоматических компьютерных алгоритмов при использовании полуавтоматического метода сегментации (метода на основе интерполяции областей сегментации между срезами (Fill between slices)) (рис. 7);

3. Избыточная сегментация паренхимы печени (выход контура за пределы анатомических границ печени и включение в маску паренхимы печени участков окружающих органов и тканей). Возможная причина: отсутствие редактирования аннотатором ошибок, допущенных после применения автоматических компьютерных алгоритмов при использовании полуавтоматического метода сегментации (рис. 8);
4. Неровность контуров при создании маски паренхимы печени.

Возможная причина – отсутствие редактирования аннотатором допущенных ошибок после применения автоматических компьютерных алгоритмов при использовании полуавтоматического метода сегментации (рис. 9);

5. Ошибочная визуализация на МР-томограммах патологических очагов в печени и невключение в сегментацию большей части из них, относящихся к одному целевому классу патологии – мтс. Возможная причина – невнимательность при ручном методе сегментации (рис. 10);
6. Недостаточная сегментация патологических очагов в печени (пропуск маски гемангиомы в печени на одном из МР-срезов).

Возможные причины – недостаточный опыт визуализации патологических очагов в печени либо невнимательность при ручном методе сегментации (рис. 11);

7. Избыточная сегментация патологических очагов в печени (выход контура за пределы визуализационных границ мтс в печени и включение в маску очага участков нормальной паренхимы печени).

Возможная причина: недостаточный опыт визуализации патологических очагов в печени (рис. 12);

8. Ошибочный выбор на МР-томограммах патологических очагов в печени для сегментации. Возможная причина: недостаточный опыт визуализации патологических очагов в печени (рис. 13);
9. Отсутствие маски артефакта (на границе паренхимы печени и сердца).

Возможные причины: недостаточный опыт визуализации анатомических структур на МР-изображениях либо стремление аннотатора увеличить свои временные ресурсы (рис. 14);

10. Избыточное наложение маски артефактов (создание маски артефактов на тех участках, где артефактов нет).

Возможная причина: недостаточный опыт визуализации анатомических структур на МР-изображениях (рис. 15);

Все вышеуказанные ошибки были визуализированы и скорректированы на этапе проверки аннотаций экспертом.

Формирование файлов данных и аннотации. Под формированием файлов данных и аннотации понимается размещение анонимизированных и аннотированных файлов медицинских исследований (в нашем случае включавших 5 МР-последовательностей (Т1, Т2, DWI, AF, RF)) по папкам. Каждой папке присваивалось имя, соответствующее уникальному идентификатору медицинского исследования (рис. 16).

По окончании формирования файлов данных и аннотации формировался сопроводительный текстовый файл (readme-файл).

На основании разработанных нами методологических подходов был создан алгоритм контроля качества набора медицинских данных, используемого при создании ПО на основе технологий ИИ для диагностики новообразований печени, представленный на рис. 17.

Таким образом, наше исследование ярко демонстрирует, что формирование тщательно собранного, структурированного и качественно аннотированного набора медицинских данных, используемого при создании ПО на основе технологий ИИ, является сложной задачей. Большое количество этапов при формировании НД делает процесс его создания трудоемким и ресурсозатратным. Это приводит к некоторому замедлению процесса разработки и внедрения новых ИИ-решений. Для преодоления этого ограничения критически важной задачей является автоматизация процесса формирования НД. Разработка платформы, которая объединит, стандартизирует и автоматизирует все процессы формирования и использования НД, позволит повысить их качество, что, в свою очередь, будет способствовать непрерывному совершенствованию ПО на основе технологий ИИ. В последние годы в нашей стране уже начата работа в этом направлении. Так, например, Васильеву Ю.А. и соавт. [34–35] удалось разработать комплексную автоматизированную платформу для формирования НД в области лучевой диагностики. Разработанная платформа содержит модули, позволяющие исследователю самостоятельно, без помощи специалистов по работе с данными и без дополнительного программирования, осуществить все этапы формирования набора медицинских данных: создание ТЗ, поиск, отбор, выгрузку и анонимизацию исследований, просмотр и аннотацию изображений, последующее формирование результирующих и аннотирующих файлов, а также внесение сопутствующей информации о НД и создание readme-файла. Необходимо дальнейшее совершенствование платформы: расширение функционала модулей, в т.ч. модуля контроля качества данных (на момент публикации статьи данный модуль разработан только для рентгенографии органов грудной клетки), создание на ее основе обучающей платформы по созданию НД.

Conclusion.

Несмотря на попытки внедрения в повседневную практику автоматизированных платформ для формирования НД в области лучевой диагностики, чрезвычайно важным остается привлечение к работе компетентных и высококвалифицированных медицинских специалистов, обладающих высоким уровнем теоретической подготовки, практических навыков и опытом создания НД. Существует необходимость дальнейшей разработки и усовершенствования методологических подходов и алгоритмов контроля качества набора медицинских данных, используемого при создании ПО на основе технологий ИИ, разработки четких стандартов и нормативов, а также междисциплинарного сотрудничества медицинского сообщества для создания единой базы данных, ведь это может значительно улучшить воспроизводимость результатов диагностических моделей, сделать их простым, эффективным и доступным методом скрининга и современным вспомогательным инструментом для врачей-рентгенологов. Разработанные нами методологические подходы и созданный алгоритм контроля качества набора медицинских данных служат важными этапами на пути к созданию единой унифицированной методологии формирования НД и контроля его качества для развития ПО на основе технологий ИИ для диагностики новообразований печени.

1. Даренская А.Д., Медведева Б.М., Геворкян Т.Г. и др. Текстурный анализ МР-изображений в диагностике гепатоцеллюлярного рака, реалии и перспективы (обзор литературы). Вопросы онкологии. 2025; 71(6): 1461–1476. – DOI: 10.37469/0507-3758-2025-71-6-OF-2405.
2. Шантаревич М.Ю., Кармазановский Г.Г. Применение текстурного анализа КТ и МР-изображений для определения степени дифференцировки гепатоцеллюлярного рака и его дифференциальной диагностики: обзор литературы. Исследования и практика в медицине. 2022; 9(3): 129–144. – DOI: https://doi.org/10.17709/2410-1893-2022-9-3-10. – URL: https://www.rpmj.ru/rpmj/article/view/783/501.
3. Geng Z., Zhang Y., Wang S. et al. Radiomics analysis of susceptibility weighted imaging for hepatocellular carcinoma: exploring the correlation between histopathology and radiomics features. Magn Reson Med Sci. 2021; 20(3): 253–263. – DOI: https://doi.org/10.2463/mrms.mp.2020-0060.
4. Chen W., DelProposto Z., Liu W. et al. Susceptibility-weighted imaging for the noncontrast evaluation of hepatocellular carcinoma: a prospective study with histopathologic correlation. PLoS One. 2014; 9(5): e98303. – DOI: https://doi. org/10.1371/journal.pone.0098303.
5. Yang S., Lin J., Lu F. et al. Use of ultrasmall superparamagnetic iron oxide enhanced susceptibility weighted imaging and mean vessel density imaging to monitor antiangiogenic effects of sorafenib on experimental hepatocellular carcinoma. Contrast Media Mol Imaging. 2017; 2017: 9265098. – DOI: https://doi.org/10.1155/2017/9265098.
6. Zhou W., Zhang L., Wang K. et al. Malignancy characterization of hepatocellular carcinomas based on texture analysis of contrastenhanced MR images. J Magn Reson Imaging. 2017; 45(5): 1476–1484. – DOI: https://doi.org/10.1002/ jmri.25454.
7. Feng M., Zhang M., Liu Y. et al. Texture analysis of MR images to identify the differentiated degree in hepatocellular carcinoma: a retrospective study. BMC Cancer. 2020; 20(1): 611. – DOI: https://doi.org/10.1186/s12885-020-07094-8.
8. Wu M., Tan H., Gao F. et al. Predicting the grade of hepatocellular carcinoma based on non-contrast-enhanced MRI radiomics signature. Eur Radiol. 2019; 29(6): 2802–2811. – DOI: https://doi.org/10.1007/s00330-018-5787-2.
9. Yang X., Yuan C., Zhang Y., Wang Z. Magnetic resonance radiomics signatures for predicting poorly differentiated hepatocellular carcinoma: A SQUIRE-compliant study. Medicine (Baltimore). 2021; 100(19): e25838. – DOI: https://doi.org/10.1097/MD.0000000000025838.
10. Mao B., Zhang L., Ning P. et al. Preoperative prediction for pathological grade of hepatocellular carcinoma via machine learning-based radiomics. Eur Radiol. 2020; 30(12): 6924–6932. – DOI: https://doi.org/10.1007/s00330-020-07056-5.
11. Zhong X., Tang H., Lu B. et al. Differentiation of small hepatocellular carcinoma from dysplastic nodules in cirrhotic liver: Texture analysis based on MRI improved performance in comparison over gadoxetic acid-enhanced MR and diffusionweighted imaging. Front Oncol. 2020; 9: 1382. – DOI: https://doi.org/10.3389/fonc.2019.01382.
12. Zhong X., Guan T., Tang D. et al. Differentiation of small ( 3 cm) hepatocellular carcinomas from benign nodules in cirrhotic liver: the added additive value of MRI-based radiomics analysis to LI-RADS version 2018 algorithm. BMC Gastroenterol. 2021; 21(1): 155. – DOI: https://doi. org/10.1186/s12876-021-01710-y.
13. Stocker D., Marquez H.P., Wagner M.W. et al. MRI texture analysis for differentiation of malignant and benign hepatocellular tumors in the non-cirrhotic liver. Heliyon. 2018; 4(11): e00987. – DOI: https://doi.org/10.1016/j.heliyon.2018.e00987.
14. Wu J., Liu A., Cui J. et al. Radiomics-based classification of hepatocellular carcinoma and hepatic haemangioma on precontrast magnetic resonance images. BMC Med Imaging. 2019; 19(1): 23. – DOI: https://doi.org/10.1186/s12880-019-0321-9.
15. Oyama A., Hiraoka Y., Obayashi I. et al. Hepatic tumor classification using texture and topology analysis of non-contrastenhanced three-dimensional T1-weighted MR images with a radiomics approach. Sci Rep. 2019; 9(1): 8764. – DOI: https://doi.org/10.1038/s41598-019-45283-z.
16. Li Z., Mao Y., Huang W. et al. Texture-based classification of different single liver lesion based on SPAIR T2W MRI images. BMC Med Imaging. 2017; 17(1): 42. – DOI: https:// doi.org/10.1186/s12880-017-0212-x.
17. Liu X., Khalvati F., Namdar K. et al. Can machine learning radiomics provide pre-operative differentiation of combined hepatocellular cholangiocarcinoma from hepatocellular carcinoma and cholangiocarcinoma to inform optimal treatment planning? Eur Radiol. 2021; 31(1): 244–255. – DOI: https://doi.org/10.1007/s00330-020-07119-7.
18. Chong H.H., Yang L., Sheng R.F. et al. Multi-scale and multiparametric radiomics of gadoxetate disodium-enhanced MRI predicts microvascular invasion and outcome in patients with solitary hepatocellular carcinoma  5 cm. Eur Radiol. 2021; 31(7): 4824–4838. – DOI: https://doi.org/10.1007/ s00330-020-07601-2.
19. Meng X.P., Wang Y.C., Zhou J.Y. et al. Comparison of MRI and CT for the prediction of microvascular invasion in solitary hepatocellular carcinoma based on a non-radiomics and radiomics method: Which imaging modality is better? J Magn Reson Imaging. 2021; 54(2): 526–536. – DOI: https://doi. org/10.1002/jmri.27575.
20. Wen L., Weng S., Yan C. et al. A Radiomics Nomogram for Preoperative Prediction of Early Recurrence of Small Hepatocellular Carcinoma After Surgical Resection or Radiofrequency Ablation. Front Oncol. 2021; 11: 657039. – DOI: 10.3389/fonc.2021.657039.
21. Hectors S.J., Lewis S., Besa C. et al. MRI radiomics features predict immuno-oncological characteristics of hepatocellular carcinoma. Eur Radiol. 2020; 30(7): 3759–3769. – DOI: https://doi.org/10.1007/s00330-020-06675-2.
22. Kierans A.S., Fowler K.J., Chernyak V. LI-RADS in 2024: recent updates, planned refinements, and future directions. Abdom Radiol (NY). 2025; 50(7): 2868–80. – DOI: 10.1007/s00261-024-04730-w.
23. Бобровская Т.М., Васильев Ю.А., Никитин Н.Ю., Арзамасов К.М. Подходы к формированию наборов данных в лучевой диагностике. Врач и информационные технологии. 2023; Т. 4: С. 14–23. doi: 10.25881/18110193_2023_4_14.
24. Fedorov A., Beichel R., Kalpathy-Cramer J. et al. 3D Slicer as an image computing platform for the Quantitative Imaging Network. Magn Reson Imaging. 2012; 30(9): 1323–41. – DOI: https://doi.org/10.1016/j.mri.2012.05.001.
25. Указ Президента Российской Федерации от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации». Доступно по: http://publication.pravo.gov.ru/Document/View/0001201910110003?ysclid=lxn0rlnc8853657612&index=1. Ссылка действительна на 22.04.2026.
26. Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта: учеб-метод. пособие / Ю.А. Васильев, К.М. Арзамасов, А.В. Владзимирский [ и др.]. – Москва, 2023. – С.131.
27. Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта: учеб- метод. пособие / Ю.А. Васильев, К.М. Арзамасов, А.В. Владзимирский [ и др.]. – Москва, 2024. – С.140.