Больше данных — не всегда точнее: проверена надежность медицинского ИИ

Группа учёных Пермского университета провела исследование о том, как синтетические изображения влияют на точность медицинского искусственного интеллекта. Оказалось, что искусственное увеличение набора данных не гарантирует улучшения — результат зависит от архитектуры нейросети, состава исходных изображений и способа их преобразования.

Исследование провели Марина Барулина, Сергей Окунков и Иван Улитин из Физико-математического института ПГНИУ и Института проблем точной механики и управления РАН. Авторы проверили популярное представление о том, что чем больше разнообразных примеров увидит нейросеть во время обучения, тем надёжнее она будет работать.

Один из распространённых способов расширить обучающий набор — немного повернуть, обрезать или отразить исходную фотографию, изменить её яркость, контрастность или цветовой баланс. Для ИИ результат становится дополнительным примером.

Для эксперимента использовали два открытых набора данных. Первый включал 20 971 фотографию ног, распределённую по семи классам международной системы CEAP, применяемой для описания хронических заболеваний вен. Второй состоял из 6786 дерматологических изображений восьми категорий.

Исследователи сравнили 12 архитектур нейросетей, включая классические свёрточные модели и трансформеры. Объём обучающих данных увеличивали на разных уровнях — от 0 до 100%. Каждую конфигурацию запускали по 20 раз, чтобы оценить не только среднюю точность, но и устойчивость результата. Всего было проведено 5280 обучений.

Эксперимент не подтвердил, что увеличение количества изображений одинаково полезно для всех моделей. Добавление 10% данных повысило точность только у трёх из двенадцати нейросетей на основном наборе и у пяти из двенадцати — на втором. Для остальных моделей результат не изменился или ухудшился.

При максимальном расширении второго набора десять из двенадцати моделей показали точность на 1–5 процентных пунктов ниже исходной. Это не означает, что синтетические данные неэффективны сами по себе. Их польза зависит от архитектуры нейросети, состава исходного набора, способа преобразования изображений и особенностей задачи — иначе может вызвать искажения. В медицинских задачах это особенно важно: малозаметная деталь изображения может иметь диагностическое значение.

Статья опубликована в специальном выпуске Journal of Imaging, посвящённом искусственному интеллекту в медицинской визуализации.

Фото: ПГНИУ

Источник: Минобрнауки России