В эксперименте, опубликованном в PLOS Digital Health, врачи следовали ошибочным рекомендациям искусственного интеллекта, даже когда данные о лечении противоречили этим рекомендациям. Исследователи из Университета Страны Басков (Испания) под руководством Арансасу Виньяс провели два эксперимента с участием профессиональных врачей. Результат оказался тревожным: большинство медиков не заметили, что ИИ ошибался, и продолжали назначать лечение на основе его неверной классификации.
Как проходил эксперимент
Врачам предложили смоделированный сценарий: лечение редкого вымышленного заболевания экспериментальным препаратом. Система ИИ уже разделила пациентов на две группы - "высокочувствительные" и "низкочувствительные". Каждый врач последовательно принимал решения о назначении лечения для 60 вымышленных пациентов и сразу получал обратную связь об их состоянии.
Проблема: классификация ИИ была сфабрикована. В первом эксперименте лечение было умеренно эффективным и одинаково работало для обеих групп. Во втором - оно не давало никакого эффекта. Врачи должны были заметить это по данным о выздоровлении пациентов. Но большинство не заметили.
Результаты: врачи доверились алгоритму
В обоих экспериментах врачи в основном следовали указаниям ИИ. В первом эксперименте они назначали лечение "высокочувствительным" пациентам гораздо чаще, чем "низкочувствительным", и оценивали его как более эффективное для этой группы, хотя скорость выздоровления была одинаковой.
Во втором эксперименте картина оказалась еще более показательной: врачи снова следовали ошибочным меткам и не заметили, что лечение не работает. Большинство пришли к выводу, что бесполезное лечение помогло пациентам из "высокочувствительной" группы.
Почему врачи ошибались
Исследователи предлагают несколько объяснений:
· предвзятость автоматизации - привычка полагаться на машину, не перепроверяя;
· предвзятость подтверждения - бессознательное предпочтение того, что соответствует ожидаемому результату;
· иллюзия причинно-следственной связи - ошибочное принятие совпадения за причину и следствие.
Примечательно, что личное доверие или недоверие врачей к ИИ не повлияло на результат. Даже врачи, скептически настроенные к алгоритмам, следовали ошибочным меткам так же часто, как и их коллеги. Медицинское образование и опыт (в среднем 10-13 лет) не защитили от этой ловушки.
Ограничения исследования
Исследователи признают: сценарий был упрощен. Врачи не видели историй болезни, не было конкурирующих диагнозов - только диагноз ИИ и решение "да" или "нет". В реальной практике контекст шире, и более полная информация может помочь врачам противостоять ошибочным рекомендациям.
Однако авторы подчеркивают: обратная связь была прямой, данные о выздоровлении доступны, а правильный ответ содержался в них. И все равно метка ИИ победила.
В России ИИ в медицине активно внедряется. С 2020 года в Москве работает Центр диагностики на основе ИИ, где алгоритмы помогают анализировать лучевые исследования. В 2025 году Минздрав утвердил порядок использования ИИ в здравоохранении. Однако это исследование показывает, что даже в развитых системах (Испания, Европа) врачи подвержены предвзятости. Для России, где цифровизация здравоохранения идет активными темпами, это предупреждение о необходимости не просто внедрять ИИ, но и учить врачей критически оценивать его рекомендации.
Главный вывод
Исследование поднимает серьезный вопрос: "человеческий контроль" над ИИ в медицине может быть иллюзией. Если врачи не могут заметить ошибку даже в упрощенном эксперименте, что произойдет в реальной клинике? Авторы призывают не просто "вовлекать врача в процесс", а пересмотреть то, как информация от ИИ подается и как врачи могут осмысленно оспаривать систему.
