Проблема недоверия ИИ.
Недоверие решениям, принятым системами ИИ, может в общем случае возникать по следующим причинам:
- Неполнота обучающей выборки. Репрезентативная обучающая выборка – множество данных, описывающих все значимые характеристики генеральной совокупности и позволяющих обобщать на него результаты работы системы ИИ. Неполная обучающая выборка не отражает все основные характеристики генеральной совокупности, что негативно сказывается на качестве работы ИИ;
- Ошибки выбора архитектуры ИИ. Существуют различные типы архитектур ИИ, имеющих свои преимущества, недостатки и ограничения – неправильно выбранная архитектура может привести к различным проблемам в работе ИИ, например к неверным ответам на вопросы. Важно выбирать архитектуру, соответствующую кругу решаемых задач;
- Ошибки выбора параметров обучения. Такие параметры относятся к задаче выбора модели и режиму ее обучения. Например, для нейронной сети гиперпараметры включают топологию и размер нейронной сети, темп обучения и размер набора данных (batch size). Неправильно выбранные параметры обучения могут привести к различным проблемам, например к переобучению или недообучению модели, приводящих к неправильным ответам и деградации быстродействия системы ИИ;
- Наличие риска злонамеренных вставок в обучающей выборке. Речь идет о намеренном включении в обучающий набор ложных или вредоносных данных, которые после обучения придают системе ИИ незадокументированные свойства, а также могут привести к снижению точности или ухудшению производительности. Пример незадокументированных свойств – определенная классификация заданного образца текста, о которой знает только злоумышленник;
- Отсутствие доверенной среды обучения ИИ. Данная среда гарантированно исключает ложные или вредные вставки и позволяет получить более точные результаты и гарантированно высокое качество работы ИИ;
- Отсутствие доверенной среды исполнения ИИ. Данная среда обеспечивает безопасность и надежность применения ИИ для решения реальных задач. Она включает в себя программное обеспечение поддержки решения ИИ, а также инструменты для сбора, обработки и анализа данных, необходимых для создания отчетов с результатами оценки качества работы ИИ. Такая среда гарантирует, что данные, на которых работает ИИ, будут доверенными;
- Недостаточная прозрачность применения ИИ. Если система ИИ работает скрытно от пользователей, это может вызывать недоверие к качеству ее результатов;
- Проблемы безопасности. Если ИИ используется для обработки конфиденциальной информации, проблемы безопасности могут стать причиной недоверия со стороны пользователей.
Причина возникновения недоверия архитектуре ИИ – отсутствие библиотеки доверенных шаблонов архитектур ИИ. Недоверие обучающему корпусу может быть вызвано отсутствием библиотеки доверенных обучающих корпусов, а недоверие среде обучения и исполнения — отсутствием именно соответствующих доверенных сред. В статье Как повысить доверие к клиническим данным разбираются следствия такого недоверия, особенно на фоне отсутствия единой стандартизованной модели контроля качества медицинских записей.
Современные МИС не обеспечивают доверия медицинской информации, так как регулятор законодательно не определил и не требует наличия эффективной стандартизированной модели обеспечения надежности медицинских данных [статья]. Так же регулятор не требует обязательного подключения медицинского оборудования к МИС для автоматической регистрации данных, исключающей их искажение. В результате, в МИС не попадают сведения о контексте принимаемых врачебных решений и терапевтических действиях в отношении пациентов, а существующие медицинские записи недостаточно детализированы, чтобы исключить риски потери информации из-за ее искажения. В итоге, врачи не могут получить достаточно сведений из медицинских записей электронной медицинской карты пациента, а качество имеющихся с точки зрения полноты, актуальности, аутентичности, корректности и, в некоторых случаях, неизменности не гарантируется. Как следствие, не приходится говорить и о доверии системам ИИ.
Требуется модель доверия медицинской информации, определяющая критерии доверия и их реализацию на уровне информационной системы.
Фабрика данных реализует модель доверия медицинской информации, обеспечивая доверие каждой медицинской записи и созданным на их основе обучающим корпусам.