Невоспроизводимость, вымышленные выводы, непрозрачный след, неуправляемое дообучение, избыточное потребление ресурсов — недостатки нейросетей гасятся элементами архитектуры, а не игнорируются или запрещаются. Технический разбор платформы HealthOS.
Монитор в реанимации показывает: «синусовый ритм подтверждён». Спросите систему: почему? Откуда это правило? Кто утвердил его границы? Какая версия знания работала в момент инцидента? В типичной медицинской системе всей цепочки ответов нет.
Правило живёт одновременно в пяти местах. В коде анализатора. В настройках шлюза медоборудования. В таблице конфигурации. В документации. В памяти разработчиков. Каждая копия меняется по своим законам. Ни одна не является главной.
В такую систему отрасль предлагает добавить нейросети. Правило получает шестое место жительства — веса модели. Наименее прослеживаемое из всех. Недостатки ИИ ложатся поверх недостатков системы и умножают их.
Для интернет-магазина это дорогое неудобство. Для операционной или реанимации — дисквалификация: ошибка интерпретации непосредственно предшествует клиническому решению. Времени на перепроверку может не быть.
Ниже — разбор концепции платформы HealthOS с другим ответом. Клиническое знание существует как один управляемый объект. Всё исполняемое — его производная с криптографической привязкой. Нейросети работают на полную мощность — но каждый их недостаток упирается в архитектурный барьер. Не запрет и не доверие — дизайн. Статья описывает архитектуру платформы, а не клиническую эффективность.
Исходная болезнь: знание, растворённое в реализациях
Прежде чем говорить о недостатках моделей, назовём болезнь самой системы. Знание, растворённое в реализациях, порождает четыре воспроизводимых разрыва.
Разрыв происхождения. Правило возникло как строка кода. У строки кода нет клинической родословной.
Разрыв прослеживаемости. Поведение связано с версией программы. Версия программы не связана с версией знания. Вопрос «какое правило исполнялось в момент инцидента» остаётся без ответа.
Разрыв замыкания. Наблюдения врачей возвращаются в систему как правки кода или документации по устному сообщению. Реализация уточняется. Знание — нет. Различие между ними растёт с каждой правкой.
Разрыв расширяемости. Новый клинический домен приносит свои частные решения. Знание не переносится — оно переписывается заново.
Итог: каждая доработка увеличивает неопределённость системы. Система становится хуже от собственного развития. Нейросеть, добавленная в такую систему, наследует все четыре разрыва — и добавляет собственные недостатки.
Семь недостатков, которые не чинятся дообучением
У больших языковых моделей есть недостатки, не устранимые дообучением. Отметим семь — существенных для клиники:
- Невоспроизводимость. Тот же вход даёт разные выходы — или требует искусственных ограничений.
- Вымышленные выводы. Они возможны принципиально, а не как редкий сбой.
- Непрозрачный след. Объяснение заключения ведёт к весам без семантической структуры.
- Неуправляемое дообучение. Исправление одного ответа непредсказуемо меняет прочие.
- Генерация обгоняет проверку. Модели масштабируются, эксперты — нет.
- Каждая интеграция — новый канал влияния. Самодельный мост агента к инструменту — кандидат во второй источник истины.
- Избыточное потребление ресурсов. Стоимость оборудования и электроэнергии влияют на затраты эксплуатации и разработки.
Отрасль отвечает двумя способами. Первый — запрет: нейросетям в клинике не место. Второй — доверие: модель достаточно хороша, чтобы ошибаться редко. Оба ответа слабые. Запрет отказывается от масштаба чтения и структурирования текстов. Доверие превращает частоту ошибок модели в клинический риск.
Третий ответ — архитектура платформы. Разместите модель так, чтобы каждый недостаток упирался в архитектурный барьер. Дальше — устройство этих барьеров. В конце — сводная таблица «недостаток → барьер».
Фундамент: единый источник смысла и конвейер производных
Барьеры строятся на фундаменте из трёх обязательных признаков. Смысл закреплён в явном авторизованном источнике, а не в реализации. Объект становится операционным через управляемую компиляцию, а не ручное переписывание. Исполнение обязано порождать структурированные свидетельства, привязанные к источнику.
Теперь механика. Авторизованная семантика хранится в едином графе знаний (triple store). Стадии жизненного цикла разделены именованными графами: certify, execute, load. Внешние терминологии — LOINC, ICD-10, MONDO и другие — входят как RDF-проекции. Семантика организована послойно, от сигнала до клинической картины: signal, quality, waveform, morphology, rhythm, patterns, clinical. Каждый слой — производная проекция, не второй авторитет.
Конвейер производных устроен так:
Компилятор понижает авторизованный снимок в промежуточное представление (IR). Из него собирается исполняемый пакет (bundle). Дайджест пакета криптографически привязывает артефакт к версии снимка. Равенство дайджестов сверяют две независимые реализации — на Go и на Rust. Публикация пакета атомарна: потребитель видит либо старую версию целиком, либо новую.
Компиляция подчиняется принципу отказа в безопасную сторону (fail-closed). Машинно-значимая конструкция без управляемой строки отображения останавливает сборку. Пробел в знании не превращается молча в пропуск — он останавливает конвейер.
Владение разделено по слоям. Оболочка координирует процесс (Go). Семантическое ядро собирает смысл в правилах (Rust). Среда исполнения исполняет правила (C++). Ни один слой не подменяет другой в определении смысла.
Уточнение знания проходит тот же путь и замыкает цикл:
Любое наблюдение входит в цикл только как кандидат — «горячих правок» не существует. Дельта проходит те же рубежи, что исходное знание. Закрытие — управленческое решение человека, несущего ответственность.
Здесь гасится недостаток 4 — неуправляемое переобучение. Уточнение знания — не переобучение модели, а точечная дельта определения одного или группы правил. Дельта изменения проходит контрольные рубежи и подтверждается повторным прогоном на контрольных записях. Прочие определения проверяемо не затронуты.
Детерминированное ядро: барьер для невоспроизводимости и вымысла
Исполняемое знание работает как детерминированная библиотека. Её встраивают в прикладные сервисы — пакетный анализатор, потоковый контур. Ядро проверяет каталог в оперативной памяти и строит неизменяемый движок. Один нормализованный запрос исполняется в два такта: подготовленная запись, затем барьерная фиксация (staged write, barrier commit). Выход — ответ, детерминированное свидетельство и детерминированный хэш.
Рядом с вычислительным ядром работает ядро безопасности. Оно проверяет привязку, предусловия, применимость и границы модулей. Его решения дискретны: исполнить, пропустить, снизить режим, прервать, отказать в безопасную сторону (run, skip, degrade, abort, fail-closed).
Детерминизм — инженерное требование, а не пожелание. Порядок выводов и хэш ответа не зависят от времени. Не зависят от числа потоков. Не зависят от порядка обхода хэш-таблиц. Повторный прогон того же входа обязан дать тот же дайджест.
Границы владения жёсткие. Сервис владеет транспортом, декодированием, секретами и проверкой дайджеста. Библиотека владеет только исполнением в памяти. Семантический авторитет находится вне обоих — в авторизованном снимке.
Так гасятся недостатки 1 и 2. Невоспроизводимость не достигает пациента: у постели исполняется не модель, а детерминированный артефакт. Вымышленный вывод невозможен по построению: ядро исполняет только то, что скомпилировано из авторизованного снимка.
Родословная термина: барьер для непрозрачного следа
Как флаг на мониторе связан с определением кардиолога? Через три роли одного термина. Дескриптор-термин живёт в авторизованной семантике. Проекционный термин — в артефактах компилятора. Канонический флаг — в среде исполнения. У каждой роли — свой стабильный идентификатор и явные отношения с соседями.
Соединение ролей допускается только при совпадении дайджеста сборки — поля bundleDigest. Текстовое равенство имён ничего не доказывает. Совпадение дайджестов доказывает: флаг порождён именно этим снимком семантики.
Статусы соединения делают трассу диагностическим входом, а не автоматической починкой:
Пример — flag_sinus_rhythm. Анализатор вычислил флаг. Флаг разрешается в проекционный термин по дайджесту пакета. Проекционный термин ведёт к авторизованному дескриптору. Дескриптор несёт версию снимка, автора авторизации и историю уточнений. Четыре вопроса из начала статьи закрыты механикой, а не регламентом.
Так гасится недостаток 3. След заключения ведёт не к весам без структуры, а к дескриптору, автору и версии снимка.
Точное размещение: два звена вместо всего цикла
Платформа не борется с большими языковыми моделями. Она отводит им два звена цикла — сбор источников и разбор свидетельств. И получает от них больше, чем системы, доверившие моделям всё.
Причина проста. Сила моделей — масштаб чтения и структурирования текстов. Слабость — всё перечисленное выше. Разместите модель там, где каждый её выход проходит человеческую проверку, — и слабости обезврежены до входа в критический путь.
Инвариант платформы: агент — источник кандидатов, а не авторитета. Агент не пишет в граф знаний. Не «чинит» трассы. Не выдаёт команд у постели больного.
Здесь же гасится недостаток 5 — генерация, обгоняющая проверку. Если поток кандидатов превысит ёмкость рассмотрения, проверка выродится в формальность. Барьер разрушится не нарушением, а перегрузкой. Поэтому очередь кандидатов — управляемая метрика. Рост очереди сверх ёмкости — сигнал остановить генерацию, а не ускорить одобрение.
Есть и энергетический аргумент — модельная оценка, до стендового измерения. Непрерывный анализ одного пациента детерминированным ядром стоит ≈7 200 Дж на пациенто-час. Малая языковая модель — ≈117 000. Крупная — ≈768 600. Один–два порядка разницы решают судьбу круглосуточного мониторинга множества пациентов. Размещение моделей вне горячего пути — не только вопрос безопасности, но и вопрос энергетики.
Одна дверь для агентов: барьер для неконтролируемых интеграций
Инвариант «источник кандидатов, а не авторитета» нуждается в транспорте. Типовой ответ индустрии: каждому агенту — своя интеграция. Десять агентов и десять инструментов дают до сотни самодельных мостов. Каждый мост — кандидат во второй источник истины. Это недостаток 6 в чистом виде.
Ответ платформы: одна дверь. Model Context Protocol (MCP) — открытый протокол подключения агентов к инструментам и данным. Платформа раскрывает выбранные возможности через управляемый шлюз MCP. Четыре класса возможностей: 1) обзор терминологий, 2) трассы происхождения терминов, 3) диагностический разбор, 4) чтение свидетельств исполнения.
Ключевой выбор — куда ведёт дверь. Агенты подключаются к аппарату верификации (harness) — стендовой и доказательной инфраструктуре. Это эталонные проверочные наборы с контрольными хэшами, корпуса записей для воспроизводящих прогонов, сквозные прогоны конвейера, сравнение дайджестов. Не исполняющее ядро.
Через шлюз агент видит, какое определение действует и какие свидетельства породило исполнение. Через шлюз агент не может записать в граф знаний. Не может изменить артефакт выпуска. Не может выдать команду у постели больного.
Открытый протокол обычно воспринимают как расширение поверхности атаки. В этой архитектуре он её сужает. Одна управляемая дверь заменяет россыпь мостов с разными правилами. У двери — та же служба авторизации операций, что у людей. Та же цепочка доверия. Та же политика защиты медицинских данных: сырые записи не покидают контур, наружу выходят безопасные ссылки.
Это и есть мобилизация экосистемы. Агенты получают руки — аппарат верификации определяет их длину. Закрытый инструментальный парк превращается в площадку для любого клиента MCP: агента, среды разработки, ассистента.
Доверие как механизм, а не репутация
Почему внешняя сторона должна верить, что барьеры действуют? Ей не нужно верить. Ей достаточно проверить.
Цепочка из шести звеньев. Исполнение детерминировано — поведение есть функция входа и версии знания. Поэтому свидетельство воспроизводимо: повторный прогон обязан дать тот же дайджест. Поэтому третья сторона проверяет заключение без привилегированного доступа к разработчику. Неизменяемый журнал прозрачности не позволяет переписать историю выпусков свидетельств задним числом. Уровни свидетельств помечены явно: стендовая репетиция не выдаётся за промышленную эксплуатацию. Доверие пересматривается непрерывно: отозванная подпись или расхождение с манифестом — диагностический сигнал.
Та же цепочка держит и агентскую дверь: шлюз MCP не создаёт новой власти, он специализирует существующие контуры.
Через цепочку проходит разделение, которое отрасль смешивает постоянно. Подпись и журнал доказывают целостность: что исполняется и откуда оно взялось. Адекватность — правильно ли оно — доказывается отдельно: воспроизводимыми свидетельствами и человеческим рассмотрением. Подписанный артефакт может быть подписанной ошибкой. Система, предъявляющая подпись как доказательство правильности, вводит в заблуждение.
Сводная карта: недостаток → барьер
| Недостаток ИИ | Архитектурный барьер | Механизм |
|---|---|---|
| 1. Невоспроизводимость | Детерминированное ядро | Тот же вход и снимок → тот же дайджест |
| 2. Вымышленные выводы | Компиляция из авторизованного снимка | У постели исполняется только скомпилированное знание |
| 3. Непрозрачный след | Трассировка по дайджестам | Флаг → проекция → дескриптор → автор |
| 4. Неуправляемое переобучение | Уточнение через внутренний цикл доработки семантики | Точечная дельта, те же рубежи, свидетельство замыкания |
| 5. Генерация обгоняет проверку | Метрика очереди кандидатов | Рост сверх ёмкости → остановить генерацию |
| 6. Интеграции множат каналы влияния | Шлюз MCP к аппарату верификации (harness) | Одна дверь, та же авторизация, доступ без права записи |
| 7. Энергетическая цена вывода | Модели вне горячего пути | ≈7 200 против ≈117 000–768 600 Дж на пациенто-час |
Ни один барьер не требует, чтобы модель стала лучше. В этом суть подхода: недостатки принимаются как данность и гасятся размещением, компиляцией и проверкой — свойствами платформы, а не свойствами модели.
Что это меняет
Центральный вопрос автоматической клинической интерпретации: кто удерживает авторитет над смыслом? И как смысл остаётся обозреваемым после исполнения?
Ответ конструктивен. Авторитет удерживают люди — через единственный управляемый источник семантики. Обозреваемость обеспечена устройством: каждое заключение несёт воспроизводимое доказательство происхождения.
Побочный эффект оказывается стратегическим. Медицинская регуляторика — ISO 14971, IEC 62304 — построена вокруг прослеживаемости. Эта архитектура производит прослеживаемость как продукт нормальной работы. Регуляторное досье собирается постепенно из существующих свидетельств, но не восстанавливается задним числом — известного источника проблем с государственной регистрацией медицинских изделий.
Честные границы. Статья описывает архитектуру платформы, и не заявляет клинической эффективности или регистрационной валидации. Энергетические цифры — модельная оценка до стендового измерения. Мгновенная оценка состояния пациента — интерпретационный индикатор, не диагноз. Документ, доказывающий проверяемость, обязан быть проверяем сам.
Формула на вынос: не пускайте ИИ-генерацию к постели больного — и она сделает для медицины больше. Масштаб подготовки знания — от моделей. Гарантии исполнения — от детерминизма и дайджестов. Доступ агентов — через одну управляемую дверь. Авторитет — от людей.
Архитектура платформы HealthOS защищена патентами: «Способ управления риском искажения медицинской информации», «Способ машиночитаемого представления медицинского знания», «Способ семантической корректной машинной расшифровки ЭКГ в конфигурации 1, 3, 5, или 12 отведений в непрерывном режиме использования», «Способ и система поддержки принятия врачебных решений по обеспечению контроля качества оказания медицинской помощи и безопасности пациентов».