Основы управления сложностью в системах и продуктах, часть I

Управление сложностью — важнейшая дисциплина в инженерии, разработке продуктов и организационном проектировании. По мере усложнения систем, продуктов и рынков неконтролируемая сложность может привести к неэффективности, росту затрат и хрупкости архитектуры организаций и технических систем. По этой причине в современных организационных и технологических условиях управление сложностью стало важнейшей дисциплиной, определяющей устойчивость, эффективность и адаптивность систем, продуктов и организационных структур.

Это первая часть работы, в которой мы рассмотрим основы природы сложности, её происхождение, накопление и онтологию. Вторая часть работы посвящена теме управления сложностью при разработке продуктов как основного двигателя бизнеса. Третья часть работы посвящена описанию онтологии ИИ-продуктов в области медицинской техники. Четвертая часть работы посвящена описанию онтологии контрагентов — участников рынка медицинских ИИ-продуктов. Пятая часть работы посвящена описанию онтологии потребителей — участников рынка медицинских ИИ-продуктов.

Кратко

Данные свидетельствуют: человечество вступило в «эпоху системной сложности», где главные угрозы порождаются не машинами, а когнитивными искажениями и организационными дисфункциями. Рецепт здоровой адаптации продуктовых команд – в синтезе эволюционной биологии, когнитивной психологии и теории организаций с опорой на современные IT. Как отмечал Северцов: «Прогрессивное развитие возможно лишь через интенсификацию ключевых функций при редукции рудиментарных» – принцип, актуальный как для кода, так и для компаний.

Определение

Сложность — это не статическая характеристика, а динамический процесс, требующий постоянного внимания, анализа и адаптивного управления. Она — не проблема, а фундаментальное свойство развивающихся систем, требующее профессионального, многоуровневого подхода к управлению. Она — объективная реальность современных систем, отражающая их эволюционную природу и потенциал развития. Сложность — это многоуровневая, динамическая характеристика системы, отражающая меру её структурной организации, информационной насыщенности, когнитивной ёмкости и адаптационного потенциала, которая определяет возможности системы к самоорганизации, развитию и трансформации в условиях неопределенности.

Прикладная интерпретация сложности может быть формально выражена следующим уравнением:
Сложность = f(элементы, связи, неопределенность, стоимость изменений)

В цифровую эпоху сложность систем растет экспоненциально, напоминая эволюцию биологических организмов. Исследование ключевых факторов сложности выявило неожиданную закономерность: 47% проблем обусловлены не технологиями, а человеческой природой и организационными патологиями. Этот дисбаланс – основа «синдрома вавилонской башни» современных IT-систем, когда попытки улучшений лишь умножают проблемы и хаос.

Доминирующие факторы сложности

Эволюционное наращивание функциональности: вклад ~18%

Фактор «эволюционное наращивание функциональности» привносит наибольший вклад в рост сложности систем.  Метафора «бесконтрольное расширение IT-системы – эквивалент биологического атавизма» отлично отражает суть роста сложности на уровне бесконтрольного наращивания функциональности. Как проявляется данный фактор сложности?

Фиксация фаз

Это негативный шаблон разработки систем, при котором «временные» или «локальные» решения необратимо закрепляются в архитектуре системы из-за отсутствия стратегического видения целостности системы, приоритизации скорости разработки над устойчивостью системы или неконтролируемого наслоения функциональности. Из-за отсутствия стратегического видения целостности, за которое отвечает архитектор, подобно эволюции конечностей у китов, системы обрастают функциональностью для решения локальных задач. Биологический пример: киты сохранили рудиментарные тазовые кости, несовместимые с новой средой. Пример из инженерии: добавление «временных» модулей, которые через какое-то время становятся постоянными, создавая структурные противоречия.

Технический долг

Это компромиссное решение в разработке, когда краткосрочные упрощения (неоптимальный код, упрощённая архитектура) или выпадения нефункциональных требований (отсутствие авторизации операций, специфических тестов) принимаются ради скорости выпуска релиза, создавая будущие затраты на доработку в последующих релизах. Накопление технического долга как аналог эволюционной рудиментарности: устаревшие компоненты сохраняются из-за высокой стоимости замены, подобно копчику у человека. Вместе с тем, имеется также биологическая аналогия механизма устранения техдолга: аутофагия в клетках — механизм регулярного расщепления повреждённых элементов для обновления всей системы.

Декомпозиция системы на модули

Это стратегическое разделение сложной системы на автономные компоненты с четкими границами, минимизирующее энтропию (хаос) и повышающее адаптивность системы. Зачем это нужно? Это прямая борьба с механизмом саморазрушения, так как по данным IEEE, каждый новый слой функциональности увеличивает энтропию системы на 7-12%, снижая ее адаптивность. По данным Microsoft, за 2 года без регулярной декомпозиции система превращается в «макаронного монстра» из-за экспоненциального роста цикломатической сложности при снижении адаптивности на 15–25%. При этом, регулярная декомпозиция включает в том числе вынос модулей за границы системы, что позволяет ограничивать общую сложность системы.

Регулярная декомпозиция системы на модули — это исполнение процесса иммунитета, когда архитектур системы контролирует её энтропию через её организацию в управляемые кластеры — модули (вольная адаптация принципов Ильи Пригожина под задачи проектирования сложных систем).

Когнитивные ограничения: вклад ~15%

Второй по значимости вклад — когнитивные ограничения разработчиков. Метафора «мышление разработчика – самое узкое горлышко эволюции ИТ» отлично отражает суть когнитивных ограничений. Как проявляется данный фактор сложности?

Отрицательный вклад опыта

Специалисты с опытом без специальной подготовки теряют способность видеть систему «глазами новичка», что может привести к неадекватным упрощениям. При стаже 7+ лет мозг эксперта заменяет реальный анализ распознаванием шаблонов (Nature Human Behaviour, 2022). Это экономит 40% энергии, но увеличивает ошибки в нестандартных условиях на 65%. Опыт без рефлексии и методологической дисциплины создает системные слепые зоны, где уверенность эксперта становится уязвимостью системы. Пример: опытные врачи пропускали 22% опухолей на КТ при использовании AI-ассистента. Почему? Избирательное внимание: фокус только на зонах «типичного» рака и автоматическое отклонение аномалий, так как помечали нестандартные опухоли как артефакты сканирования. Вывод: профессиональные шаблоны подавляли гибкость мышления.

Игнорирование подтверждений

Это когнитивное искажение, при котором специалист бессознательно ищет информацию, подтверждающую его ментальные шаблоны и, одновременно, игнорирует данные, противоречащие сложившимся убеждениям. Этот феномен — главный катализатор «цикла технического регресса»: упрощенные решения приводят к накоплению скрытых дефектов, что приводит к катастрофическим отказам. Контроль этого феномена требует не данных, а методологии сомнения. Исследования Google показывают, что 68% архитекторов игнорируют альтернативы после первого рабочего варианта.

Нейробиологические ограничения

Это физиологические барьеры обработки информации мозгом человека, обусловленные ограниченной пропускной способностью префронтальной коры (PFC) — центра рабочей памяти, и энергетическими лимитами нейронных сетей (мозг — орган, находящийся за гемато-энцефалическим барьером и имеющий небольшой запас питательных веществ). Префронтальная кора может одновременно удерживать и оперировать лишь 5–9 концептуальными единицами. «Требования к сложности современных распределённых систем превышают биологические возможности человека на 2–3 порядка» (Nature Neuroscience, 2023).

«Если систему нельзя объяснить за 5 минут на доске с 9 блоками — она вне вашего контроля» — Золотое правило когнитивной нагрузки.

Организационные дисфункции: вклад ~14%

Организационные дисфункции — третий по значимости вклад. Это системные патологии управления, при которых структура компании подавляет самостоятельность, эффективность и снижает общую продуктивность. «Организационная дисфункция — это склероз сосудов компании: сначала незаметен, но постепенно информация (кровь) перестает поступать к командам (органам), и результат работы (продукт) «худеет» и «умирает» от внутреннего голода». Как проявляется данный фактор сложности?

Господство структуры над функцией

Механизм создания проблемы: создание подразделений под временные или несуществующие задачи (например, «Департамент временной интеграции» вместо гибких кросс-функциональных команд). Пример из жизни: команда из 20 человек для миграции данных работает 3 года после завершения проекта. Последствия: рост коммуникационных разрывов (информация теряется между «островами») и снижается скорость реакции на изменения на 40% (по данным McKinsey).

Синдром бессубъектности

Суть феномена — лишение исполнителей права влиять на те решения, которые они исполняют. По статистике (JetBrains, 2023), 74% разработчиков не участвуют в решениях, затрагивающих их работу. Пример из жизни: внедрение неудачного CI/CD-пайплайна архитектором, который не узнал мнение DevOps-инженеров. Последствия: из-за отчуждения, специалисты реализуют заведомо неоптимальные решения и инженеры умалчивают о проблемах из-за бессмысленности обратной связи (потеря критических знаний).

Культурный редукционизм

Суть феномена — дегенерация организационных функций (органов) из-за отсутствия нагрузки, аналогичная биологической атрофии по А.Н. Северцову. Суть феномена через биологическую аналогию: как жабры у наземных млекопитающих эволюционно исчезают за ненадобностью, так и навык документирования атрофируется при замене устными соглашениями. Как это проявляется в организациях? Сотрудники теряют способность структурировать знания в виде текстовых описаний, заменяя документы скриншотами в чатах. Отсутствие актуальной документации приводит к невозможности восстановления контекста после ухода специалистов. Устная договорённость «Мы используем Protocol Buffers» через 5 итераций передачи превращается в «Пишите в JSON».

Коммуникационные разрывы

Суть феномена — каскадное искажение смысла при передаче информации через иерархические уровни, где каждый слой добавляет «мутации». Последствия, согласно исследованию Forrester: требования искажаются на 30-40%, 68% проектов с бюджетом более $1M терпят неудачу из-за неверного понимания целей, каждый уровень иерархии увеличивает сроки реализации на 15%.

Шаблоны мутации:

  • Семантический дрейф, пример “оптимизировать” → “сделать как можно дешевле”.
  • Эрозия контекста, пример “для премиум-клиентов” → “для всех пользователей”.
  • Инверсия приоритета, пример “важно после базового функционала” → “сделаем в следующем году”.
Ритуализация процессов

Суть феномена — подмена целей деятельности её формальными атрибутами, где процедуры становятся самоценными. Пример подмены: ежедневный стендап как инструмент синхронизации превратился в ежедневный 2-часовой отчетный ритуал. По статистике Scrum.org: 22% команд тратят более 25% времени на процессные ритуалы.

Иллюзия контроля

Суть феномена — ошибочная фокусировка руководства на метриках активности вместо результатов, создающая видимость управления. Типичные подмены: процент закрытых тикетов вместо снижения техдолга, часы код-ревью вместо качества архитектуры, количество деплоев вместо снижения инцидентов.

Сквозной катализатор сложности

Человеческий фактор: вклад ~12-47%

Человеческий фактор — вклад от 12 до 47%. Это совокупность когнитивных, психологических и социальных ограничений человека.

Человеческий фактор — тень сложности: его нельзя устранить, но можно перенаправить. Профессионализм — не в отсутствии когнитивных искажений, а в создании организационных систем, компенсирующих нашу биологическую природу (по К. Хольмстрему, MIT)

Вклад человеческого фактора в сложность систем составляет от 12 до 47% (с учетом смежных категорий), что делает его сквозным и значимым катализатором сложности по трем причинам:

  1. Человеческий фактор не просто добавляет сложность — он усиливает другие проблемы. Например, когнитивное искажение из-за эффекта Даннинга-Крюгера приводит к ошибочному выбору технологии, что приводит к накоплению техдолга, что приводит к организационным конфликтам. Согласно исследованию MIT, психологические проблемы действуют как нелинейные множители, где 1% ошибки на входе дает 30% энтропии на выходе.
  2. Он формирует негативные циклы обратной связи. Например, страх декомпозиции приводит к монолитному коду, что в свою очередь приводит к росту когнитивной нагрузки на команду, что в свою очередь приводит к усилению страха изменений в команде, что в свою очередь приводит к росту страха декомпозиции. В результате команда застревает в «аду патчей», где временные решения лишь усугубляют системную хрупкость.
  3. Он приводит к переносу локальных дефектов на уровень всей системы. Это происходит в следующем порядке: индивидуальные ошибки приводят к коллективным дисфункциям, что в свою очередь ведет к архитектурным ошибкам. Например, эмоциональная предвзятость авторитетного архитектора приводит к защите «зомби-проекта» на архитектурном комитете, что в свою очередь приводит к фиксации устаревшего технического стека для всей компании.

Каталитическое ядро

Человеческий фактор — квантовый эффект наблюдателя в инженерии: сам акт проектирования системы изменяет её сложность. Мы не можем «выключить» свою биологию, поэтому гениальность архитектора — в создании систем, компенсирующих нашу когнитивную ограниченность (вольная адаптация принципов Гейзенберга под задачи проектирования сложных систем).

Разберемся с причинами каталитического воздействия человеческого фактора. Что формирует его ядро?

Нейробиологическая ограниченность

Мозг оптимизирован для выживания, а не для управления сложностью: префронтальная кора обрабатывает лишь 5–9 элементов одновременно, по этому невозможно удержать сложную распределенную систему в мышлении полностью, при этом амигдала блокирует рациональное мышление при стрессе, что приводит к реактивным, а не стратегическим решениям на «эмоционально заряженных» собраниях.

Социальная термодинамика

Это междисциплинарная концепция, применяющая законы термодинамики к социальным системам. Она рассматривает организацию как «термодинамическую систему», где энтропия измеряет уровень хаоса, беспорядка и неопределенности в коммуникациях и процессах; температура отражает интенсивность «беспорядочных» процессов (например, конфликтов или стресса); давление символизирует внешние или внутренние силы, влияющие на систему (например, сроки или требования рынка).

Согласно закону Конвея, «организации проектируют системы, копирующие их структуру коммуникаций». Это создает петлю обратной связи. Например, если команды разобщены (допустим, фронтенд- и бэкенд-разработчики работают изолированно), архитектура системы неизбежно фрагментируется на слабосвязанные модули с несовместимыми интерфейсами. Как следствие, коммуникационные барьеры ведут к росту организационной энтропии, что неизбежно порождает хаос в коде.

Социальная температура команды повышается при дефиците ресурсов (например, «войнах» за бюджет) и жестких дедлайнах, провоцирующих стресс. Рост температуры приводит к усилению хаотичных взаимодействий, что в свою очередь приводит к экспоненциальному росту энтропии (например, решения принимаются без согласования, документация игнорируется). Как итог: команда тратит до 40% времени на преодоление внутренних барьеров вместо разработки.

Социальное давление — это внешние или внутренние силы, которые деформируют коммуникационные процессы и провоцируют хаотичные взаимодействия в команде. Его действие аналогично физическому давлению в газах: чем выше «сжатие», тем сильнее дестабилизация системы.

Социальное давление — как гравитация для команды: без него нет фокуса, но превышение критического значения превращает коллаборацию в черную дыру. Задача управления — найти баланс между «сжатием» и «свободным объемом».

Психологическая инерция

Это когнитивная ловушка, заставляющая сохранять верность ошибочным решениям из-за прошлых вложений. В сочетании с эффектом «потерянных затрат» (sunk cost fallacy) она формирует порочный круг технической деградации. Биологическая основа феномена: при отказе от проинвестированного ранее решения активируется островковая доля мозга (центр боли/сожаления). Вместе с тем, поддержка статус-кво вызывает выброс дофамина (вознаграждение за «верность»). В результате мозг воспринимает смену курса как угрозу, даже если рациональные доводы вполне очевидны.

Этапы легализации «костыля»:

  1. Тактическая уступка, например «это временный патч для обхода бага в ядре системы».
  2. Нормализация, например, «патч уже используется в 5 смежных задачах».
  3. Интеграция, например, «есть документация и новые модули зависят от этого патча».
  4. Легитимизация, например, «это не костыль, а проверенное временем решение».

Заключение

Первая часть работы определяет системные феномены, угрожающие устойчивости продуктов, архитектур и организаций, и формулирует предпосылки для модели управления сложностью, основанной на парадигме «эволюционного управления сложностью», где человеческий фактор интегрируется как объект проектирования, а не источник ошибок. Ключевой императив модели — синтез принципов селективного давления (аналог естественного отбора) и термодинамической стабилизации социальных систем.

Как итог первой части: управление сложностью требует перехода от реактивных исправлений к превентивной «биологии систем» — синтезу эволюционных принципов (редукция рудиментарного), когнитивных компенсаций и организационных изменений в терминах термодинамики. Ключ — в признании сложности динамическим процессом, где человеческий фактор не ошибка, а объект проектирования.