При всех возможностях, которые дает AI, всегда остается риск, что технология даст сбой или будет скомпрометирована. В случае кризиса AI-системы новое исследование ISACA показало, что большинство опрошенных организаций не смогли бы объяснить, как быстро они сумеют остановить чрезвычайную ситуацию с AI-системой, или даже сообщить, что именно вызвало проблему.
Согласно отчету ISACA, 59% специалистов по digital trust не понимали, насколько быстро их организация сможет прервать работу AI-системы и остановить ее во время инцидента безопасности. Только 21% сообщили, что смогут действительно вмешаться в течение получаса. Это указывает на ситуацию, при которой скомпрометированные AI-системы могут продолжать работать без контроля, создавая риск необратимого ущерба.
Али Саррафи, CEO и основатель Kovant, автономной enterprise-платформы, сказал: «Выводы ISACA указывают на серьезную структурную проблему в том, как организации внедряют AI. Системы встраиваются в критически важные рабочие процессы без слоя governance, необходимого для надзора и аудита их действий. Если бизнес не может быстро остановить AI-систему, объяснить ее поведение или даже определить, кто несет ответственность, значит, он не контролирует эту систему».
Сбои AI и риски
В целом только 42% респондентов выразили уверенность в том, что их организация сможет проанализировать и прояснить серьезные инциденты с AI, что повышает риск операционных сбоев и угроз безопасности. Кроме того, если такие инциденты не удается объяснить регуляторам и руководству, бизнес может столкнуться с юридическими санкциями и общественным негативом.
Чтобы учиться на ошибках, нужен корректный анализ. Без четкого понимания вероятность повторения инцидентов только растет. Важно управлять AI ответственно, с эффективным AI governance, однако результаты ISACA показывают, что этого часто не хватает.
Еще одна неясная зона — ответственность: 20% сообщили, что не знают, кто будет отвечать, если AI-система причинит ущерб. Лишь 38% назвали совет директоров или руководителя высшего звена конечным ответственным.
Саррафи отметил, что замедление внедрения AI — не решение; ключевым является переосмысление того, как им управляют. «AI-системы должны находиться в структурированном управленческом слое, который рассматривает их как цифровых сотрудников с четко определенным владельцем, установленными маршрутами эскалации и возможностью мгновенно приостановить или переопределить действия, когда пороги риска превышены. Так агенты перестают быть загадочными ботами и становятся системами, которые можно проверять и которым можно доверять. По мере того как AI все глубже проникает в ключевые бизнес-функции, governance не может быть второстепенной задачей. Его нужно закладывать в архитектуру с первого дня, обеспечивая видимость и контроль на каждом уровне. Организации, которые сделают это правильно, не просто снизят риск — они смогут уверенно масштабировать AI в бизнесе».
Впрочем, есть и некоторое обнадеживающее подтверждение: 40% респондентов сказали, что люди утверждают почти все AI-действия до внедрения, а еще 26% оценивают результаты AI. Тем не менее без улучшенной инфраструктуры governance человеческого контроля, скорее всего, будет недостаточно, чтобы выявлять и устранять проблемы до их эскалации.
Выводы ISACA указывают на серьезную структурную проблему в том, как AI внедряется в разных секторах. Поскольку более трети организаций не требуют от сотрудников раскрывать, где и когда AI используется в рабочих материалах, риск появления слепых зон возрастает.
Несмотря на более жесткое регулирование, которое делает высшее руководство более ответственным, организации не справляются с безопасным и эффективным внедрением AI. Похоже, многие компании рассматривают AI-риск как техническую проблему, а не как вопрос, требующий аккуратного управления на уровне всей организации.
Необходимо менять подход к тому, как интеграция AI и его действия управляются. Без должного governance и accountability бизнес не контролирует свои AI-системы. А без контроля даже самые мелкие ошибки могут привести к репутационному и финансовому ущербу, от которого многим компаниям будет трудно оправиться.
(Изображение: Foundry Co / Pixabay)
Хотите узнать больше об AI и big data от лидеров отрасли? Посетите AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие входит в состав TechEx и проводится вместе с другими ведущими технологическими событиями. Нажмите здесь, чтобы узнать больше.
AI News поддерживается TechForge Media. Ознакомьтесь с другими предстоящими enterprise-технологическими мероприятиями и вебинарами здесь.
Материал — перевод статьи с английского.
Оригинал: How to prepare for and remediate an AI system incident