Discord признал сбой в AI-модерации: из-за безобидных изображений ошибочно забанили более 8 000 пользователей

Discord признал, что сбой в системе AI-модерации по ошибке заблокировал более 8 000 пользователей за последние два месяца после того, как безобидные изображения — включая таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны — были неверно помечены как вредоносный контент.

Компания подтвердила, что проблема затрагивала аккаунты с мая, а за выходные до обнаружения и исправления ошибки были заблокированы еще 200 пользователей. Сейчас все затронутые аккаунты восстанавливают.

Этот инцидент показывает одну из растущих проблем AI-поддерживаемой модерации, поскольку многие платформы все чаще полагаются на автоматизированные системы для выявления незаконного или оскорбительного контента в больших масштабах.

«Мы работаем над более надежными защитными механизмами, чтобы это не повторилось», — написала компания.

В X и Reddit пользователи утверждали, что их навсегда блокировали просто за загрузку изображений с квадратными сетчатыми узорами. Некоторые предположили, что AI-модерация Discord стала особенно чувствительной к сетчатым паттернам, потому что их ранее использовали, чтобы скрывать или маскировать NSFW-материалы и контент о сексуальной эксплуатации детей от автоматического обнаружения.

Пострадавшие пользователи выражают недовольство в соцсетях; часть из них считает, что постоянные блокировки аккаунтов только на основе автоматического распознавания могут иметь серьезные последствия, особенно для тех, кто использует Discord для работы, игровых сообществ или общения на расстоянии.

Discord не единственная платформа, столкнувшаяся с проблемами модерации из-за автоматизированных систем. В прошлом году пользователи Instagram и Facebook Groups сообщали о массовых необъяснимых блокировках аккаунтов, которые многие связывали с AI-модерацией. Хотя пользователи указывали на автоматизацию как на вероятную причину, Meta публично так и не подтвердила, были ли виноваты ошибки AI. Теперь Oversight Board компании Meta настаивает на большей прозрачности.

В прошлом году на жалобы пользователей также наткнулся и Tumblr: люди говорили, что их аккаунты массово блокировали без понятных объяснений.

_При покупке по ссылкам в наших материалах мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость._

Lauren освещает медиа, стриминг, приложения и платформы в TechCrunch.

Материал — перевод статьи с английского.

Оригинал: Discord admits AI moderation bug wrongfully banned users over harmless images