디스코드, AI 검열 오류로 8천 명 이상 사용자 부당 정지 인정

디스코드(Discord)가 자사의 인공지능(AI) 기반 콘텐츠 검열 시스템의 오류로 인해 지난 두 달간 8,000명 이상의 사용자가 부당하게 계정 정지 처분을 받았다고 인정했습니다. 스프레드시트, 체스판, 게임 텍스처, 흰색 및 회색 투명 배경 등 무해한 이미지가 유해 콘텐츠로 잘못 분류된 것이 원인이었습니다. 이 문제는 5월부터 계정에 영향을 미쳤으며, 주말 동안 추가로 200명의 사용자가 정지된 후 팀이 문제를 파악하고 수정했습니다. 현재 영향을 받은 모든 계정은 복원 절차를 밟고 있습니다.

이번 사건은 많은 플랫폼이 불법적이거나 악의적인 자료를 대규모로 식별하기 위해 자동화된 시스템에 점점 더 의존하면서 AI 기반 검열을 둘러싼 난제 중 하나를 부각시킵니다. AI 기술의 발전과 함께 콘텐츠 검열의 효율성을 높이려는 시도는 계속되고 있지만, 이 과정에서 발생하는 오탐(false positive) 문제는 사용자들에게 심각한 불편과 피해를 초래할 수 있음을 보여줍니다. 플랫폼들은 사용자 안전을 보장하면서도 AI 시스템의 정확성을 높이는 균형점을 찾아야 하는 과제에 직면해 있습니다.

디스코드는 X(구 트위터)를 통해 상세한 설명을 공개하며, 자사의 자동화된 안전 시스템이 업로드된 콘텐츠를 알려진 유해 자료 데이터베이스와 비교하여 작동한다고 밝혔습니다. 이 기술은 불법 콘텐츠를 탐지하도록 설계되었지만, 때로는 오탐을 생성할 수 있음을 인정했습니다. 원래는 인간 검열자가 플래그된 콘텐츠를 검토하도록 되어 있었으나, 이번 버그로 인해 시스템이 영향을 받은 계정을 즉시 정지시켰다고 설명했습니다.

디스코드는 "이러한 일이 다시 발생하지 않도록 더 나은 안전장치를 마련하고 있다"고 강조했습니다. X와 레딧(Reddit)의 사용자들은 단순히 사각형 격자 패턴이 포함된 이미지를 업로드했다는 이유로 영구 정지되었다고 주장했습니다. 여러 사용자들은 디스코드의 AI 검열 도구가 격자형 패턴에 점점 더 민감해진 이유가, 과거에 이러한 패턴이 NSFW(직장 부적합) 및 아동 착취 콘텐츠를 자동 탐지 시스템으로부터 숨기거나 위장하는 데 사용되었기 때문이라고 추측했습니다.

영향을 받은 사용자들은 소셜 미디어에서 좌절감을 표출했으며, 자동 탐지에만 의존한 영구 계정 정지가 심각한 결과를 초래할 수 있다고 주장했습니다. 특히 디스코드를 업무, 게임 커뮤니티 또는 원거리 사회적 연결을 위해 사용하는 사용자들에게는 더욱 그렇습니다. 한 X 사용자는 "이처럼 불공평한 이유로 디스코드 계정을 잃는 것은 극도로 파괴적일 수 있으며 사용자에게 심각한 영향을 미친다. 매일 수백만 명의 사용자가 잘못된 AI 정지로 피해를 보고 있으며, 이는 중단되어야 한다"고 비판했습니다.

디스코드만이 자동화된 시스템으로 인해 검열 문제에 직면한 것은 아닙니다. 작년에는 인스타그램(Instagram)과 페이스북 그룹(Facebook Groups) 사용자들도 광범위하고 설명할 수 없는 계정 정지를 겪었으며, 많은 이들이 AI 검열 시스템 때문이라고 추정했습니다. 메타(Meta)는 AI 오류가 원인이었는지 공개적으로 확인하지 않았지만, 메타의 감독 위원회(Oversight Board)는 투명성 강화를 요구하고 있습니다. 텀블러(Tumblr) 역시 작년에 명확한 설명 없이 계정이 대량 정지되었다는 사용자 불만에 직면한 바 있습니다.

이번 디스코드의 AI 검열 버그 사태는 인공지능 기술이 가져다주는 효율성 이면에 존재하는 잠재적 위험과 한계를 명확히 보여줍니다. 대규모 콘텐츠 검열에 AI를 활용하는 것은 불가피한 추세이지만, 오탐으로 인한 사용자 피해를 최소화하고 투명성을 확보하기 위한 지속적인 노력과 안전장치 마련이 필수적입니다. 플랫폼들은 기술적 개선과 함께 사용자 소통 채널을 강화하여, AI 시스템의 오류가 발생했을 때 신속하고 공정하게 대응할 수 있는 체계를 구축해야 할 것입니다.