AI 시대를 위한 Facebook 내부자 구축 콘텐츠 조정

Brett Levenson이 2019년 Facebook에서 비즈니스 정직성을 이끌기 위해 Apple을 떠났을 때, 소셜 미디어 거대 기업은 Cambridge Analytica의 여파에 휩싸였습니다.당시 그는 더 나은 기술로 페이스북의 콘텐츠 조정 문제를 간단히 해결할 수 있다고 생각했습니다.

그는 문제가 기술보다 더 깊다는 것을 금방 깨달았습니다.인간 검토자들은 그들의 언어로 기계 번역된 40페이지 분량의 정책 문서를 암기해야 한다고 그는 말했습니다.그런 다음 신고된 콘텐츠당 약 30초 동안 해당 콘텐츠가 규칙을 위반했는지 여부뿐 아니라 이에 대해 어떻게 해야 할지(차단, 사용자 금지, 확산 제한) 결정했습니다.Levenson에 따르면 이러한 빠른 호출은 "정확도가 50%보다 약간 더 나을" 뿐이었습니다.

Levenson은 TechCrunch에 "검토자가 실제로 정책을 올바르게 처리할 수 있는지 여부는 동전을 던지는 것과 같았으며 어쨌든 피해가 이미 발생한 지 며칠이 지났습니다."라고 말했습니다.

그런 종류의 지연되고 반응적인 접근 방식은 민첩하고 자금이 풍부한 적대 행위자가 있는 세계에서는 지속 가능하지 않습니다.AI 챗봇의 등장은 문제를 더욱 복잡하게 만들었습니다. 콘텐츠 조정 실패로 인해 청소년에게 자해 지침을 제공하는 챗봇이나 안전 필터를 회피하는 AI 생성 이미지와 같은 일련의 중요한 사건이 발생했기 때문입니다.

Levenson의 좌절감은 "코드로서의 정책"이라는 아이디어로 이어졌습니다. 이는 정적 정책 문서를 시행과 밀접하게 결합된 실행 가능하고 업데이트 가능한 논리로 바꾸는 방법입니다.이러한 통찰력은 금요일에 1,200만 달러의 자금을 조달했다고 발표한 Moonbounce의 창립으로 이어졌다고 TechCrunch는 단독으로 알아냈습니다.이번 라운드는 Amplify Partners와 StepStone Group이 공동으로 주도했습니다.

Moonbounce는 기업과 협력하여 사용자 또는 AI에 의해 콘텐츠가 생성되는 모든 곳에서 추가 안전 계층을 제공합니다.이 회사는 고객의 정책 문서를 보고, 런타임에 콘텐츠를 평가하고, 300밀리초 이내에 응답을 제공하고, 조치를 취하도록 자체 대규모 언어 모델을 교육했습니다.고객 선호도에 따라 해당 조치는 Moonbounce의 시스템이 콘텐츠가 나중에 사람의 검토를 기다리는 동안 배포 속도를 늦추는 것처럼 보일 수도 있고, 순간적으로 고위험 콘텐츠를 차단할 수도 있습니다.

현재 Moonbounce는 세 가지 주요 분야에 서비스를 제공하고 있습니다. 데이트 앱과 같은 사용자 생성 콘텐츠를 다루는 플랫폼;캐릭터 또는 동반자를 구축하는 AI 회사;그리고 AI 이미지 생성기.