Система работает на основе искусственного интеллекта и должна облегчить администраторам групп процесс контроля за соблюдением правил сообщества. Если она обнаружит конфликт в переписке среди пользователей, то будет присылать модераторам групп соответствующие уведомления. Система называется Conflict Alerts и пока запущена только в тестовом режиме.
Подозрительные комментарии нейросеть пометит специальной отметкой «moderation alert» и отправить уведомление об этом модераторам. Для поиска комментариев будет использоваться машинная модель обучения.
После того, как модератор сообщества получит предупреждение, он сможет удалить комментарий, поставить ограничение на количество комментариев или вовсе их закрыть.
Ранее Facebook уже тестировала аналогичную систему для помощи в модерации. Она была создана для поиска контента, в котором есть упоминания о сексуальной эксплуатации детей, о попытках самоубийства и терроризме. Но эта система не могла распознавать сарказм и шутки и в итоге множество таких комментариев и контента попадало к модераторам как потенциально неприемлемые.