Хочу объяснить, что произошло — чтобы помочь защитить интернет-сообщества от подобных атак
Прошлой ночью Apple на короткое время удалила Telegram из App Store из-за того, что один пользователь вбросил незаконный порнографический контент в публичный групповой чат.
Уже через несколько часов Telegram был восстановлен в App Store. Но я хочу объяснить, что произошло, — чтобы предупредить других разработчиков приложений и помочь защитить интернет-сообщества от подобных атак.
Поскольку Telegram быстро удаляет незаконный контент из публичных групп с помощью жалоб пользователей, ИИ-фильтров, хешей контента и других инструментов модерации, злоумышленнику пришлось прибегнуть к технической уловке. Он встроил измененный с помощью ИИ незаконный контент, отредактировав старое сообщение в активной групповой переписке. В результате этот контент оказался фактически скрыт от участников группы, которые не могли его увидеть и оперативно пожаловаться.
Злоумышленник оказался вымогателем, специализирующимся на удалении контента: человеком, который требует выкуп у владельцев групп в обмен на обещание не атаковать их сообщества. Такие вымогатели используют автоматизированные аккаунты, чтобы размещать незаконный контент в публичных группах, а затем напрямую жалуются на него в Apple, пытаясь добиться удаления вполне законных сообществ, владельцы которых отказались платить.
С практической точки зрения незаконный порнографический контент в публичных группах Telegram не является системной проблемой. Наша система модерации работает эффективно. Уже сам факт того, что злоумышленникам приходится использовать задним числом отредактированные, фактически невидимые сообщения и другие технические уловки, это подтверждает.
Однако эта история содержит два важных урока для разработчиков приложений и интернет-сообществ:
— Вымогатели нашли способ обманом вынудить Apple чрезмерно остро реагировать на подобные ситуации. Apple удалила Telegram из App Store до того, как связаться с нами. Это создает потенциальный системный риск для любого мобильного приложения, в котором пользователи могут публиковать собственный контент. Если приложение с более чем миллиардом пользователей можно удалить из App Store без какого-либо предварительного предупреждения, то под угрозой оказывается любое приложение.
— Методы, которые используют вымогатели, добивающиеся удаления сообществ, становятся всё более изощренными, подвергая риску сообщества на самых разных социальных платформах. Telegram обладает большим опытом в выявлении уловок, которыми пользуются банды, координированно рассылающие жалобы, и умеет защищать добросовестные сообщества (даже если ради этого приходится рисковать временным удалением собственного приложения из App Store). Другие платформы, возможно, не столь хорошо подготовлены к подобным атакам.
Будьте бдительны!