«Эпл» будет искать запрещенный контент в фотографиях пользователей

Вот как это будет работать

109
«Эпл» будет искать запрещенный контент в фотографиях пользователей

«Эпл» объявила, что внедрит в 2021 году в iMessage меры по защите детей от неприемлемого контента.

Кроме того, Айфоны и Айпады научатся автоматически находить среди фотографий пользователей, загружаемых в Айклауд, неприемлемый контент и сообщать о нем корпорации. А та уже передаст информацию в правоохранительные органы.

Под неприемлемым контентом в этом случае подразумеваются материалы, которые обозначаются аббревиатурой CSAM: child sexual abuse material — дословно «материалы с сексуальной эксплуатацией детей». Проще говоря, речь о детском порно и фотографиях сексуального характера с участием детей.

Защита детей в iMessage

Это нововведение касается детей, которые используют технику «Эпл» с настроенным семейным доступом, то есть когда родители или опекуны со своих устройств могут накладывать ограничения на их действия.

Гаджеты детей с помощью машинного обучения будут анализировать фотографии, которые им присылают в приложении «Сообщения», которое объединяет в себе iMessage и обычные смс. Если алгоритм найдет на фотографии обнаженного человека, «Сообщения» скроют изображение и предупредят об этом ребенка. Он все еще сможет посмотреть снимок, но тогда его родители получат уведомление об этом.

Если ребенок сам попытается отправить фотографию, на которой алгоритм найдет обнаженную натуру, «Сообщения» попросят его подумать дважды. А если он все же решит это сделать, уведомят его родителей.

«Эпл» подчеркивает, что сама корпорация никакой информации об этих фотографиях получать не будет.

Поиск запрещенных фото на устройствах

Перед тем как мы перейдем к подробностям работы механизма сканирования фотографий, несколько важных примечаний:

  1. Это нововведение и предыдущее пока будут внедряться только для пользователей в США, хотя в дальнейшем «Эпл» может распространить их и на остальной мир.
  2. Речь не идет об анализе содержания собственных фотографий пользователей: система будет только выяснять, нет ли среди них снимков из базы фотографий сексуального характера с участием детей.
  3. Фотографии будут сканироваться при загрузке в Айклауд — если отказаться от облачного хранилища, то и анализа, по идее, можно избежать.
  4. Если система найдет достаточно большое количество запрещенных фотографий, их передадут сотруднику «Эпл», а тот после ручного анализа перешлет данные NCMEC — Национальному центру поиска пропавших и эксплуатируемых детей, который сотрудничает с правоохранительными органами.
  5. Узнать, сколько запрещенных фото нашла система, пользователь не сможет. Если их будет достаточно много, его аккаунт заблокируют, но он сможет подать апелляцию.

Теперь разберемся, как это работает. Все начинается с базы изображений, признанных детским порно, которую собирает NCMEC и другие организации. «Эпл» получает не сами изображения, а их хэши — специально сгенерированные строки, которые будут одинаковыми для одинаковых изображений и разными для разных.

Особенность хэшей в том, что по ним невозможно восстановить исходный файл, но можно сравнить хэши двух файлов между собой. Причем алгоритм, который применяется в этом процессе, устойчив к манипуляциям с фотографиями: даже если изменить цвета и размер или обрезать снимок, его хэш будет таким же, как у исходного фото.

Таблица таких хэшей хранится на устройствах пользователей, но в зашифрованном виде. «Эпл» применяет криптографические методы, обеспечивающие двойную защиту: Айфон или Айпад пользователя может сравнить хэши его личных фотографий с хэшами из базы детского порно, но не может узнать результаты этого сравнения. Следовательно, не узнает их и сам пользователь. А «Эпл» при дальнейшем анализе в Айклауде сможет расшифровать сведения только о тех фотографиях, чей хэш совпал с хэшем из базы запрещенного контента.

Чтобы этот анализ произошел, устройства пользователей станут вместе с самими фотографиями загружать в Айклауд ваучеры безопасности — в них будет храниться хэш фотографии и ее визуальная производная. «Эпл» не объясняет, что это за производная, но, вероятно, это фрагмент снимка или его обработанная версия, которую на финальных этапах анализа будет рассматривать сотрудник компании.

В ваучерах безопасности также будут храниться фрагменты специального ключа шифрования, который сгенерирован на устройстве и изначально неизвестен «Эплу». Этим ключом зашифрованы хэш и визуальная производная, причем чтобы расшифровать данные, нужно получить несколько фрагментов такого ключа.

Идея вот в чем: одного совпадения хэша из галереи пользователя с хэшем из базы детского порно недостаточно, чтобы делать однозначные выводы. Поэтому «Эпл» устанавливает некое минимальное количество совпадений, необходимое, чтобы дать делу ход. Это количество неизвестно, но до тех пор, пока оно не будет достигнуто, в распоряжении «Эпл» окажется недостаточно фрагментов ключа для расшифровки содержимого ваучеров безопасности.

Как только нужное число фрагментов будет собрано, корпорация сможет расшифровать все ваучеры безопасности фотографий из базы детского порно — но только их, не остальных фото пользователя — отправить их на ручную проверку модератору и при необходимости передать информацию в NCMEC, сотрудничающему с правоохранительными органами.

Грозит ли это чем-то обычным пользователям

Зависит от дальнейших действий, а также от дальнейших действий «Эпл» и властей. Прямо сейчас система выглядит как безусловное благо: она позволит выявлять людей, которые по какой-то причине хранят на своих телефонах большое количество фотографий, признанных детским порно.

С другой стороны, существующий механизм гипотетически можно использовать, чтобы находить в коллекциях пользователей и другие виды запрещенного — или неугодного властям — контента.

Криптограф Мэтью Грин, преподающий в университете Джонса Хопкинса, написал, что такой механизм в будущем может стать «ключевым компонентом для системы слежки за защищенными средствами связи». Он также опасается, что алгоритм хэширования может оказаться уязвимым для атак, когда специально сгенерированное изображение будет иметь такой же хэш, как и фотография из запрещенной базы.

И Мэтью Грин, и журналисты The Verge, писавшие о нововведениях «Эпл», особенно опасаются, что новый механизм заинтересует власти Китая, которые пытаются получить как можно более широкий доступ к данным местных пользователей Айфонов.

Что говорит «Эпл» в ответ критикам

Через несколько дней после анонса «Эпл» опубликовала документ с ответами на часто задаваемые вопросы о нововведениях, касающихся защиты детей и борьбы с распространением детской порнографии.

В этом документе компания объясняет, что детекция обнаженных фото в «Сообщениях» и поиск детской порнографии среди снимков, выгружаемых в iCloud, — это две разные технологии, не связанные друг с другом. Так, первая технология работает целиком на устройстве несовершеннолетнего пользователя, добавленного в семейную группу, и только если родители включат эту функцию.

При этом родители получат уведомление о том, что ребенок получил или отправил неприемлемое фото, только если он не достиг 13 лет. Подростки от 13 до 17 лет тоже увидят предупреждение об обнаруженной «обнаженке», но уведомление родителям отправлено не будет.

Технология анализа фотографий пользователей на наличие в них детского порно, подчеркивает «Эпл», работает только со снимками, выгружаемыми в Айклауд. Если отключить синхронизацию с облаком, личные снимки пользователей сканироваться не будут.

Шанс ошибочного обвинения невинных людей в хранении детского порно крайне низок, подчеркивает компания, в том числе благодаря тому, что перед тем, как предпринять какие-то действия, она передаст подозрительные снимки на анализ модераторам.

Наконец, один из вопросов звучит так: «Смогут ли власти заставить „Эпл“ добавить в список хэшей, по которым ведется сравнение, изображения, не являющиеся детской порнографией?» Компания ответила, что будет отклонять любые такие требования, и отметила, что технология разрабатывалась исключительно для борьбы с детским порно.


Что еще нужно искать с помощью такого механизма?
Комментарии проходят модерацию по правилам журнала
Загрузка
0

Как любят любые ограничения подгонять по началу под защиту детей. :-)

Но только фотографии слабовато для крупной корпорации. Можно анализировать больше факторов. Например, человек в баре оплатил через Apple Pay любимые спиртные напитки, а потом телефон оказался в его машине, отправляем информацию полиции о местоположении в реальном времени.
Еще в машине можно отслеживать скорость по GPS и сразу отправлять полиции для формирования штрафов.
Можно еще включать автоматически запись если в разговоре встречаются агрессивные слова и разговор идет на повышенных тонах. Мало ли вдруг человек что-то противоправное совершит. :-)

43
Герой Т—Ж

06.08.21, 18:49

Alexey, я считаю эпплвотч должен определять, сколько раз в день человек крестится, и если делает это неправильно или мало - докладывать куда надо.

68

Alexey, а вот кстати хорошая идея: автоматическое определение опьянения, и анализ управляет ли он авто.

1

Lupus, это сарказм, и технически невозможно установить. Он может быть просто пассажиром такси.

0
Удалённый пользователь

06.08.21, 20:39

Lupus, чего?

0
0

>корпорация никакой информации об этих фотографиях получать не будет
>Если система найдет достаточно большое количество запрещенных фотографий, их передадут сотруднику Apple

Ну да, ну да.

28
Герой Т—Ж

07.08.21, 11:38

Виталий, то есть если кто-то нюдсы своих детей (ну не знаю, может чтобы за состояние болезни следить) то эппл отправит эти фото сотруднику Apple?

Звучит так как будто они решили быть и полицией и прокурором и судьёй в одном лице

6

Тёма, они давно уже такие) Просто расширяют инструментарий.

3

Тёма, все верно, а вам как родителю потом срок мотать.

0

Pavla, Пока вы не сказали, вас никто не подозревал)

28
0

Просто напомню, что РКН тоже начинался с защиты детей.

28
0

Ничего. Приватность важнее любой защиты детей, тем более мнимой, как тут.

24
Удалённый пользователь

06.08.21, 20:43

Pavla, учитывая, что обычно громче всех кричит «Кто пёрнул?!» тот, кто и пустил газы…

19
0

Скорее это малекий шажок в сторону нарушения приватности или даже нога в двери для новых шагов. Для озвученных целей мало полезно, это не значит, что не будет множества восторженных яжматерей контроллёров. Они будут даже если эффективность окажется лишь 1% ввиду общего количества устройств и тенденции цифровизации.

Почему:
- Защита детей в iMessage, но это только в iMessage, а родительский доступ может запретить установку других мессенджеров или web-мессенджеры в браузере? Нюдсы в сторонних мессенджерах не будут сопровождаться предупреждением родителей получается. А если мелкому будет так сложно сделать это дистанционно со своим телефоном, не пойдёт он/она на более решительные меры или будет использовать второй телефон.
- По хешу устанавливается наличие признанной NCMEC детской порнографии, а что если она новая уникальная будет?

А что работает? Уроки полового воспитания, внимание родителей и своевременное объяснение ребёнку всего нового/странного/необычного человеческим языком, работа с детским психологом. Последний пункт полезен ввиду того что не все дети по разным причинам могут понять предыдущие пункты и это даже не отклонение, а особенность сочетания возраста и воспитания скорее.

17

Если вы объективизируете своих детей и низводите их до статуса домашних животных, отказывая им в возможности учится самостоятельно принимать решения, при этом считаете, что они уже могут пользоваться айфоном, то будьте готовы, что корпорация и государство точно также поступят по отношению к вам.

0
Удалённый пользователь

06.08.21, 22:25

Pavla, тамбовский волк вам мальчик ;)

17

Pavla, если вы видите, что ваши комментарии начинают густо краснеть, то это сигнал к тому, чтобы возобновить прием таблеток. С вами тут такое регулярно случается, я ни в коем случае не издеваюсь, а проявляю заботу о ближнем.

17

Pavla, ну вы серьезно, что ли? 🤦 Например, в статье про кулинарные гаджеты напишет какой-нибудь умник что-то подобное вашему изречению, типа:"одни бабы комментируют, всё понятно"- это не будет считаться сексизмом? А вы тут вообще людей в страшных вещах обвиняете. Дискриминация по половому признаку работает в обе стороны, и одинаково вызывает отвращение

15

Pavla, а это уже какой-то сексизм с вашей стороны

14

Pavla, давайте вам (и всем остальным людям) прикрутим к голове камеру go pro с записью нон стоп, записи с которой всегда могут смотреть полицейские (номинально, а по факту - кто сможет добраться).

Ради защиты детей - чтобы в режиме онлайн отслеживать, вдруг кто захочет совершить "противоправные действия какого то там характера".

Вы же не будете сопротивляться, ради такой благой цели?

13

Pavla, ну нет. Мне скрывать нечего. Но в стране, когда сажают за комментарий вконтакте 15-летней давности, может быть всякое, и этим уважаемым представителям власти давать доступ к своему цифровому имуществу без разрешения суда я точно не буду.

11

Pavla, дело даже не в детском порно на телефоне. Дело в том, что сейчас это детское порно, завтра это детское порно и способ совершения самоубийств, послезавтра добавится способы употребления наркотиков, а через неделю тебя можно будет арестовать и осудить просто потому что. Так уже было не раз.

9
0

Исправляю заголовок:

«Эпл» будет анализировать все фотографии пользователей.

Тупым объяснять про приватность уже надоело, вы любой тоталитарный режим схаваете.
Цитата Сноудена здесь как нельзя кстати:

Утверждать о том, что приватность вам безразлична, потому что вам нечего скрывать, равносильно высказыванию: мне не нужна свобода слова, потому что мне нечего сказать.

9

Pavla, цитирую ваш же комментарий из этой ветки)
"о да, я безумно подозрительна в окружении осуждающих новость комментаторов мужского пола))"
Вы вроде бы как и ни на что не намекаете ;) женщины тоже грешат совращением малолетних, или тут уже работает "вынипанимаете,это другое!"? :)

8
0

06.08.21, 20:41

Отредактировано

Пользователя Эппла - цифровые рабы, как справедливо отметил Павел Дуров.

7

Иван, пользователь любого смартфона является цифровым рабом, если он не может от него отказаться, или хотя бы перейти на кнопочный телефон. А то что кого-то просканируют раньше остальных, можно использовать для самоутешения, но очень недолго.

0
0

Мне что, теперь Librem 5 покупать что ли? Думаю это только вопрос времени, когда Гугль внедрит что-то подобное в Андроиде.

6

Sergey, пользоваться прошивкой без гуглосервисов, как вариант. :)

2

10.08.21, 00:28

Отредактировано

Sergey, Эппл впереди планеты всей. Остальные догоняют. Инклюзивный фашизм подымает свою голову.

0

Pavla, а "девочки", по вашему не могут быть "любительницами по младше"?
Вот в этом как раз сексизм.

6

Pavla, а вы уверены, что ТОЛЬКО это? Или что завтра список категорий не будет расширен (механизм то уже работает)? Или что под шумок вам не отправят пару сообщений с пикантным содержанием, якобы с детского аккаунта? И можно ещё предложать.

6

Pavla, да. Предлагаю вам вспомнить китайский фаервол, или российское законодательство об НКО, или патриотический акт США. Ведь все для благих намерений, чтобы уберечь граждан и особенно деточек от злых террористов.
А теперь никто не может запихнуть этих джинов обратно в их бутылки.

И это только самые медийно известные примеры...

5

Pavla, нет, а вот любителей приватности и защиты частной переписки - вполне.

4

Pavla, перепись идет о приватности данных пользователей. Механизм изьятия данных запускается, под эгидой "защиты детей", а дальше эти данные будут монетизировать в совсем других целях.

4
Удалённый пользователь

08.08.21, 10:19

Pavla, прикол как раз в том, что многим даже существующее не ок. Но во-первых, все подобные штуки работали при запуске приложений, который можно контролировать, а теперь анализирует хранилище; а во-вторых, если мне уже не нравится слежка, но идёт доработка в худшую сторону, то я должен такой сидеть и «всё окей»?
Если вы думаете, что до вас эта волна не дойдёт, то знайте, дойдёт. Сегодня педофила поймают, завтра трамписта в штатах или оппозиционера в россии, а послезавтра придут ко мне и к вам просто потому что.

4

Pavla, дело в том, что этого большого брата тоже не любят и бороться с ним. Пока главный успех это принятие GDPR.

Хотя как человек наблюдающий за развитием браузеров, должен сказать, что кое-где большого брата прогнуть всеже удаётся.

3
0

Грустно конечно но это тренд. Никакой приватности в 21 веке нет. Мне приходят спам-смс с рекламой парковочных мест в соседнем ЖК. Знают и как зовут, и где нахожусь, и номер авто. А все начиналось с "защиты детей".

3
0
Герой

06.08.21, 19:34

Отредактировано

Сначала они якобы неугодные снимки отыскивают и цензурируют, а потом что? А потом то что будет нужно. Политиков, книги, статьи, неугодные фотографии, всё что угодно. Начнут одни потом внедрят и другие создав едины ИИ. Внедрять будем медленно и мягко. То что было немыслимо раньше будет нормой потом.
Так можно будет к примеру взять к примеру и вырезать всю историю о второй мировой и геноциде народов. А вот не было её и всё. А старое поколении постепенно забудет.

Собственно мы видим окно Овертона в действии. Это уже применялось не раз и всё для нашего блага.

2

Тёма, нет к класиффикации и распознания изображений, хеши не имеют отношения, толко к сравнению на одинаковость. В статье все неплохо описано.

2

Pavla,
>у меня в фейсбучной ленте

Вот это главная проблема.
Чтобы не было анализа переписки достаточно пользоваться нормальными мессенджерами.

2

Pavla, после штатов я стал возить с собой "стерильный" смартфон для поездок. Без мессенджеров, без облака. А основной оставляю дома. Компромата на нем нет, но когда менты копаются в твоей личной переписке все равно неприятно.

2
0

фруктолюбы опять заявят о том, что жопс велик и так нужно, а все остальные просто ничего не понимают)

а что искать? детское п*рно (запрещённый на территории РФ контент) про употребляющего роскомнадзор (запрещённые на территории РФ вещества) Н*вального (запрещённый на территории РФ гражданин), склоняющего детей к роскомнадзор (запрещённый на территории РФ способ смерти)

1

Kursor, фруктолюбы фруктолюбами, но наверняка и другие облачные провайдеры подтянутся.

4

Егор, у меня облако в шта.. в шкафу. Моё, личное, персональное. В моём шкафу. Лично мне всё равно)

0

Kursor, да, да... Скажите это китайскому глубокому анализу трафика, через MITM атаку на все население....

0
0

06.08.21, 17:24

Отредактировано

Программистам поэтому сейчас столько и платят. Чтобы они бигдату запрограммировали на то чтобы из «новой нефти» бабки качать.

1
0
Герой

06.08.21, 20:30

Отредактировано

Это сюжет для новой DLC The outer worlds:imessage

1
0

Не слишком ли дохрена стало в нашем мире заботы о детях?
Стал симпатизировать чайлдфри...
"Джордж Кардин - нах.. детей.mp4"

1
0

«система будет только выяснять, нет ли среди них снимков из базы»
а эпл не привлекут за хранение?

1

Сообщество