Apple、アップロードされたコンテンツに児童虐待画像が含まれていないかスキャンを開始(更新)

Apple、アップロードされたコンテンツに児童虐待画像が含まれていないかスキャンを開始(更新)


2019 年 6 月 5 日に最初に公開され、新しい情報を追加するために時々更新されます。

時々、Appleのセキュリティページとプライバシーポリシーを確認するのが好きです。2019年5月9日に最終更新されたプライバシーポリシーに新しい点が加えられていることに気づきました。「個人情報の利用方法」という見出しの下にある段落の一つに、以下のように記載されています(強調追加)。

当社は、すべてのユーザーの利益のために当社のサービスを保護するため、および児童の性的搾取コンテンツを含む違法の可能性があるコンテンツがアップロードされていないか事前審査またはスキャンするためなど、アカウントおよびネットワークのセキュリティ目的でお客様の個人情報を使用する場合もあります。

フォトDNA

Appleは何年も前からこの方法を採用していたかもしれませんが、プライバシーポリシーにこの記述が登場するのは今回が初めてです。また、Wayback Machineを使って以前のバージョンも確認しました。AppleはPhotoDNAを使用しているのではないかと推測しますが、これはMicrosoftが2009年に開発した技術です。

PhotoDNAは主に児童ポルノの防止に使用され、画像を表す一意のハッシュ値を計算する仕組みです。このハッシュ値は、画像の変更(サイズ変更や軽微な色の変更など)に対して耐性を持つように計算されます。画像を白黒に変換し、サイズを変更し、グリッドに分割し、輝度の勾配やエッジに注目することで機能します。

マイクロソフトは最終的に、PhotoDNAを全米行方不明・被搾取児童センター(NCMEC)に寄贈しました。これはFacebook、Twitter、Googleなどの企業で利用されています。基本的に、写真や動画のハッシュを作成し、NCMECの 児童被害者識別プログラムデータベースに登録されている既知の児童ポルノハッシュと比較し、一致するかどうかを確認します。

企業がユーザーコンテンツをスキャンすることは、たとえこのようなケースで善意で利用されるとしても、少々懸念材料です。特にAppleはプライバシー保護に力を入れているため、なおさらです。MicrosoftのPhotoDNAに関するFAQによると、画像は即座に安全なハッシュに変換され、リバースエンジニアリングは不可能です。PhotoDNAは児童ポルノに特化しており、他のコンテンツのスキャンには使用できません。

一つの可能​​性として、Appleのスキャンは写真分析デーモンによって行われていることが挙げられます。これは写真に写っている人物や物体などを検出するアルゴリズムで、ローカルで実行されます。「事前審査」という表現からもそれが推測できます。しかし、「アップロードされたコンテンツ」という言葉が私には理解できません。AppleはiCloud Drive内のデータをスキャンしているのでしょうか、それともiCloudフォトだけでしょうか?「スキャン」という言葉も問題です。Appleが使っている言葉なので「スキャン」という言葉を使っていますが、ハッシュの比較と「スキャン」は同じではないと思います。

iCloudセキュリティ

AppleのiCloudセキュリティ概要ページでは、顧客データは転送中およびiCloudサーバー上で暗号化されていると述べられています。これには写真アプリとiCloud Driveに保存されているコンテンツの両方が含まれます。そこで、Appleがコンテンツをどの時点でスキャンするのか疑問に思います。明らかに暗号化される前です。

Appleの法的手続きガイドライン[PDF]によると、Appleは暗号化キーもクラウドに保存していることが分かっています。これは、Appleがユーザーのパスワードリセットを支援し、召喚状に基づいて法執行機関にデータを提供する方法です。さらに、AppleのiCloudに関する法的規約には、次のように記載されています(強調追加)。

C. コンテンツの削除

Appleは、他者が提供するコンテンツについていかなる責任も負わず、かかるコンテンツを事前審査する義務も負わないことをお客様は承認するものとします。ただし、Appleは、コンテンツが適切であり、本契約に準拠しているかどうかを常に判断する権利を留保し、かかるコンテンツが本契約に違反している、またはその他の理由で不適切であると判断された場合、事前の通知なく、Appleの独自の裁量により、いつでもコンテンツを事前審査、移動、拒否、修正、および/または削除することができます。

iCloudコンテンツが暗号化されているにもかかわらずスキャンしていないのに、Appleはどのようにしてコンテンツの適切性を判断できるのでしょうか?あるいは、先ほども述べたように、アップロード時または暗号化前にスキャンを行っているのかもしれません。誤解しないでください。Appleが児童虐待コンテンツをスキャンすることには何の問題もありませんが、一般の顧客コンテンツについてAppleがどの程度把握しているのかを知りたいのです。

「適切」という言葉は定義される必要がある。なぜなら、2012年にApple社が脚本家のメールに添付された脚本を削除したことがあるからだ。その理由は、脚本にコンピューターでポルノ広告を視聴する登場人物が描かれていたからである。

そして私はそれを目にした。台本の一節で、コンピューター画面でポルノサイトの広告を見ている登場人物を描写していた。この一節を修正したところ、原稿全体が問題なく納品された。

私はApple に質問し返答があればこの記事を更新します。

注:さらに、読者が下記で指摘している重要な点として、iCloudコンテンツのエンドツーエンド暗号化は、2ファクタ認証を有効にした場合にのみ有効になるという点があります。ただし、これにはiCloud DriveとiCloudフォトは含まれません。エンドツーエンド暗号化は、「転送中およびサーバー上で保存中に暗号化される」こととは異なります。

更新日: 2019年10月25日

PhotoDNAの開発に協力した一人であるヘンリー・ファリドは、  Wired誌に次のような記事を書いています

暗号化とハッシュ化の近年の進歩により、PhotoDNAのような技術はエンドツーエンド暗号化を備えたサービス内で動作できるようになりました。部分準同型または完全準同型と呼ばれる特定の暗号化アルゴリズムは、暗号化されたデータに対して画像ハッシュ化を実行できます。つまり、暗号化されたメッセージ内の画像は、Facebookやその他の第三者が復号化することなく、既知の有害コンテンツと照合できます。この分析では、児童性的虐待の既知の画像でない限り、画像の内容に関する情報は提供されないため、プライバシーは保護されます。

準同型暗号はまだ比較的新しい技術で、Appleが現在使用しているとは思えません。しかし、 この技術で暗号化されたデータに対して、差分プライバシーでAppleが行っているのと同様の計算を実行できるため、Appleが使用する可能性はあります。iOS 13のセキュリティガイドで何か知見が得られるか楽しみです。あるいは、先ほど述べたように、Appleは アップロードして暗号化する前に、このコンテンツをスキャンしているだけかもしれません。

更新日: 2020年1月8日

ついに答えが見つかったようです。CES 2020で、Appleの最高プライバシー責任者であるジェーン・ホルバート氏が、iCloudにバックアップされた写真のスキャンについて言及していました。

この取り組みの一環として、Appleは画像マッチング技術を用いて児童搾取の発見と報告を支援しています。メールのスパムフィルターと同様に、Appleのシステムでは電子署名を用いて児童搾取の疑いのある行為を検出しています。

「児童搾取コンテンツを含むアカウントは当社の利用規約に違反しており、このようなコンテンツを含むアカウントは無効になります。」

ようやく Apple から公式の発表が聞けてよかったです。

更新日: 2020年2月11日

捜査令状により、Apple がこのようなコンテンツを探すために電子メールをスキャンしていることが明らかになった。

更新日: 2021年8月9日

忙しい週末でした。Appleは当初プライバシーポリシーを静かに更新していましたが、ついに公式発表しました。この記事は、Appleがいつ、何をしたのかを正確に把握しようと試みたものです。例えば、iCloudデータが暗号化されているのに、どうやってこのような情報をスキャンできるのでしょうか?

AppleはiCloudへのアップロード時に既知のCSAMのハッシュをスキャンします。これは前述の「事前スクリーニング」の用語の意味です。しかし現在、Appleはこのスキャンアルゴリズムとハッシュデータベースを各デバイスのローカルに移植しました。これはプライバシーと侵害性の間の巧妙な妥協点と言えるでしょう。

PhotoDNAでもありません。Appleは独自の技術「NeuralHash」を開発しました。こちらに技術的なPDFがあり、こちらにも分かりやすいPDFがあります。

結論:ローカルでスキャンが行われているにもかかわらず、スキャンされるのはiCloudフォトにアップロードされた写真のみです。iCloud以外の写真や、(おそらく)ファイルアプリなど他の場所に保存されている写真には影響しません。

Knowledge Network