このアンソロポシックリサーチは、TEEを用いた安全なAI推論に関するもので、Web3に非常に関連性があります。

TEEは機密推論のコアプリミティブの一つとなる可能性があります。

検証可能な推論は、web3-AIの代表的なユースケースの一つと見なされています。そのような物語の中で、信頼できる実行環境(TEEs)の使用が中心的な役割を果たしています。最近、Anthropicはこの分野に関するいくつかのアイデアを概説した研究論文を発表し、web3-AIのアジェンダを進めるために関連する可能性があります。

生成AIサービス — 会話型エージェントから画像合成まで — は、機密性の高い入力を扱うことがますます多くなり、貴重で独自のモデルを保持しています。機密推論は、ハードウェアバックのTEEと堅牢な暗号化ワークフローを組み合わせることによって、信頼できないインフラストラクチャでのAIワークロードの安全な実行を可能にします。このエッセイでは、機密推論を可能にする主要な革新を提示し、クラウドおよびエッジ環境での生産展開のために設計されたモジュラーアーキテクチャを検討します。

機密推論におけるコアイノベーション

機密推論は、3つの基礎的な進歩に基づいています:

信頼できる実行環境 (TEEs) 現代のプロセッサ上で

Intel SGX、AMD SEV-SNP、AWS Nitroのようなプロセッサは、シールドされたエンクレーブを作成し、コードとデータをホストOSおよびハイパーバイザーから隔離します。各エンクレーブは、起動時にその内容を測定し、署名された証明書を公開します。この証明書により、モデルとデータの所有者は、秘密を公開する前に、承認された改ざんされていないバイナリ上でワークロードが実行されていることを確認できます。

セキュアアクセラレーター統合

高性能な推論には、GPUまたは専門のAIチップが必要な場合が多いです。これらのアクセラレーターを確保するための2つの統合パターンがあります：

• ネイティブ TEE GPU: 次世代アクセラレーター ( 例えば、NVIDIA H100) は、ハードウェアの隔離を組み込み、モデルと入力を保護されたアクセラレーターのメモリ内で直接復号化し、出力をその場で再暗号化します。 attestations は、アクセラレーターのファームウェアとドライバースタックが期待される状態と一致していることを保証します。
• CPU-エンクレーブブリッジング: アクセラレーターがネイティブTEEサポートを欠いている場合、CPUベースのエンクレーブが暗号化されたチャネルを確立します ( 例えば、保護された共有メモリバッファ ) とGPUとの間で。エンクレーブはデータの移動と推論を調整し、攻撃面を最小限に抑えます。

確認済み、エンドツーエンド暗号化ワークフロー

機密推論は、エンクレーブの証明に基づいた二段階の鍵交換を採用しています：

• モデルプロビジョニング: モデルの重みは、モデル所有者のキー管理サービス(KMS)の下でエンベロープ暗号化されています。デプロイ中、エンクレーブの証明書ドキュメントはKMSによって検証され、その後、データ暗号化キー(DEK)がエンクレーブに直接リリースされます。
• データ取り込み: 同様に、クライアントはエンクレーブの公衆鍵の下で入力を暗号化しますが、その前にエンクレーブの認証を確認します。エンクレーブは入力を復号し、推論を実行し、出力をクライアントのために再暗号化します。これにより、モデルの重みやユーザーデータがエンクレーブの外で平文として表示されることはありません。

リファレンスアーキテクチャ概要

商業用の機密推論システムは通常、3つの主要コンポーネントで構成されています:

機密推論サービス

• セキュアエンクレーブプログラム: TEEにロードされる最小限のランタイムで、復号化、モデル実行、および暗号化を行います。ディスク上に永続的な秘密を避け、ホストには暗号化されたブロブを取得し、アテステーションを中継することだけを依存します。
• エンクレーブプロキシ: ホストOSに常駐し、このプロキシはエンクレーブを初期化および検証し、ストレージから暗号化されたモデルブロブを取得し、KMSおよびクライアントとの安全な通信を調整します。厳格なネットワーク制御により、プロキシは承認されたエンドポイントのみを仲介します。

モデルプロビジョニングパイプライン

• KMSによるエンベロープ暗号化: モデルは改ざん防止のバイナリーデータに事前に暗号化されています。エンクレーブの認証は、DEKがアンラップされる前にKMSの検証に合格する必要があります。超機密モデルの場合、キー管理は外部露出を避けるためにエンクレーブ内部で完全に行われることがあります。
• 再現性のあるビルドと監査: 決定論的ビルドシステム(、例えばBazel)やオープンソースのエンクレーブを使用することで、関係者は展開されたバイナリが監査されたコードと一致することを独立して確認でき、サプライチェーンリスクを軽減できます。

開発者およびビルド環境

• 決定論的で監査可能なビルドパイプライン: コンテナイメージとバイナリは検証可能なハッシュで生成されます。依存関係は最小限に抑えられ、TEEの攻撃面を減らすために精査されています。
• バイナリ検証ツール: ビルド後の分析 (例として、コンパイルされたエンクレーブをソース)と比較することで、ランタイムが監査されたコードベースと正確に一致することを確認します。

コンポーネントワークフロー＆インタラクション

認証とキー交換

1. エンクレーブは一時的な鍵ペアを生成し、暗号的測定値を含む署名付き証明書を作成します。
2. モデルオーナーのKMSが証明を検証し、DEKをエンクレーブに展開します。
3. クライアントはエンクレーブの証明書を取得し、それを検証し、エンクレーブの公開鍵の下で推論入力を暗号化します。

推論データパス

• モデルのロード: 暗号化されたバイナリがエンクレーブにストリームされ、保護されたメモリ内のみで復号化されます。
• 計算フェーズ: 推論はCPUまたは安全なアクセラレーターで実行されます。ネイティブGPU TEEでは、テンソルは処理されるまで暗号化されたままです。ブリッジ接続されたセットアップでは、暗号化されたバッファと厳密なコアアフィニティが分離を強制します。
• 出力暗号化: 推論結果はエンクレーブ内で再暗号化され、クライアントに直接返されるか、厳格なアクセスルールの下でプロキシを通過します。

最小特権の強制 すべてのネットワーク、ストレージ、および暗号化の権限は厳密に範囲が定められています。

• ストレージバケットは、認証されたエンクレーブからのリクエストのみを受け付けます。
• ネットワークACLは、KMSおよびエンクレーブエンドポイントへのプロキシトラフィックを制限します。
• ホストデバッグインターフェースは、内部の脅威を防ぐために無効化されています。

脅威の軽減とベストプラクティス

• サプライチェーンセキュリティ: 再現可能なビルドと独立したバイナリ検証により、悪意のあるツールチェーンの侵害を防ぎます。
• 暗号的機敏性: 定期的な鍵のローテーションとポスト量子アルゴリズムの計画は、将来の脅威から保護します。
• アクセラレーターサイドチャネル防御: アクセラレーターでネイティブTEEを優先し、CPUエンクレーブを介してブリッジする際には厳格なメモリエンクリプションとコアアイソレーションを施す。
• 運用の強化: 不要なホストサービスを削除し、デバッグを無効にし、オペレーターアクセスに対してゼロトラストの原則を採用する。

まとめ

機密推論システムは、ハードウェアTEE、セキュアアクセラレーターワークフロー、認証された暗号化パイプラインを統合することで、信頼できない環境でのAIモデルの安全な展開を可能にします。ここで概説されているモジュラーアーキテクチャは、パフォーマンス、セキュリティ、監査可能性のバランスを取っており、プライバシーを保護するAIサービスをスケールで提供しようとする組織にとって実用的な青写真を提供します。

この「TEEsを用いた安全なAI推論に関するAnthropic Research」は、Web3に非常に関連性がある可能性があります。これはSentoraで最初にMediumに掲載され、人々はこのストーリーに言及し、応答することで会話を続けています。