ТЕП можуть бути одними з основних примітивів у конфіденційному виведенні.
!
Перевірна інференція вважається одним із канонічних випадків використання web3-AI. У цих наративах використання довірених середовищ виконання(TEEs) було в центрі уваги. Нещодавно компанія Anthropic опублікувала наукову статтю, в якій викладені деякі ідеї в цій сфері, які можуть бути важливими для просування порядку денного в web3-AI.
Служби генеративного ШІ — від розмовних агентів до синтезу зображень — дедалі більше довіряються чутливим даним і мають цінні, патентовані моделі. Конфіденційне виведення дозволяє безпечне виконання робочих навантажень ШІ на ненадійній інфраструктурі, поєднуючи апаратно забезпечені TEE з надійними криптографічними робочими процесами. У цьому есе представлені ключові інновації, які роблять можливим конфіденційне виведення, і розглядається модульна архітектура, створена для виробничих розгортань у хмарних та крайових середовищах.
Основні інновації в конфіденційних висновках
Конфіденційне виведення базується на трьох основних досягненнях:
Довірені середовища виконання (TEEs) на сучасних процесорах
Процесори, такі як Intel SGX, AMD SEV-SNP та AWS Nitro, створюють запечатані анклави, ізолюючи код і дані від хост-ОС та гіпервізора. Кожен анклав вимірює свій вміст під час запуску та публікує підписану атестацію. Ця атестація дозволяє власникам моделей і даних перевірити, що їх навантаження працює на затвердженому, незмінному бінарному файлі перед тим, як розкрити будь-які секрети.
Інтеграція безпечного акселератора
Високопродуктивне виведення часто вимагає графічних процесорів або спеціалізованих чіпів ШІ. Два патерни інтеграції забезпечують ці прискорювачі:
Нативні TEE графічні процесори: Акселератори наступного покоління (, наприклад, NVIDIA H100) вбудовують апаратну ізоляцію, яка розшифровує моделі та вхідні дані безпосередньо в захищеній пам'яті акселератора, повторно шифруючи виходи на льоту. Атактації забезпечують відповідність прошивки акселератора та стеку драйверів очікуваному стану.
Мост між CPU-Enclave: Коли прискорювачі не мають нативної підтримки TEE, на основі CPU створюється зашифрований канал (, наприклад, захищені буфери спільної пам'яті ) з GPU. Enclave координує переміщення даних та інференцію, мінімізуючи поверхню атаки.
Засвідчений, кінцевий робочий процес шифрування
Конфіденційне висновування використовує двофазний обмін ключами, заснований на атестаціях енклаву:
Provisioning моделей: Ваги моделі зашифровані в обгортці під службою управління ключами власника моделі (KMS). Під час розгортання документ атестації енклаву перевіряється KMS, після чого він випускає ключ шифрування даних (DEK) безпосередньо в енклав.
Обробка даних: Аналогічно, клієнти шифрують вхідні дані під публічним ключем enclava лише після перевірки його атестації. Enclave розшифровує вхідні дані, виконує інференцію та повторно шифрує вихідні дані для клієнта, гарантуючи, що ані ваги моделі, ані дані користувача ніколи не з'являються у відкритому вигляді за межами enclava.
Загальний огляд референсної архітектури
Система конфіденційного висновку виробничого класу зазвичай складається з трьох основних компонентів:
Конфіденційний сервіс висновків
Програма безпечного середовища: Мінімальний час виконання, завантажений у TEE, який виконує декодування, виконання моделі та шифрування. Він уникає зберігання постійних секретів на диску і покладається на хост тільки для отримання зашифрованих блобів і передачі атестації.
Enclave Proxy: Проживає в хост-операційній системі, цей проксі ініціалізує та атестує енклав, отримує зашифровані моделі з пам'яті та організовує безпечну комунікацію з KMS та клієнтами. Суворий контроль мережі гарантує, що проксі лише посередничає між затвердженими кінцевими точками.
! Потік постачання моделей
Шифрування конвертів через KMS: Моделі попередньо шифруються в стійкі до підробок об'єкти. Атестація анклава повинна пройти перевірку KMS перед розгортанням будь-якого DEK. Для надчутливих моделей обробка ключів може відбуватися повністю всередині анклава, щоб уникнути зовнішнього витоку.
Відтворювальні збірки та аудит: Використовуючи детерміновані системи збірки (, наприклад, Bazel) та відкриті енклави, зацікавлені сторони можуть незалежно перевірити, що розгорнутий бінарний файл відповідає перевіреному коду, зменшуючи ризики постачальницького ланцюга.
! Розробник & Середовище побудови
Детерміновані, аудиторські конвеєри збірки: Контейнерні зображення та двійкові файли виробляються з перевіряльними хешами. Залежності мінімізовані та перевірені, щоб зменшити поверхню атаки TEE.
Інструменти бінарної верифікації: Аналіз після зборки (, наприклад, порівняння скомпільованих енклавів із вихідним кодом ) забезпечує точну відповідність виконуваного коду перевіреній кодовій базі.
Компонентний робочий процес та взаємодії
Атестація та обмін ключами
Енклав генерує епhemeral ключову пару та створює підписане свідчення, що містить криптографічні вимірювання.
KMS власника моделі перевіряє атестацію та розпаковує DEK у захищене середовище.
Клієнти отримують атестацію енклаву, перевіряють її та шифрують вхідні дані для висновків під публічним ключем енклаву.
Шлях даних висновків
Завантаження моделі: Зашифровані блоби надходять у енклав, де вони розшифровуються лише в захищеній пам'яті.
Обчислювальна фаза: Виведення виконується або на ЦП, або на захищеному прискорювачі. У рідних ТЕП для ГП, тензори залишаються зашифрованими до обробки. У з'єднаних налаштуваннях зашифровані буфери та тісна прив'язка до ядра забезпечують ізоляцію.
Шифрування виходу: Результати висновків повторно шифруються всередині анклаву та повертаються безпосередньо клієнту або передаються через проксі за суворими правилами доступу.
Забезпечення найменших привілеїв
Всі мережеві, сховищні та криптографічні дозволи мають вузько визначений обсяг:
Сховища приймають запити лише з атестованих анклавів.
Мережеві ACL обмежують проксі-трафік до KMS та кінцевих точок енклаву.
Інтерфейси налагодження хостів вимкнені, щоб запобігти загрозам зсередини.
Заходи щодо зменшення загроз та найкращі практики
Безпека ланцюга постачання: Відтворювальні збірки та незалежна валідація бінарних файлів запобігають компрометації інструментів зловмисниками.
Криптографічна гнучкість: Періодична ротація ключів та планування для постквантових алгоритмів захищають від майбутніх загроз.
Захисти від побічних каналів прискорювачів: Віддавайте перевагу рідним TEE на прискорювачах; забезпечте суворе шифрування пам'яті та ізоляцію ядер при зв'язуванні через CPU-enclaves.
Операційне зміцнення: Видалити непотрібні послуги хоста, відключити налагодження та прийняти принципи нульового довіри для доступу операторів.
Висновок
Конфіденційні системи висновків забезпечують безпечне розгортання AI-моделей в ненадійних середовищах шляхом інтеграції апаратних TEE, безпечних робочих процесів прискорювачів та атестованих шифрувальних трубопроводів. Модульна архітектура, описана тут, балансує продуктивність, безпеку та аудиторність, пропонуючи практичну модель для організацій, які прагнуть надавати послуги AI з дотриманням конфіденційності в масштабах.
!
Це дослідження Anthropic про безпечний AI-інференс з використанням TEE може бути дуже актуальним для Web3, спочатку було опубліковано в Sentora на Medium, де люди продовжують обговорення, підкреслюючи та відповідаючи на цю історію.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Це дослідження Anthropic про безпечне AI-інференційне використання TEE може бути дуже актуальним для Web3
ТЕП можуть бути одними з основних примітивів у конфіденційному виведенні.
!
Перевірна інференція вважається одним із канонічних випадків використання web3-AI. У цих наративах використання довірених середовищ виконання(TEEs) було в центрі уваги. Нещодавно компанія Anthropic опублікувала наукову статтю, в якій викладені деякі ідеї в цій сфері, які можуть бути важливими для просування порядку денного в web3-AI.
Служби генеративного ШІ — від розмовних агентів до синтезу зображень — дедалі більше довіряються чутливим даним і мають цінні, патентовані моделі. Конфіденційне виведення дозволяє безпечне виконання робочих навантажень ШІ на ненадійній інфраструктурі, поєднуючи апаратно забезпечені TEE з надійними криптографічними робочими процесами. У цьому есе представлені ключові інновації, які роблять можливим конфіденційне виведення, і розглядається модульна архітектура, створена для виробничих розгортань у хмарних та крайових середовищах.
Основні інновації в конфіденційних висновках
Конфіденційне виведення базується на трьох основних досягненнях:
Довірені середовища виконання (TEEs) на сучасних процесорах
Процесори, такі як Intel SGX, AMD SEV-SNP та AWS Nitro, створюють запечатані анклави, ізолюючи код і дані від хост-ОС та гіпервізора. Кожен анклав вимірює свій вміст під час запуску та публікує підписану атестацію. Ця атестація дозволяє власникам моделей і даних перевірити, що їх навантаження працює на затвердженому, незмінному бінарному файлі перед тим, як розкрити будь-які секрети.
Інтеграція безпечного акселератора
Високопродуктивне виведення часто вимагає графічних процесорів або спеціалізованих чіпів ШІ. Два патерни інтеграції забезпечують ці прискорювачі:
Засвідчений, кінцевий робочий процес шифрування
Конфіденційне висновування використовує двофазний обмін ключами, заснований на атестаціях енклаву:
Загальний огляд референсної архітектури
Система конфіденційного висновку виробничого класу зазвичай складається з трьох основних компонентів:
Конфіденційний сервіс висновків
!
Потік постачання моделей
!
Розробник & Середовище побудови
Компонентний робочий процес та взаємодії
Атестація та обмін ключами
Шлях даних висновків
Забезпечення найменших привілеїв Всі мережеві, сховищні та криптографічні дозволи мають вузько визначений обсяг:
Заходи щодо зменшення загроз та найкращі практики
Висновок
Конфіденційні системи висновків забезпечують безпечне розгортання AI-моделей в ненадійних середовищах шляхом інтеграції апаратних TEE, безпечних робочих процесів прискорювачів та атестованих шифрувальних трубопроводів. Модульна архітектура, описана тут, балансує продуктивність, безпеку та аудиторність, пропонуючи практичну модель для організацій, які прагнуть надавати послуги AI з дотриманням конфіденційності в масштабах.
!
Це дослідження Anthropic про безпечний AI-інференс з використанням TEE може бути дуже актуальним для Web3, спочатку було опубліковано в Sentora на Medium, де люди продовжують обговорення, підкреслюючи та відповідаючи на цю історію.