お問い合わせ

コース概要

オフラインEXOデプロイメント

  • ランタイム時のインターネットアクセスを防ぐためにEXO_OFFLINEを使用する
  • 信頼できる内部ミラーからEXO_MODELS_READ_ONLY_DIRSへモデルをプリロードする
  • SHA-256チェックサムと署名付きモデルカードでモデル重みの整合性を検証する
  • HuggingFaceへの依存なしでエアギャップネットワークでEXOを実行する

ダッシュボードとAPIのアクセス制御

  • TLS終端付きのリバースプロキシ(nginx、Caddy)のインストールと構成
  • EXOダッシュボードとREST APIに対するロールベースのアクセス制御の実装
  • API認証用のシークレットをmacOSキーチェーンまたはLinux passに格納する
  • 管理対象エンドポイントを特定の送信元IP範囲に制限する

クラスターの分離とネットワークセキュリティ

  • EXO_LIBP2P_NAMESPACEとVLANを使用してEXOクラスターをセグメント化する
  • EXOポート用にホストファイアウォール(macOSアプリケーションファイアウォール、iptables、nftables)を設定する
  • 不正なデバイスの検出とルージェノードの注入を防ぐ
  • RDMAが利用できない場合にノード間のlibp2pトラフィックを暗号化する

モデルガバナンスと出自

  • 承認されたモデルリストとメタデータを含む内部モデルレジストリを構築する
  • 量子化された重み(4ビット、8ビット)をソースチェックポイントと共にタグ付けおよびバージョン管理する
  • 特定のHuggingFaceリポジトリまたは内部アーティファクトのみがロードされるように強制する
  • モデルの系統、ライセンス条項、および適切な使用ポリシーを文書化する

監査ログとコンプライアンス

  • EXOログの転送を不変の監査証跡(SIEM、WORMストレージ)に構成する
  • API呼び出しログをユーザーIDとタイムスタンプと相関させる
  • モデルインスタンスの作成、削除、および推論要求イベントをキャプチャする
  • 内部および外部の監査員向けに定期的なコンプライアンスレポートを生成する

脅威モデリングとインシデント対応

  • 脅威の特定:モデル出力を通じたデータ漏洩、プロンプトインジェクション、サイドチャネル漏洩など
  • プロンプトモニタリングとコンテンツフィルタリングパイプラインの実装
  • クラスターの侵害シナリオに対するインシデント対応手順書を作成する
  • 影響を受けたノードを隔離し、フォレンジックログを保存し、クリーンな環境を再構築する

物理セキュリティとハードウェア境界

  • Thunderboltポートを不正なRDMAケーブル接続から保護する
  • 適切な場合にセキュアエンクレーブとApple Siliconのハードウェア証跡を使用する
  • クラスター化されたMacと共有ストレージへの物理的なアクセスを制御する
  • ハードウェアのライフサイクルと廃棄手順を文書化する

規制対応の考慮事項

  • EXOデプロイメントをGDPR、HIPAA、SOC 2の要件にマッピングする
  • オンプレミスでの推論を維持することでデータ居住性を維持する
  • ベンダーサプライチェーンリスク(MLX、EXO、モデル重み)を文書化する
  • EU AI Act第53条などのAIガバナンスフレームワークに備える

要求

  • EXO、または他のローカルLLMランタイムの経験
  • UnixファイルシステムパーミッションとネットワークACLの理解
  • TLS/SSL証明書管理と暗号化の基礎への習熟

対象者

  • セキュリティエンジニア
  • コンプライアンス担当者
  • 機密データを扱うAIインフラストラクチャ管理者
 14 時間

参加者の人数


参加者1人あたりの価格

お客様の声 (1)

今後のコース

関連カテゴリー