お問い合わせ

コース概要

オフラインEXOのデプロイメント

  • ランタイム時のインターネットアクセスを防ぐためのEXO_OFFLINEの使用
  • 信頼できる内部ミラーからEXO_MODELS_READ_ONLY_DIRSにモデルをプリロードする
  • SHA-256チェックサムと署名付きモデルカードを用いてモデルの重みの整合性を検証する
  • HuggingFace依存関係なしでエアギャップされたネットワークでEXOを実行する

ダッシュボードおよびAPIアクセス制御

  • TLS終端を持つリバースプロキシ(nginx、Caddy)のインストールと設定
  • EXOダッシュボードおよびREST APIに対するロールベースのアクセス制御の実装
  • API認証用のシークレットをmacOSキーチェーンまたはLinux passに保存する
  • 特定のソースIP範囲に限定された管理エンドポイントへのアクセス制限

クラスターの分離とネットワークセキュリティ

  • EXO_LIBP2P_NAMESPACEおよびVLANを用いてEXOクラスターをセグメント化する
  • EXOポートに対してホストファイアウォール(macOSアプリケーションファイアウォール、iptables、nftables)を設定する
  • 許可されていないデバイスの検出および不正なノードの注入を防ぐ
  • RDMAが利用できない場合に、ノード間のlibp2pトラフィックを暗号化する

モデルガバナンスと起源証明

  • 承認済みモデルリストおよびメタデータを含む内部モデルレジストリを構築する
  • 量子化された重み(4ビット、8ビット)をソースチェックポイントと共にタグ付けおよびバージョニングする
  • 特定のHuggingFaceリポジトリまたは内部アーティファクトのみが読み込まれることを強制する
  • モデルの系譜、ライセンス条項、および使用許諾ポリシーを文書化する

監査ログとコンプライアンス

  • 変更不可能な監査証跡(SIEM、WORMストレージ)へのEXOログ転送を設定する
  • APIコールログをユーザーIDおよびタイムスタンプと相関させる
  • モデルインスタンスの作成、削除、推論リクエストイベントをキャプチャする
  • 内部および外部監査員向けの定期的なコンプライアンスレポートを生成する

脅威モデリングとインシデント対応

  • 脅威の特定:モデル出力を通じたデータ漏洩、プロンプトインジェクション、サイドチャネル漏えいなど
  • プロンプトモニタリングおよびコンテンツフィルタリングパイプラインの実装
  • クラスター侵害シナリオのためのインシデント対応ランブックの作成
  • 影響を受けたノードの隔離、フォレンジックログの保全、クリーンな環境の再構築

物理セキュリティとハードウェアの境界

  • 許可されていないRDMAケーブル接続からサンダーボルトポートを保護する
  • 該当する場合、セキュアエンクレーブおよびApple Siliconのハードウェア証明を使用する
  • クラスター化されたMacと共有ストレージへの物理アクセスを制御する
  • ハードウェアのライフサイクルおよび廃棄手順を文書化する

規制上の考慮事項

  • EXOデプロイメントをGDPR、HIPAA、SOC 2の要件にマッピングする
  • オンプレミスでの推論を維持することでデータ居住地を確保する
  • ベンダーサプライチェーンリスク(MLX、EXO、モデルの重み)を文書化する
  • EU AI法第53条などのAIガバナンスフレームワークに対応する準備をする

要求

  • EXOまたは他のローカルLLMランタイムに関する経験
  • Unixファイルシステムの権限とネットワークACLの理解
  • TLS/SSL証明書管理と暗号化の基本に関する知識

対象者

  • セキュリティエンジニア
  • コンプライアンスオフィサー
  • 機密データを扱うAIインフラストラクチャ管理者
 14 時間

参加者の人数


参加者1人あたりの価格

お客様の声 (1)

今後のコース

関連カテゴリー