お問い合わせ
 期間 14 時間

コース概要

AI主权与LLM本地部署

  • 云端LLM的风险:数据保留、输入数据用于训练、外国司法管辖权。
  • Ollama架构:模型服务器、注册表及兼容OpenAI的API。
  • 与vLLM、llama.cpp和Text Generation Inference的比较。
  • 模型许可:Llama、Mistral、Qwen和Gemma的条款。

安装与硬件设置

  • 在支持CUDA和ROCm的Linux上安装Ollama。
  • 仅CPU的回退方案及AVX/AVX2优化。
  • Docker部署及持久卷映射。
  • 多GPU设置及VRAM分配策略。

模型管理

  • 从Ollama注册表拉取模型:ollama pull llama3。
  • 从HuggingFace和TheBloke导入GGUF模型。
  • 量化级别:Q4_K_M、Q5_K_M、Q8_0的权衡。
  • 模型切换及并发模型加载限制。

自定义Modelfile

  • 编写Modelfile语法:FROM、PARAMETER、SYSTEM、TEMPLATE。
  • 温度(Temperature)、top_p和重复惩罚(repeat_penalty)调优。
  • 针对特定角色行为的系统提示词工程。
  • 创建并发布自定义模型到本地注册表。

API集成

  • 兼容OpenAI的 /v1/chat/completions 端点。
  • 流式响应和JSON模式。
  • 与LangChain、LlamaIndex及自定义应用的集成。
  • 使用反向代理进行身份验证和速率限制。

性能优化

  • 上下文窗口大小和KV缓存管理。
  • 批量推理和并行请求处理。
  • CPU线程分配和NUMA感知。
  • 监控GPU利用率和内存压力。

安全与合规

  • 模型服务端点的网络隔离。
  • 输入过滤和输出审核管道。
  • 提示词和补全的审计日志。
  • 模型来源和哈希验证。

要求

  • 中级Linux及容器管理知识。
  • 对机器学习和Transformer模型的高层理解。
  • 熟悉REST API和JSON。

受众

  • 希望取代云端LLM API的AI工程师和开发人员。
  • 因数据敏感性而无法使用云端模型的组织。
  • 需要气隙(Air-gapped)语言模型的政府和国防团队。

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー