お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
期間 14 時間
コース概要
AI主权与LLM本地部署
- 云端LLM的风险:数据保留、输入数据用于训练、外国司法管辖权。
- Ollama架构:模型服务器、注册表及兼容OpenAI的API。
- 与vLLM、llama.cpp和Text Generation Inference的比较。
- 模型许可:Llama、Mistral、Qwen和Gemma的条款。
安装与硬件设置
- 在支持CUDA和ROCm的Linux上安装Ollama。
- 仅CPU的回退方案及AVX/AVX2优化。
- Docker部署及持久卷映射。
- 多GPU设置及VRAM分配策略。
模型管理
- 从Ollama注册表拉取模型:ollama pull llama3。
- 从HuggingFace和TheBloke导入GGUF模型。
- 量化级别:Q4_K_M、Q5_K_M、Q8_0的权衡。
- 模型切换及并发模型加载限制。
自定义Modelfile
- 编写Modelfile语法:FROM、PARAMETER、SYSTEM、TEMPLATE。
- 温度(Temperature)、top_p和重复惩罚(repeat_penalty)调优。
- 针对特定角色行为的系统提示词工程。
- 创建并发布自定义模型到本地注册表。
API集成
- 兼容OpenAI的 /v1/chat/completions 端点。
- 流式响应和JSON模式。
- 与LangChain、LlamaIndex及自定义应用的集成。
- 使用反向代理进行身份验证和速率限制。
性能优化
- 上下文窗口大小和KV缓存管理。
- 批量推理和并行请求处理。
- CPU线程分配和NUMA感知。
- 监控GPU利用率和内存压力。
安全与合规
- 模型服务端点的网络隔离。
- 输入过滤和输出审核管道。
- 提示词和补全的审计日志。
- 模型来源和哈希验证。
要求
- 中级Linux及容器管理知识。
- 对机器学习和Transformer模型的高层理解。
- 熟悉REST API和JSON。
受众
- 希望取代云端LLM API的AI工程师和开发人员。
- 因数据敏感性而无法使用云端模型的组织。
- 需要气隙(Air-gapped)语言模型的政府和国防团队。