LLM 应用开发

架构模式

用户输入 → Prompt 构建 → LLM 调用 → 后处理 → 输出
                ↑
           上下文/记忆

API 调用

import anthropic

client = anthropic.Anthropic()
response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[
        {"role": "user", "content": "Hello"}
    ]
)
print(response.content[0].text)

RAG 模式

1. 文档切片 — 将长文档拆分为 chunks
2. 向量化 — 用 embedding 模型生成向量
3. 检索 — 根据用户查询检索相关 chunks
4. 生成 — 将检索结果注入 prompt 生成回答

工具调用

LLM 输出结构化的函数调用意图，由应用层执行实际操作：

{
  "tool": "search",
  "arguments": {"query": "VitePress 部署"}
}