AWS Machine Learning Blog· Claudio Mazzoni·· 4 小时前AI 评分50
AI 智能体的“土拨鼠之日”：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
在 Amazon Bedrock 上调用 OpenAI 模型时，提示词缓存可让智能体复用已保存的输入前缀，避免每轮重复计费。测试中约 4,000 token 的工具与指令前缀首次写入 4,120 token，后续请求直接读取这 4,120 token。缓存分隐式与显式两种，可组合使用，可复用前缀需达到 1,024 token。
来源：AWS Machine Learning Blog · aws.amazon.com