2025年1月9日 · CAG是一种新颖的方法，它通过预加载知识和预计算推理状态，消除了 语言模型 工作流程中对实时检索的依赖。 1. CAG的工作原理. CAG的核心在于其预加载和预计算的能力。 在模型训练或准备阶段，CAG会预先收集和处理与应用程序相关的文档集合，并将这些文档编码成一个键值（Key-Value，KV）缓存。 这个缓存捕获了LLM的推理状态，并存储在磁盘或内存中，以便在推理过程中重用。 在推理阶段，CAG会加载预计算的KV缓存和用户的查询。 LLM利用预 …

CAG leverages the extended context windows of modern large language models (LLMs) by preloading all relevant resources into the model’s context and caching its runtime parameters. During inference, the preloaded KV-cache enables the model to generate responses directly, eliminating the need for retrieval.

本文提出了一种新的知识整合方法——缓存增强生成（CAG），旨在利用 长上下文语言模型 （LLMs）的能力来避免实时检索的挑战，从而提高效率和准确性。 与传统的 检索增强生成 （RAG）系统不同，CAG通过预加载所有相关的资源，尤其是当文档或知识库规模有限时，将其融入LLMs的扩展上下文中，并计算运行时参数的缓存。 这种方法消除了检索延迟，减少了检索错误，并简化了系统架构，同时保持了高质量的回答，确保模型能够全面处理相关上下文。 实验 …

近日，有一篇名为《Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [1]》的论文提出了一种名为缓存增强生成（Cache-Augmented Generation，CAG）的新架构范式。 它不同于传统的 RAG 模式，不再依赖于运行时的检索，而是通过预加载知识和预计算缓存，让 LLM 在需要的时候直接调用，大大提升了效率。 CAG 的出现，为知识密集型任务提供了一个新的、更高效的选择。 CAG 的核心理念在于“预处理”。 它不 …

最近，一篇新的论文《Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks》对此进行了讨论，并提出了一种CAG (Cache-Augmented Generation)的方式来尝试解决。 缓存增强生成（CAG） 消除了检索延迟并最小化了检索错误，同时保持了上下文相关性。 今天我们来看一看这篇论文中的一些先进的解决方案。 利用长上下文大型语言模型的扩展上下文能力，将所有相关资源预加载到LLM的扩展上下文中，并缓存运行时参数。 在 推理 …

2024年12月11日 · 论文提出了一个名为上下文感知门（Context Awareness Gate, CAG） 的架构来解决检索不相关信息的问题。 CAG 通过动态调整大型语言模型（LLMs）的输入提示，优化了RAG系统的检索过程。

2025年1月12日 · rag 与 cag，互为补充而非替代 . 因此， cag 并不是 rag 的终结者，而是针对特定场景的一种补充选择 。两者各有优劣，应该根据具体需求来选择适合的方案。rag 仍然是解决动态知识库问题的利器，而 cag 则更适合在固定知识背景下追求更高效和准确的生成任务。

2025年1月7日 · 比rag(检索增强生成)快40倍的cag(缓存增强生成)。 CAG彻底改变了知识获取方式：不再是实时检索外部数据，而是预先将所有知识加载到模型上下文中。 这就像是把一个巨大的图书馆浓缩成了一本随身携带的工具书，需要时直接翻阅即可。

In contrast, CAG (bottom section) preloads and caches knowledge offline, allowing the LLM to process only the query during inference, eliminating retrieval over-

2025年1月1日 · Cache-augmented generation (CAG) simplifies AI architectures by storing small knowledge bases directly within a model’s context window, eliminating the need for retrieval loops in RAG and ...