LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” ...

测试一下之前准备的样本，不出意外地答错了： 超长上下文和线性注意力固然好，但是现在LLM最缺乏的不是长度，而是深度 ...