神经正切核 (ntk)在我看来是一个很优美的理论，但是最近好像并没有那么火了，是什么原因导致他不火了？ 另外使用神经正切核的效果如何？

2024年7月18日 · NTK-aware插值的本质在于调整RoPE（Rotary Position Embedding）的频率参数，使其能够更好地适应长上下文和外推情况。 具体而言，它通过调整频率参数的基数，使得嵌入向量在高频和低频部分的分布更加均匀，从而在插值时能够更好地保留高频信息。

NTK USA is family-owned & operated and is the leading brand for Family Camping Tents & Outdoor Gear in South America.

RoPE 是 LLM 中编码位置信息的一种方案，用一组不同周期的三角函数组成的向量来表达位置，具体来讲，位置 k 对应向量的第 i 个分量为 \cos (k\alpha^ {-\frac {2i} {d}}),0\le i\le \frac {d} {2}-1，整个位置向量的维数为 d，其中另外一半为 \sin (k\alpha^ {-\frac {2i} {d}})。 在 LLM 训练过程中可能设定的最大输入长度为一个比较小的数，比如 2k，但是在推理中可能有输入更长上下文的需求，比如针对一篇文章进行问答，该如何低成本满足这种需求呢？ 一种最简单无脑的方案是外插， …

2023年12月6日 · Dynamic NTK Interpolation是一种动态插值的方法，思路也很简单： 推理长度小于等于训练长度时，不进行插值；推理长度大于训练长度时，每一步都通过NTK-Aware Interpolation动态放大base。

TT studios, previously NTK, is more than just a denim brand; it celebrates designs infused with utility, embodying timeless elegance with purposeful design. Our brand ethos revolves around style without succumbing to trends, ensuring every piece remains relevant season after season.

Neural Tangent Kernel (NTK) 理论由 [1] 提出，后续有很多跟进的研究工作，比如和我自己领域比较相关的，Simon Du老师提出的Graph neural tangent kernel [2]. NTK在深度学习理论中是很有意思的，通过学习该理论和相关论文，我们能够得到许多启发，所以我准备通过记录自己学习NTK的过程来巩固和分享一些自己的理解。 由于本文主要是以自己的视角来看，难免有疏漏，错误和偏见。 我们按照论文的顺序来叙述。 Abstract第一句话： 无限宽的ANN初始化等价于 高斯过程， …

2024年5月1日 · 神经正切核（NTK，Neural Tangent Kernel）是 深度学习 领域的一个重要概念，它帮助我们理解和分析神经网络在训练期间的行为。 NTK主要用于分析无限宽度的神经网络的极限行为，在这种极限下，网络的学习动态可以用一个核方法来描述。 NTK是 在 神经网络 的参数空间中定义的 一个核函数，它描述了网络 输出 关于 其参数的梯度的内积。 具体来说，当网络的宽度趋向于无限大时，这个核 函数 会趋于固定，不再随着训练过程中的参数更新而改变。 这种性 …

2021年10月9日 · NTK是描述无限宽深度神经网络在梯度下降过程中演化的核，用来描述神经网络的训练过程。 体现的是在无限小步长下，神经网络在某个数据点\ (x^\prime\)处的观测进行优化，网络参数在另一点\ (x\)处的变化大小。

2025年2月25日 · 神经正切核（Neural Tangent Kernel, NTK）是 深度学习 理论中的一个核心概念，用于描述无限宽度神经网络的训练动态。 它通过将神经网络的训练过程与核方法（Kernel Methods）联系起来，揭示了梯度下降优化在超参数化（Over-parameterized）网络中的数学本质。