10 | Test-Time Training (TTT)¶

核心思想 ¶

Test-Time Training (TTT)：在推理 / 测试阶段，利用测试输入本身的信息，对模型参数进行临时的、针对性的更新，使模型更好地适应当前测试样本的分布特性。

传统 ML 假设训练和测试数据 i.i.d.，但实际部署中存在分布偏移（distribution shift）、新类别、长尾样本等。TTT 通过在每个测试样本上做少量梯度更新，让模型自适应这些变化。

基础做法：利用自监督辅助任务（旋转预测、对比学习、masked reconstruction），在测试样本上做 1-step SGD 更新后推理主任务。

论文 ¶

奠基性工作 ¶

Test-Time Training with Self-Supervision for Generalization under Distribution Shifts (Sun et al., ICML 2020)

首次提出 TTT 框架。训练时同时学习主任务（分类）和自监督辅助任务（旋转预测），二者共享特征提取器（Y-shaped 架构）。测试时在无标签样本上通过辅助任务 loss 更新共享参数。

TTT++: When Does Self-Supervised Test-Time Training Fail or Thrive? (Zhai et al., NeurIPS 2021)

分析 TTT 有效 / 失效的条件：特征对齐程度决定是否有正向增益。提出改进的自监督任务选择策略和在线特征对齐机制。

TTT 用于序列建模 / Transformer 替代 ¶

Learning to (Learn at Test Time): RNNs with Expressive Hidden States (Sun et al., 2024 / ICML 2025)

提出 TTT Layers：将 RNN 隐状态本身视为可学习的模型，测试时对每个 token 在隐状态上进行梯度下降更新。两个变体：TTT-Linear（线性层隐状态）和 TTT-MLP（MLP 隐状态）。在 16K+ token 长序列上超越 Mamba 并接近 Transformer 性能，保持线性复杂度。

Titans: Learning to Memorize at Test Time (Behrouz et al., NeurIPS 2025)

提出 " 神经记忆 " 模块，通过 " 惊喜度 "（surprise）机制在测试时选择性记忆重要信息。三种记忆类型：短期记忆（注意力）、长期记忆（神经记忆模块，测试时更新）、持久记忆（可学习 meta- 参数）。在语言建模和长序列任务上超越 Transformer 和 Mamba。

TTT 用于大语言模型 ¶

The Surprising Effectiveness of Test-Time Training for Few-Shot Learning (Akyurek et al., 2024 / ICML 2025)

在 LLM few-shot 场景应用 TTT：通过少量示例构建训练信号，测试时做梯度更新。ARC 基准上 8B 模型达 53%（fine-tuning baseline 仅 ~8%）；BBH 上 10-shot 从 50.5% 提升至 57.8%。核心发现：TTT 收益超过同等计算预算下的 ICL 泛化。

Test-Time Training for Long-Context LLMs (Bansal et al., 2025)

针对 128K+ 超长上下文，提出用目标梯度更新上下文嵌入。核心洞察：注意力在超长上下文中存在 "score dilution" 问题；将计算预算从生成更多 reasoning tokens 转移到对上下文的针对性训练。

End-to-End Test-Time Training for Long Context (TTT-E2E) (NVIDIA, 2025)

端到端 TTT 框架用于长上下文多模态模型。强调 TTT 与 Attention 的互补性：Attention 用于全局检索，TTT 用于局部压缩和适应。

最新进展 ¶

与相关概念的区别 ¶

关键技术 ¶

原始 TTT 框架 (Sun et al., 2020) ¶

• Y-shaped 架构：共享 backbone → { 主任务 head, 自监督 head}
• 训练阶段：联合优化主任务 loss + 辅助任务 loss（如旋转预测 CE）
• 测试阶段：每个测试样本先做辅助任务 1-step SGD 更新，再推理主任务

TTT Layers (Sun et al., 2024)¶

将隐状态视为可学习的模型参数，在测试时对隐状态做梯度更新：

隐状态 W_t = W_{t-1} - lr × ∇ℓ(W_{t-1}; x_t)     // inner loop: 测试时梯度更新
输出 o_t = f(W_t; x_t)                              // 用更新后的状态做预测

TTT-Linear 将隐状态建模为线性权重矩阵；TTT-MLP 使用 2 层 MLP。关键创新：RNN 隐状态表达能力随训练深入而提升，类似 Transformer KV-cache 的一致性利用，但保持线性复杂度。

TTT for LLM Few-Shot (Akyurek et al., 2024)¶

1. 拼接 few-shot 示例 → 计算 next-token prediction loss
2. 反向传播 → 更新模型参数
3. 在更新后的模型上推理目标样本
4. 丢弃参数更新（不持久化）

使用 LoRA 形式的低秩更新降低显存开销。

Titans 记忆架构 (Behrouz et al., 2025) ¶

• 短期记忆：标准注意力（有限窗口）
• 长期记忆：神经记忆模块，通过 " 惊喜度 "（梯度 norm）选择性更新
• 持久记忆：可学习 meta- 参数，编码任务无关先验知识

TTT-E2E (NVIDIA, 2025)¶

• 将上下文分段，每段进行 TTT 更新
• 结合 Attention（全局检索）+ TTT（局部压缩与适应）
• 克服超长上下文中的 "score dilution" 问题

总结与趋势 ¶

TTT 从 2020 年的视觉分布偏移方法，已发展为覆盖架构设计（TTT Layers / Titans 替代 Attention）、LLM 推理增强（few-shot、长上下文）和多模态适应的广泛研究范式。

1. 从视觉到语言再到多模态：战场已从 ImageNet-C 转向 LLM 长上下文和 ARC 推理
2. 从辅助任务到架构内嵌：早期需要手动设计自监督任务；现代 TTT 将测试时更新内嵌为架构一等设计
3. 与 Attention 互补而非取代：TTT-E2E 强调各司其职
4. 与 Test-Time Compute 融合：TTT + TTC 可能成为下一代推理系统标准范式
5. 理论统一：KV Binding ≈ Linear Attention 等工作正在建立理论统一框架

Acknowledgement¶

• TTT Paper List (GitHub)
• Stanford TTT-Linear 官方实现