2017.06.12架构
不夸张地说，这篇论文，改变了整个AI的历史走向
Attention Is All You Need
用完全基于注意力的编码器—解码器结构，替代翻译模型中的循环与卷积。
当时的问题循环网络沿序列逐步计算，限制训练并行；跨越很远的位置交互，也需要经过较长的信息路径。
基础10 分钟阅读中文解读
THE CLASSICS / VOL. 01
大模型的来路。
2017 — 2023 · 13 PAPERS把重要论文放回历史坐标，理解每一步为什么发生。
从架构、预训练到规模化与对齐，沿着问题的变化往前读。
2017
架构的转折
先改变计算的方式，再重新思考语言建模。Transformer 是这段路线的起点。
2018—2019
预训练成为共同语言
从任务专用模型走向通用预训练。GPT 与 BERT 在生成和理解两个方向探索，路线并不相同。
2018.06.11预训练
GPT-1：第一次证明「先预训练，再微调」这条路走得通
Improving Language Understanding by Generative Pre-Training
把无监督语言建模与有监督任务微调连接起来。
当时的问题不同语言理解任务通常需要大量标注和专门设计的模型。
基础6 分钟阅读中文解读
2018.10.11预训练
BERT的思路到底有多简单？简单到让人怀疑：这也行？
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言建模训练深层双向 Transformer 表示。
当时的问题单向语言模型在表示一个词时，难以同时利用左右两侧上下文。
基础7 分钟阅读中文解读
2019.02.14预训练
OpenAI做了一次豪赌：不给任何指令，让模型自己学会所有任务
Language Models are Unsupervised Multitask Learners
探索更大规模语言模型在多种任务上的零样本迁移。
当时的问题为每个任务单独收集标注并微调，限制了通用性和迁移方式。
基础8 分钟阅读中文解读
2019—2020
规模带来的新问题
参数、数据与计算一起增长。能力的扩展和训练系统的限制，需要同时理解。
2019.10.07训练效率
ZeRO：把GPU显存用到极致的魔法
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
通过分片训练状态，减少数据并行中的显存冗余。
当时的问题数据并行会在各设备重复存储参数、梯度和优化器状态，大模型难以放入单卡显存。
进阶8 分钟阅读中文解读
2020.01.23规模化
大力出奇迹的背后：OpenAI找到了炼丹的物理定律
Scaling Laws for Neural Language Models
系统研究语言模型损失随模型规模、数据和计算预算的变化规律。
当时的问题训练资源有限时，扩大模型、增加数据或延长训练，应该怎样取舍？
进阶5 分钟阅读中文解读
2020.05.28规模化
GPT-3：1750亿参数的豪赌，以及"涌现"这个改变一切的发现
Language Models are Few-Shot Learners
系统评估大规模自回归模型的零样本、单样本与少样本任务表现。
当时的问题能否通过上下文中的说明和示例，让同一个模型适应不同任务？
基础8 分钟阅读中文解读
2022
把能力变成可用的模型
算力如何分配、训练如何加速、模型如何理解人的意图，是并行发展的几条线。
2022.03.04对齐
1.3B打败175B：InstructGPT如何教会AI听话
Training language models to follow instructions with human feedback
结合监督微调、人类偏好奖励模型和策略优化，改善指令响应。
当时的问题预测网络文本的目标，与给用户有帮助且符合意图的回答并不一致。
进阶10 分钟阅读中文解读
2022.03.29规模化
越大越好？Chinchilla说：你可能练错了
Training Compute-Optimal Large Language Models
重新评估固定计算预算下模型规模与训练数据量的分配。
当时的问题一些大模型参数很多，但在给定预算下可能训练得不充分。
进阶5 分钟阅读中文解读
2022.05.27训练效率
FlashAttention：GPU上"偷懒"的艺术，凭什么让所有大模型都离不开它？
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
通过分块和重计算减少显存读写，精确计算标准注意力。
当时的问题注意力计算中的大型中间矩阵会造成显存容量和读写开销。
进阶7 分钟阅读中文解读
2022.12.15对齐
用AI管AI：Constitutional AI如何让大模型学会自我约束
Constitutional AI: Harmlessness from AI Feedback
使用明确原则指导自我批评、修订与 AI 偏好反馈。
当时的问题单纯依赖人类逐条标注有害性，成本高且难以说明偏好依据。
进阶11 分钟阅读中文解读
2023
对齐与效率继续演进
偏好优化和训练内核，分别沿着训练目标与硬件利用率继续改进。
2023.05.29对齐
偏好优化，可以直接一些
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
将特定偏好优化问题重写为直接训练语言模型的目标。
当时的问题奖励模型与强化学习组合的训练流程较复杂，稳定性和工程实现都存在成本。
进阶12 分钟阅读中文解读
2023.07.17训练效率
FlashAttention-2：GPU利用率从50%干到90%，同一个作者的自我进化
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
通过改进 GPU 线程块与 warp 的工作划分，提高精确注意力计算的效率。
当时的问题第一版 FlashAttention 减少了显存访问，但仍有并行度和线程间通信开销。
进阶7 分钟阅读中文解读