讲透ChatGPT和Claude到底怎么建出来的课

sowang

分享斯坦福2小时34分钟的讲座。

这是我见过最清晰、端到端讲透ChatGPT和Claude到底怎么建出来的课。

从Tokenization和BPE开始，一路到Transformer架构、训练管线、Next-token解码。
不管你是从没写过一行AI代码，还是天天在ship Agent，看完都会把很多“原来如此”的点一次打通。

真正核心就这几层：
1文本怎么变成模型能吃的数字（BPE tokenization）
2语言模型本质就是在预测下一个token
3Transformer怎么用Attention做消息传递
4训练时用NLL loss把整条序列概率拉高
5生成时怎么一步步解码出来

大多数人花好几年才拼出的全景图，这节课直接给你画完。


讲透ChatGPT和Claude到底怎么建出来的课
https://weibo.com/tv/show/1034:5 ... om=old_pc_videoshow