主要参考：Andrej Karpathy - Let’s build GPT: from scratch, in code, spelled out.

为了能更加深入理解 Transformer 和 GPT，笔者选择了跟着教程搭一个 GPT 出来。当然只是跟着教程做还是不够，于是就打算写一篇 blog，从自己的角度讲一下到底是怎么个事儿。

腾出时间看了一下张小珺访谈季逸超Peak（Manus的首席科学家），感觉对自己有不少的启发，先前的许多观点得到了点拨，或是被反驳。

做水涨船高的产品

关于季逸超为什么选择Manus，他在其中引用了CPO张涛的一句话：

近日，Moltbot（Clawdbot）这个项目在Github上迅速走红，至落笔已有73k star。它在X、YouTube、小红书与B站等平台也是有无数的帖子和视频在宣传着这个Agent有多么好用与神奇，于是笔者也按耐不住试用了，并有感而发写了此文。

问题

今天开车送学姐回家，路上我和她说，我希望我也是未来某一个行业独角兽的创始人，这样才能实现我“追名逐利”的目标。她反问了我一个很值得思考的问题：你觉得下一个会产生行业独角兽的行业是什么？让我陷入了短暂的沉思。

Context: unity上实现一个功能： 使用srp管线，实现一个功能，每10帧生成一张图，图的左边是整个屏幕内容；图的右边是也是屏幕里的内容，只不过是显示的overdraw现象，一个相素点每被多渲染一次，就RGB的值就加1。

在本文中，视角方向为$z$轴负方向 $(-\vec{z})$，$z$值越大，离摄像机越近。

正常的渲染管线为

顶点着色器 $\to$ 曲面细分 $\to$ 几何着色器 $\to$ 光栅化 $\to$ 片元着色器 $\to$ 透明度测试 $\to$ 模板测试 $\to$ 深度测试

为什么写这个系列：

面网易雷火引擎实习被狠狠拷打了，发现自己对技术的垂直深度还不够，只知道自己做了什么，但对为什么这么做和做的怎样了解略少。赶紧多多补一下。

Transformer是做什么的

在GPT等模型中，Transformer模型输入文字、音频、图像等数据，并对文本中下一词出现的概率做预测。选择概率最高的词，追加到输入文本的后面，再将补全后的文本重新作为输入，如此往复，实现文本的补全。