Flash Attention针对的痛点是传统 Transformer 在 decode 阶段，计算 attention 时的巨大内存瓶颈。

因为 Attention Block 需要 MatMul -> Mask -> Softmax -> Dropout -> Matmul 这么多步骤，会反复的将大矩阵从 HBM 里搬入 SRAM，计算，再搬出，造成了内存瓶颈。

最近 OpenClaw 在 Github 上的 star 数，成功打败了 linux 和 React，登上了 Github 的榜一。借此机会，想聊一聊关于 OpenClaw 的两种主流声音：一部分人觉得 OpenClaw 是 AGI 的初步形态，是 Web4.0，是 AI 革命的一次重要更新。另一部分人觉得 OpenClaw 狂欢是新一次的“气功热”，是大模型商家为了卖 token 做的局。

接着上一篇的 NanoGPT 博客内容，笔者继续学习了 不少模型推理的优化手段，会在接下来的几篇里逐一叙述。在上一篇《「从零开始学大模型」手搓GPT》中，我跟着 Andrej Karpathy 写了一个 NanoGPT，这一篇文章也将会是在这个 NanoGPT 的代码上实现优化。

一个月前，我在树莓派上装了OpenClaw。

如果你不知道OpenClaw是什么，简单说，它是一个运行在本地的AI Agent框架——给大模型一台电脑、一堆工具、和一个可以24小时跑的守护进程。我在之前的文章里聊过它的商业逻辑和"锤子与钉子"的问题，这篇不再重复那些。

主要参考：Andrej Karpathy - Let’s build GPT: from scratch, in code, spelled out.

为了能更加深入理解 Transformer 和 GPT，笔者选择了跟着教程搭一个 GPT 出来。当然只是跟着教程做还是不够，于是就打算写一篇 blog，从自己的角度讲一下到底是怎么个事儿。

腾出时间看了一下张小珺访谈季逸超Peak（Manus的首席科学家），感觉对自己有不少的启发，先前的许多观点得到了点拨，或是被反驳。

做水涨船高的产品

关于季逸超为什么选择Manus，他在其中引用了CPO张涛的一句话：

近日，Moltbot（Clawdbot）这个项目在Github上迅速走红，至落笔已有73k star。它在X、YouTube、小红书与B站等平台也是有无数的帖子和视频在宣传着这个Agent有多么好用与神奇，于是笔者也按耐不住试用了，并有感而发写了此文。

问题

今天开车送学姐回家，路上我和她说，我希望我也是未来某一个行业独角兽的创始人，这样才能实现我“追名逐利”的目标。她反问了我一个很值得思考的问题：你觉得下一个会产生行业独角兽的行业是什么？让我陷入了短暂的沉思。