现在不管是大厂还是创业公司，最头疼的就是显卡不够用。跑一个 70B 的模型，推理成本高得离谱，响应还慢。DeepSeek 发布之后，最让行业震撼的其实不是它的参数量，而是它把推理成本直接打到了地板上。
如果要帮公司做模型的私有化部署，或者是优化 API 调用的账单，搞懂它背后的 MoE 架构就是必修课。今天就从数学逻辑上看看它是怎么在显卡不够的情况下把性能跑出来的。
线性层 & FFN：所有参数的来源
搞懂这个，以后再听别人聊参数规模心里就有底了
线性层在数学上就是一个特别简单的函数。左边是输入的一串数字，右边是输出的数字，中间的过程就是把输入的每一个数字分别乘上一个系数，然后加一个常数。可以把它想象成在调音响——这些系数和常数就是要去拧的旋钮。
平时总听人说模型的参数有几千亿个，说白了指的就是这些密密麻麻的系数和常数。模型训练的过程本质上就是不停地拧这些旋钮，直到它能输出想要的结果。
所以就在多个线性层中间塞进去一些非线性函数——也就是常听到的激活层，比如 ReLU 或者 Sigmoid。线性层 + 激活层就构成了前馈神经网络（FFN）。只要 FFN 的规模拉得足够大，理论上它就可以模拟出世间万物任何复杂的逻辑——这就是为什么说 FFN 是 AI 处理信息的"大脑皮层"。
Embedding & Attention：让 AI 听懂上下文
解决 AI 怎么"听懂话"的关键
用大模型不管是问问题还是写代码，背后本质动作特别简单——就是在玩"成语接龙"。输入"小坛爱"三个词，但电脑只认识数字，所以得先给这些字发一张数字世界的身份证，这就是 Embedding 嵌入。可以把 Embedding 想象成一个坐标，意思相近的字坐标就离得近。
FFN 拿到这些坐标之后就开始算后面该接个什么词——"吃"，接龙就接上了。但这种玩法有一个致命漏洞：FFN 看数据是独立的，它处理"爱"的时候根本看不见前面跟的是"小坛"还是"关"。在 FFN 眼里每一个字都是孤立的，它理解不了小坛的爱和普通的关爱是两码事。
这个机制把前面的信息融合到了"爱"这个词里面。这样一来"爱"就不再是孤立的了，它现在是"小坛的爱"。把这个带了语境的信息再传给 FFN，FFN 就能精准预测出后面该接"吃"。Attention 解决了上下文的问题，模型终于能够听懂人话了。
稠密模型的算力瓶颈
看清老路子的坑，才能明白变革的意义
引入了上下文之后，模型虽然变聪明了，但 FFN 的任务量是爆炸式增长的。以前只要给"爱"找一个输出，现在要为"小坛的爱""恋爱的爱""父母的爱"等成千上万种语境下的爱分别找出精准的答案。
最初怎么应对的？最简单粗暴的一招：大力出奇迹——也就是 Dense Model 稠密模型的路线。线性层原来有一万个旋钮，现在加到一千万个甚至上亿个。GPT-3、LLaMA 的核心思想都是这个。
结果就是推理速度越来越慢，能效比极低，显卡负载直接拉满。已经能看见那一堵"算力墙"了。有没有一种办法能让模型像人一样，干什么活就动哪一部分知识？
MoE：让 DeepSeek 封神的混合专家架构
核心：把一个全能拆成 256 个专家，干活只叫醒最专业的 8 个
DeepSeek 的逻辑非常直观：既然一个巨大的 FFN 负担太重，干脆把它打碎。在 DeepSeek-V3 里，把那个大网络拆成了 256 个小网络——每一个都是"专家"（Expert）。有的对语义敏感，有的更擅长数学逻辑。到底哪个专家负责哪块活，并不是人类提前定好的——这是模型在训练时自己慢慢进化出来的分工。
Router：分诊台。256 个专家 → 打分 → 取 Top 8 → 加权混合。
当输入一个问题，Router 会瞬间给这 256 个专家打分。只选分数最高的 8 个 专家出来干活，剩下的 248 个继续休息——完全不占用计算资源。最后把这 8 个专家的结果按打分权重加权求和。| 指标 | Dense 版本 | MoE 版本 |
|---|---|---|
| 总参数量 | 67B | 144.6B（145B） |
| 每次推理激活参数 | 67B（全部） | 22.2B（仅 Top-8 专家） |
| 推理性能提升 | 基准 | 3×+ |
| 核心理念 | 一个超大 FFN 做所有事 | 256 个专家，每次只叫醒 8 个 |
MoE 版本总参数量达到了 144.6B（约 1450 亿），比稠密版多了两倍多。但直接参与计算的参数居然只有 22.2B。这是"空间换时间"——多花点存储的代价，换来三倍以上的推理性能提升。这也是为什么 DeepSeek 能把价格打下来、把速度提上去的核心秘密。
Shared Expert：永远不休息的通才
DeepSeek 还设计了一个特殊的"共享专家"——不参与路由打分，不管问什么它都必须参与计算。它专门处理那些最基础、最通用的共享知识（语法、标点、通用逻辑），防止因为专家分得太散导致模型在基础问题上犯错。有了这个共享专家，模型的表现就变得特别稳。DeepSeek 的架构革命告诉我们：AI 想要变强，不一定非得靠无限堆算力、堆显卡。真正的力量来自承认局限，然后精准分工协作。把专业的事交给专业的人，才能够在资源有限的情况下创造出真正的奇迹。