大模型面试八股整理 bert 篇

最新推荐文章于 2026-05-25 19:51:23 发布

原创最新推荐文章于 2026-05-25 19:51:23 发布 · 1.7k 阅读

19 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

大模型

深度学习

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学.

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

汇总合集：《大模型面试宝典》(2024版) 发布！

今天对 bert 大厂常见面试题进行汇总，喜欢点赞、收藏、关注，更多技术、面试，文末入群交流。

a. Self-Attention的表达式
b. 为什么上面那个公式要对QK进行scaling
c. self-attention一定要这样表达吗？
d. 有其他方法不用除根号dk吗？
e. 为什么transformer用LayerNorm？有什么用？
f. 为什么不用BN？
g. Bert为什么要搞一个positionembedding？
h. Bert为什么三个embedding可以相加？
i. transformer为什么要用三个不一样的Qkv？
j. 为什么要多头？举例说明多头相比单头注意力的优势
k. 为什么Bert中要用WordPiece/BPE这样的subwordToken？
l. Bert中为什么要在开头加个[CLS]？
m. 不用cLS]的语义输出，有其他方式可以代替吗？
n. Bert中有哪些地方用到了mask？
o. 预训练阶段的mask有什么用？
p. attention中的mask有什么用？（BERT中）
t. Bert是如何处理传统方法难以搞定的溢出词表词（oov）的语义学习的？
u. 中文是如何处理溢出词表词（oov）的语义学习的？
x. 为什么说GPT是单向的Bert是双向的？
y. Bert如何处理一词多义？
z. Bert中的transformer和原生的transformer有什么区别？
z+. Albert是通过什么方法压缩网络参数的？有什么问题？
z+2. attention计算方式以及参数量，attentionlayer手写，必考。