2021-11-07

「LLM那些事」系列第 4 篇《上下文窗口的边界》，文章连接：https://blog.csdn.net/houwenjin/article/details/163999753。 演示什么：在「预测」Sheet 的黄色格子里输入一句话（默认「来泡一杯」），四个「模型」——分别只统计最后 1 / 2 / 3 / 4 个字的 n-gram 查表——同时预测下一个字。同一个输入，看的上下文越长，候选越少、预测越确定： ┌────────────────┬──────────┬───────────────┬──────┐ │ 只看最后几个字 │ 用的前缀 │ 候选下一字数 │ 预测 │ ├────────────────┼──────────┼───────────────┼──────┤ │ 1 个 │ 杯 │ 3（茶/子/水） │ 模糊 │ ├────────────────┼──────────┼───────────────┼──────┤ │ 2 个 │ 一杯 │ 2（茶/水） │ 收窄 │ ├────────────────┼──────────┼───────────────┼──────┤ │ 3 个 │ 泡一杯 │ 1（茶） │ 确定 │ ├────────────────┼──────────┼───────────────┼──────┤ │ 4 个 │ 来泡一杯 │ 1（茶） │ 确定 │ └────────────────┴──────────┴───────────────┴──────┘