关于大模型的见解

解读：https://arxiv.org/pdf/2303.18223v10.pdf
------------------------------------------------------------
RNN->word2vec->LSTM->self-attention->Transformer->BERT
先有了PLM，后来发现可以增加计算量，参数量
数据量，来获得超级好的模型，所以LLM

1.代码没有公开，细节没有公开，很难复现，
不知道数据集是如何制作的
2.很难复现，需要大量的计算资源2048个A100-80G GPU以上
3.LLM为什么能获得如此神秘的能力，我们还不知道

1.将带来新的应用生态，windows的copilot
chatgpt，等插件
2.openai将计划开发AGI通用智能体

---------------------------------------
影响模型性能的三大要素：模型大小，数据量大小，计算量大小
分布式训练
InstructGPT-解决了拒绝回答侮辱性语言
使用外部工具进行数学计算，图片分割等

目前国内大部分都是：接口式调用

而没有对大模型进行研发，而有能力研发的，可能就华为，阿里这样的公司了，期待国内的大模型