大模型预测，下一个token何必是文字？

原创 已于 2024-03-29 18:53:55 修改 · 1.9k 阅读 · 12
标签
#人工智能 #chatgpt
于 2024-03-29 18:49:13 首次发布
本文探讨了大模型在生成各种专业数据，如体检报告、设备监测和音效设计等方面的进步。AIOS5.0通过构建行业基座大模型，解决了将行业数据应用于生成式AI的问题。文章指出，AIGC正迈向新的发展阶段，第四范式强调AI与行业知识的深度融合，预示着生产力的变革和商业机会的涌现。

太快了太快了…

大模型的生成技能，已经到了普通人看不懂的境界！

它可以根据用户过去5年的体检报告，生成未来第1年、第2年、第3年的体检报告。

你看，这个生成的过程，是不是像极了ChatGPT，根据历史单词预测下一个单词。

图片

它能查看过去7天机组子部件的运行情况，生成未来3天每小时的子部件报告 。

图片

还能基于历史水文数据和未来7天气象数据，生成未来第1天、第2天……至第7天的每小时降水分析报告，包括详细降水量、降水分布。

图片

如今，大模型的生成内容，早已不只是文字/图像/视频了。

如上生成的这些报告分析涉及诸多专业知识，普通人很难基于自己的知识储备评价其合理性和正确性。

最多只能评价一句：不明觉厉！

怎么说呢？“AI似乎正在生成一切”。

LLM+行业数据，路走错了？

简单理解大模型，就是Predict the Next “X”。ChatGPT是Predict the Next “Word”。

但行

最低0.47元/天 解锁文章
richerg85
关注
利用大模型进行时序数据预测
weixin_49020292的博客
10-31 7985
大模型，即大语言模型(LLM)，指大规模语言模型（LLM）是指包含数千亿（或更多）参数的Transformer语言模型。这些模型是在大规模文本数据上进行训练的，例如GPT-3，PaLM和LLaMA。LLM展现了理解自然语言和解决复杂任务（通过文本生成）的强大能力。目前，LLM以Transformer为主要架构，Transformer相对于传统的RNN架构，所有token可以同时捕捉长距离依赖关系，其中大量运算为矩阵可以更好的并行处理序列0中数据，在处理自然语言文本时会表现出很好的性能。
OpenAI开发系列（一）：一文搞懂大模型、GPT、ChatGPT等AI概念
热门推荐
无敌小怪兽_Zz的博客
06-27 3万+
揭示了人工智能、大模型、GPT、以及ChatGPT的概念及它们潜在关系。希望这篇文章为你解开了这些概念的纷繁复杂
大模型中的模型预测是什么意思？
AngelCryToo的专栏
09-14 1156
假设你有一个很聪明的朋友，他很擅长根据过去的事情来猜测未来会发生什么。这位朋友会通过你告诉他的信息来预测结果，类似于你问他："明天会不会下雨？" 你的朋友会根据过去的天气情况，比如今天的云层、风速等，告诉你他的猜测："我觉得明天会下雨。在人工智能和大模型中，模型预测就是这样的过程。模型通过从大量数据中学习，尝试根据新的输入信息来做出“预测”或“推测”。这些“预测”可能是下一步的动作、答案，或者对未来某件事情的估计。
使用大模型实现可解释的股价预测
m0_59164520的博客
07-16 4787
LLMFactor利用序列知识引导提示（SKGP）来识别影响股票走势的因素。通过填空策略指导LLMs创建背景知识，并从相关新闻中辨别可能影响股价的因素。在背景知识和识别出的因素的指导下，利用历史股票价格的文本格式来预测股票走势。在四个基准数据集上的广泛评估证明了其优越性和在金融时间序列预测中的有效性。
大模型如何生成下一个token--解码策略
2401_85378759的博客
09-13 2756
生成模型目前主要使用自回归（Autoregressive）模型，通过上文信息预测下文信息，如GPT系列；BERT系列使用自编码（AutoEncode）模型，在输入中随机mask一部分token，通过上下文预测这个token；自回归主要用于生成文本，如机器翻译和对话系统，而自编码主要用于降维和特征提取，如情感分析、聚类和分类等任务。自回归模型当生成文本时，并不是同时生成一段文字，而是一个字一个字的去生成，同时新生成的字会继续加入上文，用于生成下一个字。
大模型入门教程：一篇文章带你轻松入门AI世界
老皮的博客
10-26 691
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
AI大模型推理过程和优化技术
python12345_的博客
08-07 3006
模型理解了初始序列之后便会开始逐词预测后续文本，每次预测时模型都会基于已知的输入序列和上一步预测出来的词计算出下一个最可能的词汇的概率分布，输入过后，执行和 Prefill 前期一样的操作，随后计算 Attention，此时的 Q 就只是一行向量了（因为只有一个词作为输入），K，V 则依旧是矩阵（新输入的 Embedding 生成的 K，V 向量嵌入 KV cache 原本有的矩阵中，和隐状态融合），一样的计算过程可以得出下一步的输出。这样才知道在具体的一个时间点上能不能接受一个新的用户的输入。
大模型中的token是什么？
金木AI
02-21 1万+
如果我们将这个句子分解成单词级别的token，那么包含的token有：“The”, “quick”, “brown”, “fox”, “jumps”, “over”, “the”, “lazy”, “dog”。例如，将单词"jumps"分解成"jump"和"s"，“walked"分解成"walk"和"ed”。大模型的token可以是单词级别的，也可以是子词级别的，甚至是字符级别的，具体取决于模型的设计和训练方式。大模型的"token"是指在自然语言处理（NLP）任务中，模型所使用的输入数据的最小单元。
机器学习：AI大模型在数据分析和预测中的应用
东海陈光剑的博客：禅与计算机程序设计艺术
01-21 2431
1.背景介绍 机器学习是一种人工智能技术，它使计算机能够从数据中自动发现模式和规律，从而进行预测和决策。在大数据时代，机器学习技术在各个领域得到了广泛应用，特别是在数据分析和预测方面。本文将介绍机器学习的核心概念、算法原理、最佳实践以及实际应用场景，并提供工具和资源推荐。 1. 背景介绍 机器学习的历史可以追溯到1950年代，当时的研究者试图让计算机模拟人类的思维过程。然而，直到20世纪90...
监控“失明”了怎么办？国标GB28181视频平台EasyGBS平台AI视频质量诊断让运维效率提升10倍
EasyGBS的博客
06-17 1527
监控系统“看得见”是底线，“看得清”是要求，“一直看得清”才是目标。
智谱 GLM-5.2 开源登顶、科创板向 AI 大模型开门、沪指收复 4100 点
weixin_45526015的博客
06-17 3052
**今天你必须知道的 3 件事：** > ① 智谱 GLM-5.2 正式上线开源，Code Arena 全球可用模型排名第一 > ② 科创板上市标准扩围至 AI 大模型行业，未盈利 AI 公司上市通道打开 > ③ A 股沪指收复 4100 点，科创 50 暴涨 4.69%，半导体全面爆发
蓝牙+WiFi 融合产品调研：智能体脂秤
朝气蓬勃
06-17 1875
本文系统介绍了智能体脂秤的产品概况、硬件架构设计、软件架构设计、关键技术挑战及解决方案。产品方面，概述了主流型号、目标用户和市场定位；硬件设计重点分析了芯片选型、BOM成本及PCB布局；软件架构详述了FreeRTOS系统选型及分层协议设计；技术挑战部分提出了Wi-Fi/BLE共存、阻抗测量精度等解决方案；最后展望了市场前景和2025年趋势。全文为体脂秤开发提供了全面的技术指导，特别适合IoT硬件开发者参考。
从 Canvas 到 Vibe Coding：HTML5 游戏开发入门与 AI 飞机大战实战
meilindehuzi_a的博客
06-16 1813
本文围绕 HTML5 中的 Canvas 技术展开，从网页游戏的发展背景出发，系统介绍了 Canvas 画布的基本概念、绘图上下文获取方式以及常用绘图 API 的使用方法。通过矩形绘制、边框绘制和画布清除等案例，帮助读者理解 Canvas 的坐标体系与绘图原理。随后结合动画示例，深入讲解了浏览器动画实现机制、游戏循环思想以及 `requestAnimationFrame` 的工作原理，并分析其相较于 `setInterval` 的性能优势。
美团海报生成 AIGC 技术创新与实践
美团技术团队
06-18 1101
美团智能创作团队围绕海报生成 AIGC 构建了完整技术体系，打造「生成-编辑-评判」技术闭环，目前已在美团外卖、品牌 IP 等场景落地，已全部开源。
2026 国产 AI 工控机替代方案：飞腾 / 龙芯平台的信创选型实战指南
paiqingongkong的博客
06-17 1258
随着关键信息基础设施供应链安全审查的全面深化，国产化工控机已从 "政策强制替代" 转向 "技术价值驱动" 的新阶段。数据表明，2026 年中国工业控制计算机市场规模预计达到 896 亿元，同比增长 37.2%，其中国产化市场份额将提升至 68.5%，较 2025 年同期增长 11.3 个百分点。在电力电网、轨道交通、能源化工等核心领域，飞腾和龙芯平台的信创工控机已实现批量落地，成为替代进口方案的首选。本文将从技术路线、性能指标、场景适配三个维度，为企业提供 2026 年国产 AI 工控机的完整选型指南。
AI时代的大盒子与小道理
lanhushe的博客
06-17 223
我的数据在我的服务器，你的App只能调用我的插件，用户进来就别想出去。用户最怕的就是“AI垄断”，你啥都记着，啥都分析着，最后比你还懂你自己。菜单越来越复杂，功能越来越多，最后你发现，你只是想看个电视，结果得先过五关斩六将。AI不一样，它是“活”的。做手机的、做汽车的、做办公软件的，他们悄悄把AI塞进每个角落，但从来不让你专门点进一个“AI功能”。以前，大家聚会聊的是“谁家的AI日活又涨了”“谁的模型又刷榜了”。做一个有自己的UI、有独立入口、用户天天来的“大盒子”，数据才好统计，广告才好卖，会员才好续。
Rethinking Cross-Layer Information Routing in Diffusion Transformers
最新发布
liguandong
06-21 366
论文：本文是我的精读笔记，梳理它的诊断、方法与实验，并谈谈个人看法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值