今天我准备和大家探讨系统间的集成和互联互通问题。最近我在和许多客户沟通时发现,大多数企业在IT系统建设中遇到的最大问题仍然是系统之间存在许多断点。这些断点直接影响了跨组织、跨系统的端到端业务协同。如何解决企业信息化建设中的信息孤岛仍然是相当多客户最关心的问题点。

对于互联互通的解决方案,大家常提到的是集成平台或ESB(企业服务总线)。包括在前几年我与许多甲方客户沟通时,许多客户告诉我ESB已经过时了,现在更多的是云原生和微服务架构,已经不再需要ESB总线。
但实际上当你采用微服务架构后,原来的单体系统被拆分得更细,微服务组件之间涉及的API接口更加复杂,这种互联互通和集成的问题反而变得更加复杂。变化的仅仅是遗留系统少了,对传统系统的协议适配和转换变少了而已。
因此,很多时候有人会说不应该再按传统方式烟囱式的去孤立建设一个个独立的IT系统,而应该整体规划和建设。
这个说法当然没有错,但是我们必须知道,在IT应用架构系统建设规划过程中,我们基于“分而治之”的架构思想,将大系统拆分为更小的子系统或组件进行建设,这反而是一种解决复杂问题的方法。
1.架构为核心-架构驱动

分而治之,按演进路线逐步去建设IT系统没有错,但是我们原来出现的问题往往是缺少了前期的整体架构设计,缺少架构驱动的核心思想。
也就是说,许多系统在开始时就没有考虑集成。当所有系统都建成后,才影响到业务协同,然后再考虑接口的集成,这个思路本身就存在大问题。
而架构驱动的自顶向下的思路是,从一开始就应该做好系统的拆分和接口设计。如果我前期是接口驱动的,那么我后面构建出来的组件或系统,自然可以进行平滑集成。这是我想要强调的第一个关键点。
2.从集成到共享思路的转变
第二个关键点是,我想谈谈当前我们遇到的互联互通问题究竟是什么,以及导致这些问题的本质原因是什么。
对于互联互通本质上需要解决的问题就是基于横向端到端流程的打通。类似于我经常会谈到的端到端的供应链流程。它往往涉及到项目管理、招投标、采购、库存等多个系统。整个供应链流程是完整的,因此就需要这些系统横向进行相关的接口集成、服务集成和数据协同。

但是,横向互联互通遇到的最大问题是什么呢?
如果我们仍然按照传统的数据集成和数据同步方式来做这件事,你会发现同样一个数据会通过同步后散落到多个业务系统中,这样反而导致了后面的数据治理和数据管控的困难,引起了数据重复和数据不一致等大量问题。
为什么会出现底层这么多系统之间的接口和数据同步呢?

其本质原因往往是同样一个功能,在各个系统里反复做。因为原来各个系统往往是分包给不同的厂商来做,各个厂商在做自己的系统时,他一定不会有整体的视角,他一定是考虑怎么做这个系统最方便。因此,这就导致了大量功能的重复建设,导致你后面需要通过接口和数据集成来解决这个问题。
所以,我一直在强调,对于横向的互联互通,其本质是由于业务系统之间没有整体规划设计,业务系统之间对功能进行重复建设导致的。这是我想要强调的第二个关键点。
3.纵向体现数据治理的思路
最后再谈下纵向层面的互联互通。我们讲的纵向互联互通,特别是在一些大集团或智慧城市建设项目中相当常见。
例如集团下面有相关的专业公司或子公司,子公司下面还有分支机构。如果我们是做智慧城市项目,如医疗领域,你有相关的城市,还有下面的县级单位,还有下面的城乡城镇的医院。
在这个时候,往往就会出现纵向的互联互通。纵向互联互通需要解决从底层数据采集汇总,再朝上面统一进行汇总统计分析的问题。
所以,原来的纵向互联互通更多的是偏传统BI的视角,更多的是解决跨组织、跨部门纵向的数据整合,方便我们做统计,方便我们做后面的决策分析。
这个思路本身没有什么问题,但这个本身又是一个治标不治本的方法。我原来一直在强调,横向的互联互通和纵向的互联互通,本身就应该高度融合起来。纵向你去解决数据的统计分析问题没关系,但纵向的互联互通里面有一个关键,就是纵向的互联互通一定要体现到对横向端到端流程的管控上面。
在前面谈到了数据为何没有纵向贯通?其核心原因就是我们对数据的研究直接跳跃到了数据决策,而缺乏了数据驱动业务的关键环节。

数据驱动这条线也应该是从底朝上纵向贯通的,而且也存在和业务和应用的V模型匹配,形成了横向+纵向的双向贯通。
-
业务能力组件阶段-》解决基础的数据治理问题
-
业务服务和能力开放-》解决数据采集集成和共享
-
价值流-》解决数据驱动业务运作关键问题
-
战略业务目标-》解决数据支撑决策(传统BI+AI+大数据)
当我在做纵向的数据统计分析时发现了问题,那我发现的问题应该变成一个个关键的管控点,这些管控点应该把它安插回原有的我的横向流程里面去。只有这样,才能够从根源上面去解决数据的质量,这样我们才能够真正实现横向和纵向的全连通和全连接。
所以说,我刚才说了那么多关于互联互通的内容,大家会感受到里面非常重要的两个关键点:第一个是互联互通应该是一个以架构驱动的总体设计的事情,前期就要做好子系统的拆分和接口设计;第二个是互联互通本身要体现功能的重复和功能建设这种浪费的问题,我们更多的是要去考虑功能怎么样可复用、可共享;第三个是互联互通的根源上,你要去考虑数据治理和管控的问题,这才是既治标又治本的方法。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】


6879

被折叠的 条评论
为什么被折叠?



