列举 OLTP 型数据库，8a 和 Hadoop 各自所对应的 数据特征

知识分享

数据仓库基础

在互联网高速发展的今天，大量数据的复杂分析和高并发事务处理不可兼得，不同场景对各自需求的性能要求使得数据库的处理模式被分为两类，OLTP和OLAP，后来还衍生了两者兼顾的HTAP。

市面上的OLTP和OLAP系统或数据库众多，它们各自具有不同的特点和应用场景。在选择时，需要根据具体的应用需求、性能要求、安全性要求以及预算限制等因素进行综合考虑。同时，随着技术的不断发展，OLTP和OLAP之间的界限正在逐渐模糊，越来越多的系统开始采用混合事务和分析处理（HTAP）技术，将事务处理能力和数据分析能力集成到同一个系统中。

从产品上看，有专门面向OLTP的数据库，例如MySQL、PostgreSQL、Oracle等，也有专门面向OLAP的数据库，例如Hive、Greenplum、HBase、ClickHouse等。OLTP一般是基于三大范式进行数据库设计，所以查询时候会导致多表join关联查询，产生查询慢，不利于数据分析的问题。所以OLAP在设计时不是基于三大范式设计的，允许一定的冗余，基于数据仓库建模设计，为了更好的进行数据查询分析。4、对于读取，从数据库中提取相当多的行，但只提取列的一小部分。除了他以外，其他的都很小。

一、数据仓库简介 一、为什么有数仓 1、业务数据存在数据库里面：如MySQL、Oracle、SQL Server里面。但业务数据可能形成挤压，产生大量冷数据，为了避免对业务数据库产生影响，需要将冷数据转移到数据仓库。 2、将历史数据转移到数据仓库，不仅可以减少业务数据库压力，还可以进行数据分析 3、建立数据仓库，使用专门的数据抽取系统，将数据抽取出来，统一各个部门数据，开放接口。数仓面向数据分析，业务数据库面向业务系统 二、什么是数仓 数据仓库(Data Warehouse，DW).

本文介绍数据仓库的概念、特点及技术实现。数据仓库诞生的背景是企业各业务系统数据不一致、缺乏统一规范。其核心特点是面向主题、集成、非易失和时变，与面向事务的数据库形成对比（OLTP vs OLAP）。技术实现上，传统MPP架构适合中等规模数据，但存在扩展性和热点问题；大数据分布式架构更适合海量数据处理。常见产品包括Oracle RAC、Teradata等传统方案，以及Hive、Spark SQL等大数据方案。数据仓库主要用于历史数据分析，为决策提供支持。

阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥(mephisto)写的，SourceLink 序 　　本系列已经有一个多月没更新了，期间涉及到找相关对应的工作，所幸的事，得到了几个offer，后来综合考虑来到了目前这家工作。希望在接下来的...

BI 企业大数据服务结构 大数据etl技术 Informatica datastage之类的已经不用了,现用大数据的定制化开发. greenPlum之前使用的大数据etl平台 ①SCD问题处理方法并举例 ②ODS是什么,在数据仓库的作用. ：ods是短期的实时的数据，供产品或者运营人员日常使用，而数据仓库是供战略决策使用的数据；ods是可以更新的数据，数据仓库是基本不更新

数据中的每条记录都可能有不同的属性和格式。当插入数据时，并不需要预先定义它们的模式。

** 一 | 大数据的四大阵营是什么？ ** · OLTP（在线事务、交易处理）：RDBMS、NoSQL、NewSQL · OLAP（在线分析处理）：MapReduce、Hadoop、Spark等 ·MPP（大规模并行处理）：Greenplum、Teradata Aster等 · 流数据管理：CEP/Esper、Storm、Spark、Stream、Flume等 二 | OLTP阵营 OLTP阵营可以分为： ·传统的关系型数据库 ·NoSQL ·NewSQL 三类不同的解决方案。 在本篇文章中，我们.

OLTP（在线事务处理）的核心需求是高并发、强一致性、高可用、低延迟，需支撑金融转账、电商下单、用户账户操作等 “零误差” 事务场景。TiDB、OceanBase、CockroachDB 均为分布式 OLTP 领域的标杆产品，但技术出身、核心定位和优化方向存在显著差异。优先选 TiDB：若团队熟悉 MySQL、需要开源方案、业务有 “事务 + 简单分析” 混合需求（如互联网订单 + 实时统计），且预算有限；优先选 OceanBase。

该系统将大量的数据按照多个维度进行组织和展示，并提供灵活的查询和聚合功能，以用于支持决策制定、业务分析和报告生成等应用场景。它是一种基于多维数据模型的分析处理技术，用于从不同的角度进行数据挖掘和分析，以帮助用户快速发现数据之间的相关性和趋势。OLAP和OLTP在应用场景、数据处理方式和用户群体上有明显的区别，分别适用于不同的数据处理需求和用户需求。选择合适的数据库系统取决于具体的应用需求和使用场景。‌OLTP‌：数据处理量相对较小，主要涉及简单的增删改查操作，单次处理的数据量较小，涉及的表有限‌35。

介绍了数据库的历史与现状，数据库的分类

本文对比了关系型数据库和NoSQL数据库的特点与应用场景。关系型数据库基于关系模型，采用结构化存储和ACID事务保证数据一致性，适用于OLTP业务系统，典型代表如MySQL、Oracle。NoSQL数据库则具有灵活的数据模型和水平扩展能力，遵循BASE理论，分为键值型、列式、文档型、图数据库四类，适用于海量数据和高并发场景，如Redis、MongoDB等。两者在大数据生态中往往互补共存，需要根据业务需求选择合适的技术组合。

大数据技术概述 大数据技术的产生 大数据的基本概念 1、什么是大数据？大数据（Big data或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。大数据新手学习交流群，如果有想学习大数据或者交流经验的都可以加入，一起互相学习交流：→→→点击我即可加入圈子2、大数据特点①Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T

************************************************课程回顾： （1）IP配置的常见问题。 （2）防火墙 （3）解压命令 tar -zxvf (4) wordcount**************************************************1、什么是大数据？** 2002 大数据提出 美国引入。---麦肯锡报...

阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥(mephisto)写的，SourceLink   序 　　本系列已经有一个多月没更新了，期间涉及到找相关对应的工作，所幸的事，得到了几个offer，后来综合考虑来到了目前这家工作。希望在接下来的时间里，能

作者：禅与计算机程序设计艺术 1.简介 数据湖（Data Lake）作为新型的存储技术革命性的发明，其带来的巨大的价值在于极大地提升了企业对数据的处理速度、丰富程度和分析能力。数据湖能够帮助用户获得更多的信息，做出更好的决策；同时也能减少数据中心内的数据传输及处理的成本，为企业节省大量的人力物力，并提高