Airbyte分享

一、Airbyte?

Airbyte公司基本情况

• 成立时间：2020年年中

• 创始人：Michel Tricot & John Lafleur

• 总部：公司总部位于旧金山

• 融资规模：超过1.5亿美元

• 融资轮次：B系列融资

• 最新估值：总资金为1.812亿美元，估值为15亿美元

• 投资机构：Thrive Capital、Salesforce Ventures、Benchmark、Accel和SV Angel等

Airbyte是做什么的？

• 简单来讲，airbyte是做数据集成和连接的。将应用程序、API和数据库中的数据同步到数据仓库、数据湖和其他目的地

• 支持200个Source类型连接器，100 个Destination类型的连接器

• 2021年，9000多家公司使用Airbyte从PostgreSQL、Oracle、MySQL、Facebook广告、Salesforce、Stripe等来源同步数据，并连接到Redshift、Snowflake、Databricks和BigQuery等目的地

• 社区：拥有4500名数据从业者和200名贡献者

• 预计到2022年底将有500个高质量连接器且涵盖更多类型的数据移动，包括反向ETL和流式接收

Airbyte解决了什么问题？

• 第一：公司总是必须自己构建和维护数据连接器，因为大多数不太流行的“长尾”数据连接器不受封闭源ELT技术的支持。

• 第二：数据团队通常必须围绕预建连接器进行定制工作，以使其在其独特的数据基础架构中工作。

二、整体架构

Airbyte一些核心概念

• Airbyte Connector——连接器

  • 在Airbyte的概念中，connector或者是收集从数据源推送过来的数据，或者去跟数据源发送请求去抓取数据。

  • Airbyte规定每个connector都放在一个完整的docker镜像中

  • Airbyte的connector的类型如下图：

  • 

• Data Types——数据类型

  • 实际上内部转换过程中只有：String/Number两种数据类型

    column ab_name (type TEXT[65535]) -> JsonSchemaType({type=string}) 
    column ab_date (type TEXT[65535]) -> JsonSchemaType({type=string}) 
    column ab_time (type TEXT[65535]) -> JsonSchemaType({type=string}) 
    column ab_datetime (type TEXT[65535]) -> JsonSchemaType({type=string}) 
    column ab_salary (type DOUBLE[22]) -> JsonSchemaType({type=number})

    • 

Airbyte整体架构

框架总体介绍：

• ui ：进行配置，以及通过界面查看同步日志

• config store ：关于认证&&同步信息存储；存储在数据库中，通过jooq（一个对象关系映射的轻量级框架，在sql执行方面的灵活性和对数据包装的严谨性方面都很优秀）存取操作

• scheduler store： 存储关于调度执行情况；同jooq

• config api ：方便ui 进行连接配置

• scheduler api ：进行调度job 配置

• scheduler ：进行数据任务的调度编排以及状态追踪

• worker ：具体数据从source 到sink 负责将数据从源容器移动到目标容器。

  • 管理此