目前开始更新 MyBatis,一起深入浅出!
- Hadoop(已更完)
- HDFS(已更完)
- MapReduce(已更完)
- Hive(已更完)
- Flume(已更完)
- Sqoop(已更完)
- Zookeeper(已更完)
- Hbase(已更完)
- Redis (已更完)
- Kafka(已更完)
- Spark(已更完)
- Flink(已更完)
- ClickHouse(已更完)
- Kudu(已更完)
- Druid(已更完)
- Kylin(已更完)
- Elasticsearch(已更完)
- DataX(已更完)
- Tez(已更完)
- 数据挖掘(已更完)
- Prometheus(已更完)
- Grafana(已更完)
- 离线数仓(正在更新…)
上节我们完成了如下的内容:
- 广告业务 测试
- FlumeAgent 加载ODS、DWD层
ad_show_page
最终的Hive的数据量如下所示:
ad_show_page_window
Hive中的数据总数如下:
- 在MySQL创建对应的表
- 创建配置文件(JSON)
- 执行命令,使用JSON配置文件,测试
- 编写执行脚本(Shell)
- Shell脚本的测试
配置文件
写入的内容如下所示:
DataX 简介
DataX 是由阿里巴巴开源的分布式离线数据同步工具,用于解决不同存储系统之间的数据传输问题。它被设计为一种高效、稳定、易扩展的工具,能够适应多种复杂的数据同步需求。
核心特点
支持多种数据源:
- 关系型数据库: MySQL, PostgreSQL, Oracle, SQL Server, DB2 等。
- NoSQL 数据库: MongoDB, Hbase 等。
- 大数据存储系统: Hive, MaxCompute (ODPS), HDFS。
- 其他: FTP 文件、ElasticSearch 等。
高性能:
- 基于多线程的并行架构,能充分利用机器的多核性能。
- 支持分片传输,提高数据传输的吞吐量。
灵活性和易用性:
- 配置文件化:使用 JSON 格式的配置文件定义任务,简单直观。
- 支持任务调度,可与调度工具集成实现定时任务。
- 兼容多种数据格式和传输协议。
扩展性:
- 插件式架构,开发者可以通过编写 Reader 和 Writer 插件支持新的数据源。
开源与社区支持:
- 基于 Apache 2.0 开源协议,开发者可以自由使用和修改。
- 拥有活跃的社区和丰富的文档支持。
组成部分
Reader:
- 负责从数据源中读取数据。
- 示例:MySQLReader, HdfsReader。
Writer:
- 负责将数据写入目标存储。
- 示例:MySQLWriter, HdfsWriter。
framework:
- DataX 的核心调度引擎,负责 Reader 和 Writer 的协调工作。
- 提供错误处理、数据校验、性能优化等功能。
Transform:
- 用于对传输的数据进行处理和转换(可选)。
- 例如数据格式的转换、字段的增删改等。
工作流程
初始化:
- 加载用户配置的 JSON 文件,解析 Reader 和 Writer 的配置。
- 准备任务上下文。
读取数据:
- Reader 读取源数据并以批量的方式输出。
转换数据:
- 可选步骤,Transform 模块对数据进行处理。
写入数据:
- Writer 接收 Reader 输出的数据并将其写入目标存储。
任务管理与监控:
- DataX 提供实时的任务运行日志和统计信息,包括速度、成功率、错误信息等。
写入的内容如下所示:
以上就是本篇文章【大数据-240 离线数仓 - 广告业务 测试 ADS层数据加载 DataX数据导出到 MySQL】的全部内容了,欢迎阅览 ! 文章地址:http://mip.xhstdz.com/quote/84502.html
栏目首页
相关文章
动态
同类文章
热门文章
网站地图
返回首页 物流园资讯移动站 http://mip.xhstdz.com/mobile/ , 查看更多