hudi技术原理：巧妙实现四大实时功能

威哥 2023-02-19 04:18:57 357

hudi技术原理：巧妙实现四大实时功能3.1 Spark引擎 mvn clean package -Dmaven.test.skip=true -Dspark3.0.x -Dscala-2.12 -Dcheckstyle.skip=true -Drat.skip=true1.25 有两个坑需要注意，因为aws的spark是自己修改了代码的，所以如果您使用的是aws，需要将spark-sql的version，改成amzn的版本，如3.0.1-amzn-0，不然在使用spark读取hudi的时候有包冲突;第二个坑是jetty版本的冲突，可以将hudi中的jetty改为provided。1.26 完成编译后，我们可以得到三个bundle jar包，hudi-spark-bundle.jar hudi-mr-bundle.jar hudi-flink-bundle.jar，这三个jar分别是用于spark、hive和presto、f

背景介绍

Linkis是一款优秀的计算中间件，他对应用层屏蔽了复杂的底层计算引擎和存储方案，让大数据变得更加简单易用，同时也让运维变得更加方便。我们的平台很早就部署了WDS全家桶给业务用户和数据分析用户使用。近段时间，我们也调研和实现了hudi作为我们数据湖落地的方案，他帮助我们解决了在hdfs上进行实时upsert的问题，让我们能够完成诸如实时ETL 实时对账等项目。hudi作为一个数据湖的实现，我觉得他也是一种数据存储方案，所以我也希望它能够由Linkis来进行管理，这样我们的平台就可以统一起来对外提供能力。因此我这边做了一个Linkis和Hudi的结合和使用的分享。

1.环境版本介绍1.1 环境是基于aws搭建，组件版本如下

hudi技术原理：巧妙实现四大实时功能(1)

1.2 版本适配的操作

1.21 linkis需要按照hadoop spark flink hive scala等版本进行适配编译。适配编译已经有很多的介绍文章了，这里就不赘述了。

1.22 DSS可以直接使用，也可以升级他的scala版本到2.12，和Linkis保持一致。

1.23 hudi版本建议选择0.10.1或者0.11.1 因为0.10.0和0.11.0都有一些bug。另外0.11.x提供了bucket index功能，功能强大，如果是spark2.4.x或者3.1以上的spark，建议升级到0.11.1。我们的spark环境是3.0.1，0.11.1的hudi不能适配，退而求其次选择了0.10.1

1.24 hudi需要自己按照组件版本进行编译，一般来说，编译的命令如下

mvn clean package -Dmaven.test.skip=true -Dspark3.0.x -Dscala-2.12 -Dcheckstyle.skip=true -Drat.skip=true

1.25 有两个坑需要注意，因为aws的spark是自己修改了代码的，所以如果您使用的是aws，需要将spark-sql的version，改成amzn的版本，如3.0.1-amzn-0，不然在使用spark读取hudi的时候有包冲突;第二个坑是jetty版本的冲突，可以将hudi中的jetty改为provided。
1.26 完成编译后，我们可以得到三个bundle jar包，hudi-spark-bundle.jar hudi-mr-bundle.jar hudi-flink-bundle.jar，这三个jar分别是用于spark、hive和presto、flink的插件包。

2.整体架构介绍

hudi技术原理：巧妙实现四大实时功能(2)

根据架构图所示，我们可以看到，业务库的binlog可以通过CDC直接到Hudi或者先经过Kafka再到Hudi。CDC和KafkaToHudi的应用使用Streamis进行提交，Streamis再通过Linkis将任务提交给Flink执行，这样用户的业务表就可以近实时地同步到我们的hudi表中。用户使用DSS进行查询，也是通过Linkis的Spark引擎访问hudi。

3.Linkis引入Hudi(Flink和Spark引擎)

3.1 Spark引擎

Spark引擎引入hudi的话，我们一般推荐直接将hudi-spark-bundle.jar放到${SPARK_HOME}/jars中，同时修改spark-defaut.conf，添加下面的配置

spark.serializer org.apache.spark.serializer.KryoSerializer spark.sql.extensions org.apache.spark.sql.hudi.HoodieSparkSessionExtension

同时也可以调大以下参数用来加大序列化的buffer内存。

spark.kryoserializer.buffer.max 256m spark.kryoserializer.buffer 256k

当然，也可以修改linkis启动spark引擎的方式，判断如果用户如果需要hudi的读取，就通过 --jars的方式引入hudi-spark-bundle.jar，并通过--conf的方式修改spark的序列化器参数。

3.2 Flink引擎

Flink引擎的话，就比较简单了，直接将hudi-flink-bundle.jar放置在${FLINK_HOME}/lib目录下即可，经过测试，hudi-flink-bundle.jar有shaded的方式，不会引入和其他connector冲突的包。

4.Linkis引入hudi之后的一些优点和应用介绍

4.1 实时ETL

将hudi引入到Linkis之后，我们可以直接通过streamis编写实时ETL任务，将业务表近实时地落到hudi，用户看到的最新的数据将是分钟级别的最新数据，而不是t-1或者几小时前的数据。而且这个实时ETL对集群压力也不大，如果是spark跑批，跑一天的数据，将会占据很大的集群资源，而且资源就在那一段时间被占用。

4.2 实时对账应用

我们以前的对账是在tidb上面，进行执行，tidb运维难度较大，而且商业版本价格较高，我们直接将数据导入到hudi之后，使用spark进行计算对账，也能打到分钟级别的延迟，同时运维成本降低。

4.3 实时BI

实时BI也是hudi的一个应用，通过Linkis的presto引擎查询hudi表，可以在visualis或tableau中实时刷新报表。presto的配置可以查看presto与hudi的连接。

4.4 实时分析

用户通过DSS直接查询hudi表，来进行取数以及实时分析，可以更快地反映出当天时刻的业务状况。

— END —

● 往期精选 ●