快捷搜索:  汽车  科技

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)在Spark作业的运行环境中也未找到cdh01.fayson.com相关的配置信息,继续分析。2.检查Spark作业的运行环境,也未发现相应的配置信息Exception in thread "main" org.spark-project.guava.util.concurrent.UncheckedExecutionException: java.lang.IllegalArgumentException: java.net.UnknownHostException: cdh01.fayson.com at org.spark-project.guava.cache.LocalCache$Segment.get(LocalCache.java:2263) at org.spark-project.guava.cache.LocalCache.get(LocalCache.java:4

1.故障描述
  • 运行环境说明

1.RedHAt7.2

2.CM和CDH版本为5.15.0

3.Spark1.6

  • 问题现象

在代码中使用HiveContext对象访问Hive表ods_user(该表为Parquet格式)时发现作业报错,异常如下:

Exception in thread "main" org.spark-project.guava.util.concurrent.UncheckedExecutionException: java.lang.IllegalArgumentException: java.net.UnknownHostException: cdh01.fayson.com at org.spark-project.guava.cache.LocalCache$Segment.get(LocalCache.java:2263) at org.spark-project.guava.cache.LocalCache.get(LocalCache.java:4000) at org.spark-project.guava.cache.LocalCache.getOrLoad(LocalCache.java:4004) at org.spark-project.guava.cache.LocalCache$LocalLoadingCache.get(LocalCache.java:4874)

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(1)

2.问题诊断分析

报找不到cdh01.fayson.com主机,Fayson在之前对集群做过几次变更:

  • 集群启用HA前,SparkStreaming作业使用saveAsTable在Hive中保存了ods_user表,可以正常查询及写入数据。
  • 集群启用HA并更新NameNode URL后,Hive和Spark作业依然能够访问ods_user表。
  • 修改集群的hostname,将cdh01.fayson.com主机名修改为cdh1.fayson.com后,Spark作业访问ods_user表失败。

1.检查Spark和Hive的配置文件,在配置文件中均为发现cdh01.fayson.com记录

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(2)

经过检查集群中Spark和Hive的配置文件,未发现有cdh01.fayson.com的配置信息,排除配置文件导致的问题。

2.检查Spark作业的运行环境,也未发现相应的配置信息

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(3)

在Spark作业的运行环境中也未找到cdh01.fayson.com相关的配置信息,继续分析。

3.在作业日志中可以看到,Spark访问HiveMetastore服务是成功的

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(4)

既然可以正常的访问HiveMetastore服务,那再次证明Hive和Spark配置是没有问题的。

4.既然能够正常的访问HiveMetastore服务,Spark服务直接通过访问HiveMetastore服务获取ods_user的元数据信息,推测可能是ods_user表元数据存在问题,查看ods_user表建表语句确认

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(5)

检查ods_user的建表语句发现,存在配置信息为cdh01.fayson.com的信息,由此推断可能是由于ods_user表中该属性导致。

3.问题解决

Fayson很清晰的记得在SparkStreaming作业中创建的ods_user表,,并未在建表语句中指定Spark sql相关的配置参数。通过Spark官网资料找到相关信息(

http://spark.apache.org/docs/1.6.0/sql-programming-guide.html#hive-metastore-parquet-table-conversion

),Spark在读取和写入Hive Metastore Parquet表时,会尝试使用自己的Parquet支持而不是使用Hive SerDe,从而获取更好的性能。此行为由spark.sql.hive.convertMetastoreParquet参数控制(默认为true)。那如果修改了Hive表的属性或其它外部变更(如:修改NameNode节点hostname,NameNode节点迁移等)均会导致Spark缓存的配置失效,因此这时需要手动的刷新表,以确保元数据信息一致。

1.修改ods_user表中SERDEPROPERTIES中的path属性为NameNode启用HA后的地址,命令如下;

ALTER TABLE ods_user SET SERDEPROPERTIES ('path'='hdfs://nameservice1/user/hive/warehouse/ods_user');

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(6)

可以看到path已修改为最新的HDFS访问地址

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(7)

2.再次验证可以正常的访问ods_user表的数据

hive on spark缺点(0510-Spark应用访问Hive报错异常分析)(8)

4.总结

1.Spark在读取和写入Hive Metastore Parquet表时,会尝试使用自己的Parquet支持而不是使用Hive SerDe,从而获取更好的性能。所以在将spark数据写入一个不存在的hive表时会在建表语句中增加spark的一些属性配置。

2.特别要注意集群在未启用HA时使用Spark生成的Hive表,在集群启用HA后可能会到Spark无法访问该表,需要修改SERDEPROPERTIES中path属性。

3.如果只是通过hive或者其他外部方式修改了Hive表的元数据信息,可以通过如下方式刷新Spark缓存的表元数据

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.refreshTable("ods_user")

猜您喜欢: