hive入门教程3:0458-Hive数据类型校验问题分析
hive入门教程3:0458-Hive数据类型校验问题分析可以通过建表语句中指定Hive保存和标识NULL,也可以通过alter修改已存在的表,建表指定方式如下:3.如果表中存在大量的NULL值,则在Hive的数据文件中会产生大量的\N数据,浪费存储空间,那我们可以将serialization.null.format设置为''alter table test_null set serdeproperties('serialization.null.format' = ''); (可左右滑动)插入为NULL的数据后,HDFS的数据文件存储如下
5
总结
1.Hive在对表进行Put和Load数据操作时,Hive是不支持数据类型的校验,在使用insert into table select…方式向表中插入数据时,对于类型异常的数据会在表中插入一个\N空的值(\N为Hive中默认NULL标识)
2.可以使用serialization.null.format来指定Hive中保存和标识NULL,可以设置为默认的\N,也可以为NULL或''
3.如果表中存在大量的NULL值,则在Hive的数据文件中会产生大量的\N数据,浪费存储空间,那我们可以将serialization.null.format设置为''
alter table test_null set serdeproperties('serialization.null.format' = '');
(可左右滑动)
插入为NULL的数据后,HDFS的数据文件存储如下
可以通过建表语句中指定Hive保存和标识NULL,也可以通过alter修改已存在的表,建表指定方式如下:
create table test_null_1 (id int age string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LINES TERMINATED BY '\n' NULL DEFINED AS'' STORED AS TEXTFILE;
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操