问题:
起源:在spark任务中,在将TFrecord的数据写入到Hive表中时,使用Datafram读取数据,解析,转化,得到DataFram[Row],再与Schema匹配,写入到Hive表中,打印Datafram的Schema,发现没有问题,但程序一直写不进去,报错,
在解析数据写入到hive表时,出现
[J is not a valid external type for schema of bigint
可以看到是数据类型不匹配导致的异常,但是 [J数据类型是怎样的?表中的字段近乎1000个,如何排查是由于那个数据类型不一致导致的?
解决:
一定是由于数据类型不匹配导致的异常,
1、排查在datafram中Row的数据和Schema中定义的字段名,类型是否可以匹配,一般是由于不匹配导致的异常。
可以采用打印一行Row,看数据是如何的?
发现是给Row中某个字段解析出来的类型是array <bigint>,
在Schema中定义的是bigint,
在Hive表中定义的是bigint,
定义的类型和hive表的字段的类型不一致,(在Schema与Datafram匹配的时候不会报错,),导致数据写不到hive表中,[J显示的是某个字段的Hash,我这里是
[J@6a5f9cdb,分析该字段应该是array《bigint》类型,
[L@*********,array《float》但定义时时int类型,导致错误