ElasticSearch中的日期映射为Hive中的日期格式

现在的场景是需要将ElasticSearch中的数据导入到Hive中，但是在导入的时候发现了日期映射的异常，ElasticSearch中日期字段定义的格式为：

time:{

type:date,

store:true,

include_in_all:true,

format:yyyy-MM-ddHH:mm:ss

}

在Hive中建立外部表如下：

CREATEEXTERNALTABLE`test_table_es`(

`meta_id`stringCOMMENT'fromdeserializer',

......

`time`TIMESTAMP)

ROWFORMATSERDE

'org.elasticsearch.hadoop.hive.EsSerDe'

STOREDBY

'org.elasticsearch.hadoop.hive.EsStorageHandler'

WITHSERDEPROPERTIES(

'serialization.format'='1')

TBLPROPERTIES(

'COLUMN_STATS_ACCURATE'='false',

'es.index.auto.create'='false',

'es.mapping.names'='meta_id:_metadata._id,time:time',

'es.nodes'='127.0.0.1:9200',

'es.read.metadata'='true',

'es.resource'='test_index/test_type');

建立外部表的时候，不会报错，但是查询的时候会报日期不能够正常映射为Hive中的Timestamp格式。

elasticsearch-hadoop中用于将ES中的日期转换为Hive中的日期格式的类为org.elasticsearch.hadoop.hive.HiveValueReader，通过查看该类的源码，其实现的用户日期转换的方法为：

@Override

protectedObjectparseDate(Stringvalue,booleanrichDate){

return(richDate?newTimestampWritable(newTimestamp(DatatypeConverter.parseDateTime(value).getTimeInMillis())):parseString(value));

}

可以看到它是通过javax.xml.bind.DatatypeConverter.parseDateTime(String)方法将对应的日期字符串转换为日期的，

该方法不支持的日期字符串格式为“yyyy-MM-dd HH:mm:ss”的字符串，它支持的日期字符串的格式为“yyyy-MM-ddTHH:mm:ss”这样的。

因而为了支持这种转换，可以选择两种处理方式：

一是修改原始数据，二是在转换的过程中做数据转换，考虑到第一种方式要处理非常多的数据，因而采用了第二种方式，实现自己的ValueReader，在实现ValueReader的时候，要考虑兼容其它的日期格式，并且只处理属性中指定了日期格式为“yyyy-MM-dd HH:mm:ss”的日期转换，其它日期格式还是采用默认的方式处理，这样才能够兼容其它的日期格式，否则会导致其它的日期格式出错，以下是一个实现的自定义的EsValueReader的原码：

packagecom.service.hadoop;

importjava.sql.Timestamp;

importjava.text.ParseException;

importjava.text.ParsePosition;

importjava.text.SimpleDateFormat;

importjava.util.Calendar;

importjava.util.Date;

importjavax.xml.bind.DatatypeConverter;

importorg.apache.hadoop.hive.serde2.io.TimestampWritable;

importorg.elasticsearch.hadoop.cfg.Settings;

importorg.elasticsearch.hadoop.hive.HiveValueReader;

importcom.sun.xml.bind.DatatypeConverterImpl;

/**

*类EsValueReader.java的实现描述：用于转换ES中的日期类型，用于匹配Hive中的日期类型

*

*@authorfenglibin2018年4月19日下午3:54:00

*/

publicclassEsValueReaderextendsHiveValueReader{

privateStringdateFormat;

privatestaticfinalStringDEFALUT_DATE_FORMAT=yyyy-MM-ddHH:mm:ss;

@Override

publicvoidsetSettings(Settingssettings){

super.setSettings(settings);

dateFormat=settings.getProperty(es.date.format);

}

@Override

protectedObjectparseDate(Stringvalue,booleanrichDate){

if(value!=nullvalue.trim().length()0DEFALUT_DATE_FORMAT.equalsIgnoreCase(dateFormat)){

return(richDate?newTimestampWritable(newTimestamp(parseDate(value,

DEFALUT_DATE_FORMAT).getTime())):parseString(value));

}

/**如果没有设置日期格式，通过默认的方式支持，以避免使用新的ValueReader后影响到其它的外部表**/

returnsuper.parseDate(value,richDate);

}

/**

*解析日期,根据指定的格式进行解析.br

*如果解析错误,则返回null

*@paramstringDate日期字符串

*@paramformat日期格式

*@return日期类型

*/

privatestaticDateparseDate(StringstringDate,Stringformat){

if(stringDate==null){

returnnull;

}

try{

returnparseDate(stringDate,newString[]{format});

}catch(ParseExceptione){

returnnull;

}

}

publicstaticDateparseDate(Stringstr,String...parsePatterns)throwsParseException{

returnparseDateWithLeniency(str,parsePatterns,true);

}

privatestaticDateparseDateWithLeniency(

Stringstr,String[]parsePatterns,booleanlenient)throwsParseException{

if(str==null||parsePatterns==null){

thrownewIllegalArgumentException(DateandPatternsmustnotbenull);

}

SimpleDateFormatparser=newSimpleDateFormat();

parser.setLenient(lenient);

ParsePositionpos=newParsePosition(0);

for(StringparsePattern:parsePatterns){

Stringpattern=parsePattern;

//LANG-530-needtomakesure'ZZ'outputdoesn'tgetpassedtoSimpleDateFormat

if(parsePattern.endsWith(ZZ)){

pattern=pattern.substring(0,pattern.length()-1);

}

parser.applyPattern(pattern);

pos.setIndex(0);

Stringstr2=str;

//LANG-530-needtomakesure'ZZ'outputdoesn'thitSimpleDateFormatasitwillParseException

if(parsePattern.endsWith(ZZ)){

str2=str.replaceAll(([-+][0-9][0-9]):([0-9][0-9])$,$1$2);

}

Datedate=parser.parse(str2,pos);

if(date!=nullpos.getIndex()==str2.length()){

returndate;

}

}

thrownewParseException(Unabletoparsethedate:+str,-1);

}

}

将这个类导出一个jar包并将其加到Hive的auxlib目录，然后再重启Hive即可。