hive同步数据到mysql hive数据同步到关系型数据(mysql),以下说法哪些正确?
hive数据同步到关系型数据(mysql),以下说法哪些正确?给出了一个实用的解决方案:1。数据可以直接存储在HDFS中。如果是日志文件,可以通过flume和其他工具进行传输。如果数据存在于关系数据库
hive数据同步到关系型数据(mysql),以下说法哪些正确?
给出了一个实用的解决方案:1。数据可以直接存储在HDFS中。如果是日志文件,可以通过flume和其他工具进行传输。如果数据存在于关系数据库中,可以选择使用sqoop将其导入hdfs2。数据很容易在HDFS上完成。您可以编写Mr或简单地使用hive来计算统计结果。最终结果数据应该非常小。三。把上面的结果数据倒回去MySQL(有很多方法可以选择)做在线查询过来
1。复制到HDFS
2。然后用配置单元的外部表创建一个新表。表建立后,您可以直接选择查询,而不必将其加载到配置单元
例如:
创建外部表testhivedrivertable(host name,string,logdate)string,type string,class string,demo array
我想询问原始数据库中的数据是更新还是删除。如果是这样,就很难实时同步到配置单元。此外,即使可以实时同步到hive,hive中的分析和查询速度也相对较慢。