这篇文章主要讲解了“Sqoop Hive MySQL怎么配置用户某时间范围",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Sqoop Hive MySQL怎么配置用户某时间范围"吧!
一、创建配置文件【1、创建table_env文件,增加如下内容】
执行命令:表六_环境
内容:
此处)折叠或打开
插入覆盖目录" ${hivevar:hdfs_path} "行格式分隔字段终止于" ${hivevar:field_term} "选择*来自(选择c.area,p.product_name,
夏季访问次数,
row_number()超过(按c .地区顺序除以desc,
$ { hive var : action _ time } ' action _ time
来自城市信息c加入(
从用户点击中选择产品id,城市id,计数(1) rn,其中action _ time=' $ { hive var : action _ time } '按产品id,城市id分组
)u加入产品信息p
在c.city_id=的情况下,当美国城市id为空时,则concat('cityid ',rand())否则美国城市id结束
并且p.product_id=当u.product_id为空时的情况,则concat('prodid ',rand())否则u.product_id结束
按c .地区分组,p.product_name) a
其中a . rn=3;
退出保存(: wq)【3、创建从Hive导出脚本:创建hive_to_mysql.sh文件,增加如下内容】
执行命令:vi hive_to_mysql.sh
内容:
此处)折叠或打开
create database works DEFAULT CHARTER SET utf 8 COLLATE utf 8 _ general _ ci;
1.2、创建表
点击(此处)折叠或打开
-城市表
创建表格城市信息(
city_id int,
city_name varchar(255),
可变长字符串区(255)
)ENGINE=Innodb DEFAULT CHARSET=ut F8;
-产品表
创建表产品信息(
product_id int,
product_name varchar(50),
extend_info varchar(100)
)ENGINE=Innodb DEFAULT CHARSET=ut F8;
-用户点击表
创建表用户_点击(
user_id int,
session_id varchar(50),
action_time varchar(30),
city_id int(11),
product_id int(11)
)ENGINE=Innodb DEFAULT CHARSET=ut F8;
-统考结果表
创建表用户点击
区域瓦尔查尔(50),
product_name varchar(50),
visit_num int(11),
rn int(11),
sdate varchar(10)
)ENGINE=Innodb DEFAULT CHARSET=ut F8;
【2、Hive信息】创建储备表
点击(此处)折叠或打开
-用户点击表
创建外部表用户_单击(
用户身份证明(identification)字符串,
会话身份证明(identification)字符串,
城市id字符串,
产品身份证明(identification)字符串
)
分区人(操作时间字符串)
以" \t "结尾的行格式分隔字段
location '/works/user _ click ';
-用户点击临时表
创建外部表tmp_user_click(
用户身份证明(identification)字符串,
会话身份证明(identification)字符串,
动作时间字符串,
城市id字符串,
产品身份证明(identification)字符串
)
以" \t "结尾的行格式分隔字段
location '/works/tmp _ user _ click ';
-城市表
创建外部表城市信息(
city_id int,
城市名称字符串,
区域字符串
)
以" \t "结尾的行格式分隔字段
位置'/作品/城市_信息;
-产品表
创建外部表产品信息(
product_id int,
产品名称字符串,
扩展信息字符串
)
以" \t "结尾的行格式分隔字段
位置'/作品/产品_信息;
感谢各位的阅读,以上就是“Sqoop Hive MySQL怎么配置用户某时间范围"的内容了,经过本文的学习后,相信大家对Sqoop Hive MySQL怎么配置用户某时间范围这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/156544.html