各组件命令
【02】Kafka主题的增、删、查
增:本/卡夫卡-话题。sh-create-topic flink _ Kafka-分区3-复制因子2-引导服务器节点1:9092,节点2:9092,节点3:9092
删:本/卡夫卡-话题。sh-delete-topic大数据01-引导-服务器节点1:9092,节点2:9092,节点3:9092
查看Topic信息:本/卡夫卡-话题。sh-description-topic big data 01-bootstrap-服务器节点1:9092,节点2:9092,节点3:9092
列举Topic:本/卡夫卡-话题。列表引导服务器节点1:9092,节点2:9092,节点3:9092
启动Kafka自带的控制台生产者进程 或者 消费者进程
生产者:bin/Kafka-控制台-制作人。sh-topic flink _ Kafka-broker-list节点1:9092,节点2:9092,节点3:9092
注意:broker-list与bootstrap-server功能上一致,但语义上不一样,前者把它作为存储目录、后者把它作为读取目录
消费者:bin/Kafka-控制台-消费者。sh-topic flink _ Kafka-bootstrap-服务器节点1:9092,节点2:9092,节点3:9092 -从头开始
(不写-从头开始默认从最新的抵消消费)
=========MySQL==========
【01】.导入结构化查询语言文件数据
来源/opt/insurance.sql
MySQL-uroot-p-default-字符集=utf8 mb4 insurance/opt/insurance/1 _ data _ MySQL/insurance。结构化查询语言
【02】.备份关系型数据库数据库到一个结构化查询语言文件:
MySQL dump-uroot-p-databases insurance/opt/insurance/1 _ data _ MySQL/insurance。结构化查询语言
=【 Linux 】==
cat /etc/profile
dos2unix ./sqoop.sh
好吃安装dos2unix
好吃安装lrzsz
cat-v/sqoop。嘘
chmod x ./sqoop.sh
nc -lk 9999
=【 集群启动命令】==
【01】.启动Hadoop集群服务(HDFS和纱线):
/export/server/Hadoop/sbin/start-all。嘘
【02】.启动储备服务(蜂巢metastore和蜂巢服务器2):(JDBC :蜂巢2://节点3:10000)
nohup配置单元-服务元存储
nohup hiveserver2启动
【03】.启动火花三次服务器服务(JDBC :蜂巢2://节点3:10001)
/export/server/spark/sbin/start-thrift server。嘘
-配置配置配置。服务器2。节俭。端口=10001
-配置配置配置。服务器2。节俭。bind.host=节点3
-主本地[*]
文件系统:
HDFS ://节点1:8020/flink-检查点/检查站
文件://
JDBC
套路四步:
1、加载驱动类
上课。FOrname(' com。MySQL。JDBC。驱动程序')
2、定义变量(3个变量)
连接(水管道)
报表【准备报表】(阀门)
结果集(抽水机)
3、查询结构化查询语言
4、获取结果
5、关闭连接(关闭3个))
//定义变量
连接conn=null
语句stmt=null
结果集rs=空
//加载关系型数据库驱动
上课。FOrname(' com。MySQL。JDBC。驱动程序');
//获得数据库连接
连接连接器=驱动程序管理器。getconnection(' JDBC : MSSQL ://127。0 .0 .1:3306/三星',' root ',' 123456 ');
//创建语句\准备语句对象
语句stmt=conn . CreateStatement();
PS=conn . PrepareStatement(SQL);
//执行查询,获取数据集
结果集RS=stmt。execute query(SQL);
ResultSet rs=ps.executeQuery()
//关闭连接
rs.cloas
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/103395.html