CBoard可视化工具以及大数据分析平台的设计与实现
发布时间：2022-12-09 10:51:30 所属栏目：大数据 来源：
导读： 运行环境：JDK1.8、（源码编译）、+/（系统元数据存储）、 2.1+（用于看板导出和邮件发送）、
#环境准备
#安装-2.1.3
下载地址：
tar -xjvf -2.1.1-linux-.tar.bz2
vim
#环境准备
#安装-2.1.3
下载地址：
tar -xjvf -2.1.1-linux-.tar.bz2
vim
|
运行环境：JDK1.8、（源码编译）、+/（系统元数据存储）、 2.1+（用于看板导出和邮件发送）、 #环境准备 #安装-2.1.3 下载地址： tar -xjvf -2.1.1-linux-.tar.bz2 vim /etc/ =/home//apps/-2.1.1 PATH=$PATH:${}/bin /etc/ 执行运行正常即安装成功 #安装配置 的地址： #修改配置文件 ##系统配置 /src/main//. =jdbc:mysql://192.168.137.100:3306/ =hive = =/home//apps/-2.1.1/bin/ ##中英文显示配置 /src/main//org//.js var = { : "cn" // en/cn: to }; #maven打包前需要提前安装maven以及在root用户/etc/配置maven环境变量 #maven打包： ##的jdbc驱动包添加到maven库 mvn :-file -Dfile=lib/-4.0.jar -=com.. -= -=4.0 -=jar ##打包 mvn clean #在mysql中创建数据库 ; #从源码包的/sql/mysql目录下找到mysql.sql文件 #在mysql命令行中执行sql脚本文件 mysql> ///sql/mysql/mysql.sql #解压 #拷贝编译好的.war包到的目录下 cp ////.war /home//apps/-7/ #修改-7/conf目录下.xml服务相关配置项 #绑定端口号8080 #绑定IP #启动 bin/.sh #关闭 bin/.sh #在浏览器中访问 :8080/ #初始登录用户名密码 admin 首先到192.168.137.102，192.168.137.103c 大数据绘图，192.168.137.104上启动kafka *******************kafka************* #创建主题 bin/kafka-.sh -- -- 192.168.137.100:2181 --- 1 -- 3 --topic #查看kafka中已经创建的主题列表 bin/kafka-.sh --list -- 192.168.137.100:2181 //#删除主题 //bin/kafka-.sh -- -- //192.168.137.100:2181 --topic #在192.168.137.102使用kafka自带的消费者客户端脚本 bin/kafka--.sh -- 192.168.137.100:2181 --from- --topic ●●提前在/home//apps目录下创建目录 ********************模拟日志生成************* ********************flume日志收集************* #hdfs创建/data/目录 fs -mkdir /data/ #在192.168.137.100启动用户日志收集客户端 bin/flume-ng agent --conf conf --conf-file conf/.conf --name -.root.=INFO, #后台运行 bin/flume-ng agent --conf conf --conf-file conf/.conf --name >/dev/null 2>&1 & #在和分别启动日志收集，在192.168.137.101启动 ##bin/flume-ng agent --conf conf --conf-file ##conf/.conf --name -##.root.=INFO, bin/flume-ng agent --conf conf --conf-file conf/.conf --name -.root.=INFO, bin/flume-ng agent --conf conf --conf-file conf/.conf --name >/dev/null 2>&1 & ********************hive数据仓库************* #一、创建原始日志临时存储ods库 ods; ##1.创建用户日志外部分区表 #用户id，使用的客户端版本号，地域id，用户行为，时间戳 table ods.( , , , int, time ) by(dt ) row by ',' lines by '\n' as '/data/'; #二、创建历史明细数据长期存储pdw库 pdw; ##1.创建用户日志明细表 //用户id，使用的客户端版本号，客户端类型c 大数据绘图，地域id，地域名称，时间戳，曝光，点击 table pdw.( , , , , , time , int, int ) by(dt ) row by '\t' lines by '\n' as ; ##2.创建新增用户明细表（用于计算新增用户数，累计用户） //新增用户id，时间戳 table pdw.( , time ) by(dt ) row by '\t' lines by '\n' as ; ●●首先在/home//apps目录下创建/data目录，然后将课上老师给2个文件.txt和data.txt利用rz命令导入 #三、创建存储维度关系表的rel库 rel; ##1.创建地域表 //字段信息：地域编码、地域名称 table rel.( id , name ) row by '\t' lines by '\n' as ; //导入数据： load data local '/home//apps//data/.txt' into table ; ##2.创建客户端版本与客户端类型的映射关系表 table rel.info( , type ) row by '\t' lines by '\n' as ; //导入数据： load data local '/home//apps//data/data.txt' into table info; #离线报表 ●●首先需要在/home//apps/路径下创建task目录，然后将课程老师发的四个sh脚本.sh、.sh、daily.sh、.sh利用rz命令导入 #时间戳最小时的用户ID，即新增用户 #限制该用户没有在pdw.中出现过，才为新增用户 脚本路径：/home//apps//task ##hive task，原始数据ETL -> 明细数据 //用户明细 .sh //新增用户 daily.sh ##报表任务 //新增用户数、活跃用户数、累计用户数 .sh //日期、客户端类型、曝光量、点击量 .sh #实时报表 ##创建mysql数据库bi bi; ##创建实时关键指标表 TABLE `` ( `` int(11) NOT NULL, `` int(11) NOT NULL, `` (512) NULL ) = =; 执行cs.scala程序 （编辑：PHP编程网 - 襄阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330434号