hive实战演练:手机流量统计

news/2024/11/24 10:04:03/

hive 本质上是一个 sql 解析引擎 ,提供了一种类sql语言 hql 以便于使用,将我们熟悉的sql语言 转换成了 一个个map-reduce进程


需求 : 统计如下文件中 每个手机号使用流量的情况 

待处理文件:http.dat

下载地址:http://download.csdn.net/detail/xq_iris/9428040


文件格式:



需要保留的字段有 : 1(手机号)6(上行数据包数)7(下行数据包数)8(上行流量)9(下行流量)

step1: 使用hive为此文件建表 设置 '\t' 为分割符:

hive> create table http(t0 string,t1 string,t2 string,t3 string, t4 string, t5 string , t6 int,t7 int,t8 int,t9 int, t10 string) row format delimited fields terminated by '\t';




step2: 将本地文件 http.dat 加载到表中 :

hive>load data local inpath '/root/http.dat' into table http;




表已经创建好,下一步就是对之进行统计工作:

 step3: 先创建一张空表http_result 来存储结果

hive>create table http_result(t1 string,t6 int,t7 int,t8 int,t9 int);

step4:  然后对表中数据进行处理:

hive> insert into table http_result      //将select的结果写入表中

       > select t1,sum(t6),sum(t7),sum(t8),sum(t9) from http group by t1; //按手机号分区




step5:map-reduce进程结束后 查看 http_result表中的结果 




结果正确!!大笑



http://www.ppmy.cn/news/881426.html

相关文章

php 如何计算上网流量,手机流量是怎么计算上网流量的?

互联网时代,手机流量是我们生活中必不可少的一部分。但是包括小编本人的很多小伙伴,经常觉得自己每个月的流量使用情况都是很懵逼的。“我没怎么花流量啊,咋突然就告诉我剩余不足100M”“就刷了一会儿微博,短信提示就来了”… 到底…

2023-07-14力扣今日三题-赶上了

链接: 1419. 数青蛙 题意: 给定一个字符串,每个入口会顺序读入c r o a k 读完一个以后才能读入下一个,求要有多少个入口才能读完这个字符串,非法输入输出-1 解: 一共五个字符,且不重复&…

AF自动对焦的校正,需根据时机进行!

1.客户更换Lens或VCM可能需要重新调整AF Table 2.在某一距离对焦不良也需要重新调整AF参数 3.画面不清晰以及锐利度不好也有可能是AF的问题 因为AF取决于Lens,而Lens有DOF(景深)的范围,如果客户用很差的Lens或VCM 是无法调好的,AF跟程序有关系…

目标检测YOLO实战应用案例100讲-基于传感器融合的无人驾驶车辆目标检测与识别系统研究

目录 前言 2基于摄像头的目标检测与识别 2.1 YOLOv4目标检测模型 2.1.1卷积神经网络

相机内参fx,fy,cx,cy的方向问题,是否内参会因为标定板的方向或者拍摄方向而改变

一直在用相机内参的矩阵,最近忽然对它们fx,fy,cx,cy的方向产生了疑惑! 我平时都是采用如下图所示的拍摄方式就行相机参数标定的 今天忽然需要标定竖着拍摄时的相机内参,拍摄图片方式如下图:请忽略标定板的方向,这里主要…

AFM测试图像假象及其应对

在做原子力显微镜AFM测试时,科学指南针检测平台工作人员在与很多同学沟通中了解到,好多同学对AFM测试不太了解,针对此,科学指南针检测平台团队组织相关同事对网上海量知识进行整理,希望可以帮助到科研圈的伙伴们&#…

AFM的工作模式(一)

在做原子力显微镜AFM测试时,科学指南针检测平台工作人员在与很多同学沟通中了解到,好多同学对AFM测试不太了解,针对此,科学指南针检测平台团队组织相关同事对网上海量知识进行整理,希望可以帮助到科研圈的伙伴们&#…

微调

微调(Fine-tune)原理 fine-tuning 是一个trick,在迁移学习中有所涉及,但不仅仅出现在迁移学习中,指对参数进行微调。在自己的数据集上训练一个新的深度学习模型时,一般采取在预训练好的模型上进行微调的方法。  如上图所示 &…