hadoop介绍以及未来发展

news/2025/2/12 0:45:01/

大数据作为当今世界的重要商业行为,给无数商家和企业带来了无数的发展机遇和机会,这里介绍一下,因为sap也是需要进入大数据时代的,毕竟跟这互联网,sap有发展,如果单纯就是应用在企业中,会错失很多良机。比如sap服务的很多客户,卖苹果的一家单位,当时只是一家小作坊,但是后来通过sap达到了一定量级,然后做到了当地的巨无霸企业。
大数据主要有如下几个特点:
1.数据体量很大
2.数据类型多样
3.商业价值
4.速度快
有两个例子,一个是电子地图,比如Google maps ,百度maps,高德地图。还有一个是网站购物,可以通过用户最近购买的东西做判定,知道这个用户最近的情况,可以做一个用户画像,分析的指标有如下几个:
基本信息,购买能力,行为特征,社交网络,心理特征以及兴趣和爱好。比如特喜欢的车,丰田凯美瑞或者中国红旗,可以经过往年的营销和口碑,以及功能判定这个人的个性,以及以后他的职业。还可以通过喜欢的音乐歌手,比如周杰伦,林俊杰判断特喜欢的歌曲类型来做营销,一般是情一些明星过来代言,明星收取一部分代言费,然后代言的产品价格上涨,还是消费者买单,没办法,谁让你喜欢他呢。

我是计算机这边的,不是营销的,所以这里介绍一下,你说你经常参与营销活动,但是你只是参与的线下活动,后台的事情,没有了解。实际上,计算机都是通过后台收集的用户数据进行精准营销的,比如你喜欢关晓彤,那么商家可能就会联系她来做代言,然后向你推销产品了,加油吧,你女神的酒,够你喝一壶了。
这里我来写写做好大数据,作为basis,应该做哪些事情。
首先,搞清楚,大数据的两个核心,一个是数据的存储,一个是数据的计算。
最早时Google研发了世界上第一个真正意义上的大数据分布式存储和计算产品,就是google file system 和google mapreduce。

根据分布式的思想,文件数量体量超过一台服务器的最大容量的时候,如果要继续存储,那必须根据数据整体的规模大小,以及单台服务器的存储最大容量,计算出存储该文件 数据需要的服务器总台数,从而实现服务器节点数量的规划,然后将这些节点用网络的方式组织起来,变成一个集群。再部署一个系统,作为管理。
并行处理也有一些问题,如下:
一个作业如何平均分布很多个单独的任务去处理?
计算过程中各个节点上的资源如何统一分配和回收?
中间产生的计算结果如何及时的统计汇总?
集群服务器计算完成的最终结果是如何统一的输出?

大数据符合以下的架构:
数据交易万象 接口等
数据生成dag 数据分析软件
数据分析。hiv分布式数据仓库 sql
数据存储 云存储 云数据库 Hadoop集群
数据收集 历史数据文件 点击流 数据市场 实时日志 数据流


http://www.ppmy.cn/news/74810.html

相关文章

「车型分析」控制系统典型应用车型 —— 辊筒AGV

辊筒AGV (Roller conveyor ) 是一种常见的AGV机器人类型,它利用辊筒和轮子在巷道中实现货物的搬运和运输,可实现托盘物品的卸载和运输等功能, 具有更高的灵活性、适应性和效率。本文将基于这款市场上常见的AGV进行一次简单的介绍。 1 车型介绍: 辊筒AGV…

架构设计的一些建议——陈皓

序言 本周5月15日,MegaEase创始人兼CEO、知名架构师、CSDN 资深博主陈皓(网名:左耳朵耗子)于13日去世,享年47岁。之前听过他的极客时间《左耳听风》,个人觉得还是有点收获的。 CoolShell——陈皓 写这篇…

qt之元对象系统

组成 QObject类:是所有使用元对象系统的类的基类Q_OBJECT宏:使得类可以使用元对象的特性,如动态属性,信号与槽MOC:元对象编译器,为每个QObject的子类提供必要的代码来实现元对象系统的属性 QMetaObject定…

直播预告 | 医疗人工智能入行经验分享

(本文阅读时间:2 分钟) 或许大家从不同程度上听说或使用过智能导诊机器人、语音电子病历或是智能问诊?这些高端大气又便利的产物都是人工智能在医疗健康领域的重要应用场景产品及服务。 “AI医疗”是人工智能技术赋能医疗健康产业…

VS Code 大量 Java 新功能来袭!

大家好,欢迎来到 Visual Studio Code Java 的 4 月更新!在此博客中,我们将带来大量基础用户体验更新,其中包括调试功能改进、Maven 插件中的配置文件支持、全新 Java Project Explorer 的用户界面和 Spring Boot 项目的可视化增强…

小航编程题库GoC南海区小学四年级模拟测试题(含题库教师账号)

需要在线模拟训练的题库账号请点击 小航助学编程在线模拟试卷系统(含题库答题软件账号)_程序猿下山的博客-CSDN博客 填空题8.0分 删除编辑 答案:100 第1题画一条高度为100,粗为5的竖线。 //程序名:直线 //作者: int main() { pen.size(5)…

sys用户下为其他用户的创建私有db link的案例

文章目录 1.查询job执行情况2.确认根因3.重建DB LINK3.1使用current_schema方式3.2使用procedure方式 4.重新编译失效的对象,并手动执行job 记录一下scheduler job执行失败,而不知到job拥有者密码的情况下,如何重建私有db link的案例 1.查询j…

Cesium教程(四):调用地形服务

Cesium提供了多种现有地形数据服务接口,并且支持自定义地形数据。 CesiumTerrainProvider:高精度全球地形数据,附有光照和水面效果。地形切片使用quantized-mesh v1.0格式,Cesium使用CesiumTerrainProvider API调用该服务。 Goo…