大数据：

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试
在这里插入图片描述

文章目录

大数据：
@[TOC](文章目录)

大数据
大数据的诞生
分布式处理技术
大数据概述
大数据软件生态
Apache Hadoop概述
总结

大数据

在这里插入图片描述

各种操作行为的记录

用户是什么样的人？
他想要购啥物品，基本根据数据就可以拿下

大数据的诞生

在这里插入图片描述

计算机发明之前，是用纸来记录的
后来就是计算机记录
上世纪
都是独立的计算机

后来小规模互联互通

后来全球互联

随着全球互联网发展，用户越来越多
数据越来越大
很猛
大
就是大数据
太多了，你顶得住吗？
一个计算机解决不了这个问题

在这里插入图片描述

分布式处理技术

数据量大，用大规模服务器解决
要存
要算
传输
在这里插入图片描述

2008年前
小企业玩不了
大企业才有的

后来阿里云出现了
开源
Hadoop出现了
开源

在这里插入图片描述
牛逼

逐步开花结果
牛逼

核心就是分布式计算
存储和资源调度

Apache的Hadoop超级吊

大数据概述

在这里插入图片描述

本质就是分布式
海量数据的处理
背后的价值，挖掘
数字化时代

volume大体量，
variety数据种类来源多样化
value低价值密度，需要挖掘
velocity增长速度快，获取快，用得快，高性能
veracity数据的质量，准确，可信，结论靠谱才行
在这里插入图片描述

海量的、高增长的、多类别的、低信息密度的大数据中挖掘出有用高质量的结果
说白了，要计算
先存储
算的过程中，需要传输和调度