1、大数据概念

大数据的IT术语：无法在一定的时间范围内用常规软件进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
我们可以这么定义：大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。
平常所说的大多数是根据大数据衍生出来的技术组件。
大数据主要解决了海量数据的存储和海量数据的分析计算这两方面的问题。
大数据技术的意义不在于掌握多少庞大的数据信息，而是对这些含有意义的数据进行专业的处理，实现数据的增值。换句话来说，我们可以将大数据看成一种产业，那么这个产业的关键是提高对数据的加工处理的能力，通过对数据的加工实现数据的增值，从而实现产业的盈利。

2、大数据特点

数据集的基本单位是bit，我这里给出目前定义的所有单位：bit、Btyte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
除了1 Byte = 8 bit 以外，其他相邻单位之间的进率是1024来计算。
（拓展：市场上商家的进率是1000，因此买的8G优盘在电脑上不会显示8G）
大数据有4大特点，它们分别是：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。

2.1 Volume（大量）

首先大数据的特点就是大。从前一个MB级别的MP3就可以满足人们很多的需求，随着时间的推移。社交工具、移动网络、各种智能工具、服务工具等等这些工具的出现，与我们每个人息息相关的数据呈指数增长。我们在使用这些工具时产生的大量数据，这些工具成为大数据数据的来源。
例如：2019年4~6月淘宝网7.55亿的移动活跃用户每天产生的商品交易额20亿，facebook上的22.6亿移动活跃用户。每60秒 更新317,000个状态；400个新用户；上传了147,000张照片; 和54,000个共享链接。每天超过80亿次视频观看。

2.2 Variety（多样）

广泛的数据来源，导致了数据的多样性。
数据从结构上来划分，我们分为结构化的、半结构化的和非结构化的数据。
结构化数据：指可以使用关系型数据库宝石和存储，数据以行为单位，一行数据表示一个实体信息，每一行数据的属性是相同的。结构化的数据存储和排序是很有规律的，查询和修改会有很大的帮助，他的拓展性不好。
半结构化数据：半结构化的数据介于结构化数据和非结构化数据之间，他的数据结构和内容混在一起，没有明显的区分。例如我们所熟知的xml，json等文件就是半结构化数据。
非结构化数据：非结构化的数据没有固定的数据结构。数据的长度，类型不固定。例如我们的办公文档，日志文件信息，生活中的图像，音频视频，地理位置信息等等都属于非结构化的数据。
数据从类型可以有数据的8中基本数据类型。 byte(最小的数据类型)、short(短整型)、int(整型)、long(长整型)、float(浮点型)、double(双精度浮点型)、char(字符型)、boolean(布尔型)

2.3 Velocity（高速）

大数据产生数据是十分迅速的，这些数据主要通过互联网进行传输。很多数据具有时效性，因此我们要对这些数据进行快速的分析。因此面对海量数据，处理数据的效率成为企业的生命。抢购商品时进行获取采购信息，快速进行计算，实时进行剩余数量的更新。
例如：2019年11月11日，2019双十一购物狂欢节正式开始。天猫双11开场14秒销售额破10亿；1分36秒成交额破100亿。17分06，成交额超过人民币571亿元，超过2014年双11全天成交额。

2.4 Value（价值）

这个是大数据的核心特征，现实世界产生的数据中，数据的总量越大，有价值的数据所占比例就会越小，相对于传统的小数据，大数据的价值是通过对大量不相干的数据的挖掘和分析，预测数据在未来的走势，发现新的规律和新知识。合理进行应用，以最小的成本创造最高的价值。

3 大数据技术发展史

大数据的发展史是其技术的发展史。大数据技术起源于Google在2004年前后发表的三篇论文，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。搜索引擎主要是做两个事情，一个是网页的抓取，一个是索引的构建，而在这个过程中，会有大量的数据需要存储和计算。Google的三篇论文在理论上可以很好的解决这个问题。
在2004年的时候，大多数的公司集中于单机上，思考的是如何提升单机的性能，寻找更好的更贵的服务器。而Google公司的思路是部署一个大规模的服务集群，通过分布的方式将海量的数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。这样Google只需要一些廉价的服务器就可以打败性能极好的单机服务器。
为什么说Google的三篇论文就有了大数据？ Google作为互联网泡沫破碎后的第一个大型上市的IT公司，它的市值飞速发展。它最根本的原因是广告业务应用了大数据的相关技术，广告业务特别出色。许多互联网公司认为这是改变自身的一次机会，因此纷纷计入大数据圈子。
当时hadoop’创始人Doug Cutting开发开元搜索引擎Nutch时，读到Google的论文后通过两年时间初步实行了类似于GFS的HDFS 和MapReduce这两个功能。2006年推出hadoop。后面雅虎，facebook、linkedin、twitter等公司对haoop项目进行贡献。
Hadoop系统于2008年6月就相对稳定了，当时雅虎作为互联网第一股，带领其他互联网初创公司打造了一套可以和Google三篇文论的相媲美的系统，用于对抗Google。
针对MapReduce对大数据编程太麻烦了，于是Yahoo开发了Pig。一种脚本语言，使用类sql语言在大数据集上进行操作。Facebook推出hive，hive支持sql语法对大数据集进行计算。2011年是facebook大数据平台运行作业90%来源于hive。
从此众多的hadoop周边产品产生。大数据的生态提心逐渐形成。例如：将数据从关系型数据库中导入hadoop平台的sqoop，针对大规模日志的收集聚合和传输的flume，mr的工作流调度引擎Ooozie等。
Hadoop的火爆带动了商业的发展。Cloudera公司于2009成立成为hadoop商业化的标志。Cloudera公司为了让hadoop系统更好的安装和使用。
由于M.C. Srivas感觉hadoop的文件系统太差，于是他重写了一个能和hadoop兼容的文件系统。MapR公司诞生。
雅虎的hadoop团队脱离雅虎。创建hortonworks公司。
自此hadoop市场3分天下。
在大数据生态圈中，Google起着领导作用。例如2013年发布一个名叫Dremel系统的论文，就是现在的BigQuery。简单来说就是帮助用户快速查到所要的结果。
BigQuery理论推出后大家都觉得 Hive太慢了，三大 Hadoop分销商都对交互式查询提出了自己的做法。Cloudera做了一个叫作 Impala的项目，这是一个相对蛮成功的产品，到今天还有比较大的影响力；MapR提出了一个叫作 Drill的项目；Hortonworks的做法是干脆努力提高 Hadoop上的查询语言 Hive的查询效率。

4 大数据应用场景

4.1医疗大数据看病更高效

除了较早前就开始利用大数据的互联网公司，医疗行业是让大数据分析最先发扬光大的传统行业之一。医疗行业拥有大量的病例，病理报告，治愈方案，药物报告等等。如果这些数据可以被整理和应用将会极大地帮助医生和病人。我们面对的数目及种类众多的病菌、病毒，以及肿瘤细胞，其都处于不断的进化的过程中。在发现诊断疾病时，疾病的确诊和治疗方案的确定是最困难的。
在未来，借助于大数据平台我们可以收集不同病例和治疗方案，以及病人的基本特征，可以建立针对疾病特点的数据库。如果未来基因技术发展成熟，可以根据病人的基因序列特点进行分类，建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告，参考疾病数据库来快速帮助病人确诊，明确定位疾病。在制定治疗方案时，医生可以依据病人的基因特点，调取相似基因、年龄、人种、身体情况相同的有效治疗方案，制定出适合病人的治疗方案，帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。
医疗行业的数据应用一直在进行，但是数据没有打通，都是孤岛数据，没有办法进行大规模应用。未来需要将这些数据统一收集起来，纳入统一的大数据平台，为人类健康造福。政府和医疗行业是推动这一趋势的重要动力。

4.2生物大数据改良基因

自人类基因组计划完成以来，以美国为代表，世界主要发达国家纷纷启动了生命科学基础研究计划，如国际千人基因组计划、DNA百科全书计划、英国十万人基因组计划等。这些计划引领生物数据呈爆炸式增长，目前每年全球产生的生物数据总量已达EB级，生命科学领域正在爆发一次数据革命，生命科学某种程度上已经成为大数据科学。
我们来看看今天的准妈妈们，除了要准备尿布、奶瓶和婴儿装，她们还会把基因测试列入计划单。基因测试能让未来的父母对于他们未出生的baby的健康有更多的了解。对基因携带者筛查和胚胎植入前诊断，使一个家庭孕育小孩的过程产生了巨大改变。
当下，我们所说的生物大数据技术主要是指大数据技术在基因分析上的应用，通过大数据平台人类可以将自身和生物体基因分析的结果进行记录和存储，利用建立基于大数据技术的基因数据库。大数据技术将会加速基因技术的研究，快速帮助科学家进行模型的建立和基因组合模拟计算。基因技术是人类未来战胜疾病的重要武器，借助于大数据技术的应用，人们将会加快自身基因和其它他生物的基因的研究进程。未来利用生物基因技术来改良农作物，利用基因技术来培养人类器官，利用基因技术来消灭害虫都即将实现。
与全球蒸蒸日上的生物大数据创新发展热潮相比，中国的研发及应用才拉开帷幕。我国有四大方面非常欠缺：其一，国内现有的生物大数据分析能力虽然与欧美相差不大，但是在数据分析构架、软件系统与先进的IT技术接轨上有待提升。其二，国外在生物大数据领域的领先人才多，尽管我们也有国际顶级刊物上发表的论文和成果，总体而言，国内高水准团队还是少。其三，欧美讲求成果应用，层出不穷的分析软件可被实验室、临床、产业多方应用。其四，在生物大数据理论研究、标准制定和广泛应用上，中国都亟待全面跟进。

4.3金融大数据理财利器

金融行业的大数据面临的往往是同样的问题，但是情况可能要好点，类似企业和个人的一些信用记录现在有全国性质的统一数据库能够拿到部分数据。但是对于单个银行来说，同样是无法拿到用户在其他银行的行为记录数据的，其二银行本身在做很多信贷风险分析的时候，确实需要大量数据做相关性分析，但是很多数据来源于政府各个职能部门，包括工商税务，质量监督，检察院法院等，这些数据短期仍然是无法拿到。还有就是企业或个人本事日常产生的各种行为数据更难拿到，那么对客户的风险性评估还是得借用原来的老方法而已。
大数据在金融行业应用范围较广，典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品；美国银行利用客户点击数据集为客户提供特色服务，如有竞争的信用额度；招商银行利用客户刷卡、存取款、电子银行转帐、微信评论等行为数据进行分析，每周给客户发送针对性广告信息，里面有顾客可能感兴趣的产品和优惠信息。
可见，大数据在金融行业的应用可以总结为以下五个方面：
精准营销：依据客户消费习惯、地理位置、消费时间进行推荐
风险管控：依据客户消费和现金流提供信用评级或融资支持，利用客户社交行为记录实施信用卡反欺诈
决策支持：利用抉策树技术进抵押贷款管理，利用数据分析报告实施产业信贷风险控制
效率提升：利用金融行业全局数据了解业务运营薄弱点，利用大数据技术加快内部数据处理速度
产品设计：利用大数据计算技术为财富客户推荐产品，利用客户行为数据设计满足客户需求的金融产品

4.4零售大数据最懂消费者

零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户消费喜好和趋势，进行商品的精准营销，降低营销成本。另一层面是依据客户购买产品，为客户提供可能购买的其它产品，扩大销售额，也属于精准营销范畴。另外零售行业可以通过大数据掌握未来消费趋势，有利于热销商品的进货管理和过季商品的处理。零售行业的数据对于产品生产厂家是非常宝贵的，零售商的数据信息将会有助于资源的有效利用，降低产能过剩，厂商依据零售商的信息按实际需求进行生产，减少不必要的生产浪费。
未来考验零售企业的不再只是零供关系的好坏，而是要看挖掘消费者需求，以及高效整合供应链满足其需求的能力，因此信息科技技术水平的高低成为获得竞争优势的关键要素。不论是国际零售巨头，还是本土零售品牌，要想顶住日渐微薄的利润率带来的压力，在这片红海中立于不败之地，就必须思考如何拥抱新科技，并为顾客们带来更好的消费体验。
想象一下这样的场景，当顾客在地铁候车时，墙上有某一零售商的巨幅数字屏幕广告，可以自由浏览产品信息，对感兴趣的或需要购买的商品用手机扫描下单，约定在晚些时候送到家中。而在顾客浏览商品并最终选购商品后，商家已经了解顾客的喜好及个人详细信息，按要求配货并送达顾客家中。未来，甚至顾客都不需要有任何购买动作，利用之前购买行为产生的大数据，当你的沐浴露剩下最后一滴时，你中意的沐浴露就已送到你的手上，而虽然顾客和商家从未谋面，但已如朋友般熟识。

4.5电商大数据精准营销法宝

电商是最早利用大数据进行精准营销的行业，除了精准营销，电商可以依据客户消费习惯来提前为客户备货，并利用便利店作为货物中转点，在客户下单15分钟内将货物送上门，提高客户体验。马云的菜鸟网络宣称的24小时完成在中国境内的送货，以及京的刘强东宣传未来京东将在15分钟完成送货上门都是基于客户消费习惯的大数据分析和预测。
电商可以利用其交易数据和现金流数据，为其生态圈内的商户提供基于现金流的小额贷款，电商业也可以将此数据提供给银行，同银行合作为中小企业提供信贷支持。由于电商的数据较为集中，数据量足够大，数据种类较多，因此未来电商数据应用将会有更多的想象空间，包括预测流行趋势，消费趋势、地域消费特点、客户消费习惯、各种消费行为的相关度、消费热点、影响消费的重要因素等。依托大数据分析，电商的消费报告将有利于品牌公司产品设计，生产企业的库存管理和计划生产，物流企业的资源配制，生产资料提供方产能安排等等，有利于精细化社会化大生产，有利于精细化社会的出现。

4.6农牧大数据量化生产

大数据在农业应用主要是指依据未来商业需求的预测来进行农牧产品生产，降低菜贱伤农的概率。同时大数据的分析将会更见精确预测未来的天气气候，帮助农牧民做好自然灾害的预防工作。大数据同时也会帮助农民依据消费者消费习惯决定来增加哪些品种的种植，减少哪些品种农作物的生产，提高单位种植面积的产值，同时有助于快速销售农产品，完成资金回流。牧民可以通过大数据分析来安排放牧范围，有效利用牧场。渔民可以利用大数据安排休渔期、定位捕鱼范围等。
由于农产品不容易保存，因此合理种植和养殖农产品对十分重要。如果没有规划好，容易产生菜贱伤农的悲剧。过去出现的猪肉过剩、卷心菜过剩、香蕉过剩的原因就是农牧业没有规划好。借助于大数据提供的消费趋势报告和消费习惯报告，政府将为农牧业生产提供合理引导，建议依据需求进行生产，避免产能过剩，造成不必要的资源和社会财富浪费。农业关乎到国计民生，科学的规划将有助于社会整体效率提升。大数据技术可以帮助政府实现农业的精细化管理，实现科学决策。在数据驱动下，结合无人机技术，农民可以采集农产品生长信息，病虫害信息。相对于过去雇佣飞机成本将大大降低，同时精度也将大大提高。

4.7交通大数据畅通出行

交通作为人类行为的重要组成和重要条件之一，对于大数据的感知也是最急迫的。近年来，我国的智能交通已实现了快速发展，许多技术手段都达到了国际领先水平。但是，问题和困境也非常突出，从各个城市的发展状况来看，智能交通的潜在价值还没有得到有效挖掘：对交通信息的感知和收集有限，对存在于各个管理系统中的海量的数据无法共享运用、有效分析，对交通态势的研判预测乏力，对公众的交通信息服务很难满足需求。这虽然有各地在建设理念、投入上的差异，但是整体上智能交通的现状是效率不高，智能化程度不够，使得很多先进技术设备发挥不了应有的作用，也造成了大量投入上的资金浪费。这其中很重要的问题是小数据时代带来的硬伤：从模拟时代带来的管理思想和技术设备只能进行一定范围的分析，而管理系统的那些关系型数据库只能刻板的分析特定的关系，对于海量数据尤其是半结构、非结构数据无能为力。
尽管现在已经基本实现了数字化，但是数字化和数据化还根本不是一回事，只是局部的提高了采集、存储和应用的效率，本质上并没有太大的改变。而大数据时代的到来必然带来破解难题的重大机遇。大数据必然要求我们改变小数据条件下一味的精确计算，而是更好的面对混杂，把握宏观态势；大数据必然要求我们不再热衷因果关系而是相关关系，使得处理海量非结构化数据成为可能，也必然促使我们努力把一切事物数据化，最终实现管理的便捷高效。
目前，交通的大数据应用主要在两个方面，一方面可以利用大数据传感器数据来了解车辆通行密度，合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度，提高已有线路运行能力。科学的安排信号灯是一个复杂的系统工程，必须利用大数据计算平台才能计算出一个较为合理的方案。科学的信号灯安排将会提高30％左右已有道路的通行能力。在美国，政府依据某一路段的交通事故信息来增设信号灯，降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率，航空公司利用大数据可以提高上座率，降低运行成本。铁路利用大数据可以有效安排客运和货运列车，提高效率、降低成本。

4.8教育大数据因材施教

随着技术的发展，信息技术已在教育领域有了越来越广泛的应用。考试、课堂、师生互动、校园设备使用、家校关系……只要技术达到的地方，各个环节都被数据包裹。
在课堂上，数据不仅可以帮助改善教育教学，在重大教育决策制定和教育改革方面，大数据更有用武之地。美国利用数据来诊断处在辍学危险期的学生、探索教育开支与学生学习成绩提升的关系、探索学生缺课与成绩的关系。举一个比较有趣的例子，教师的高考成绩和所教学生的成绩有关吗？究竟如何，不妨借助数据来看。比如美国某州公立中小学的数据分析显示，在语文成绩上，教师高考分数和学生成绩呈现显著的正相关。也就是说，教师的高考成绩与他们现在所教语文课上的学生学习成绩有很明显的关系，教师的高考成绩越好，学生的语文成绩也越好。这个关系让我们进一步探讨其背后真正的原因。其实，教师高考成绩高低某种程度上是教师的某个特点在起作用，而正是这个特点对教好学生起着至关重要的作用，教师的高考分数可以作为挑选教师的一个指标。如果有了充分的数据，便可以发掘更多的教师特征和学生成绩之间的关系，从而为挑选教师提供更好的参考。
　大数据还可以帮助家长和教师甄别出孩子的学习差距和有效的学习方法。比如，美国的麦格劳-希尔教育出版集团就开发出了一种预测评估工具，帮助学生评估他们已有的知识和达标测验所需程度的差距，进而指出学生有待提高的地方。评估工具可以让教师跟踪学生学习情况，从而找到学生的学习特点和方法。有些学生适合按部就班，有些则更适合图式信息和整合信息的非线性学习。这些都可以通过大数据搜集和分析很快识别出来，从而为教育教学提供坚实的依据。
在国内尤其是北京、上海、广东等城市，大数据在教育领域就已有了非常多的应用，譬如像慕课、在线课程、翻转课堂等，其中就应用了大量的大数据工具。
毫无疑问，在不远的将来，无论是针对教育管理部门，还是校长、教师，以及学生和家长，都可以得到针对不同应用的个性化分析报告。通过大数据的分析来优化教育机制，也可以做出更科学的决策，这将带来潜在的教育革命。不久的将来个性化学习终端，将会更多的融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向，等等，并贯穿每个人终身学习的全过程。

4.9体育大数据夺冠精灵

从《点球成金》这部电影开始，体育界的有识之士们终于找到了向往已久的道路，那就是如何利用大数据来让团队发挥最佳水平。从足球到篮球，数据似乎成为赢得比赛甚至是奖杯的金钥匙。
大数据对于体育的改变可以说是方方面面，从运动员本身来讲，可穿戴设备收集的数据可以让自己更了解身体状况。媒体评论员，通过大数据提供的数据更好的解说比赛，分析比赛。数据已经通过大数据分析转化成了洞察力，为体育竞技中的胜利增加筹码，也为身处世界各地的体育爱好者随时随地观赏比赛提供了个性化的体验。
尽管鲜有职业网球选手愿意公开承认自己利用大数据来制定比赛策划和战术，但几乎每一个球员都会在比赛前后使用大数据服务。有教练表示：“在球场上，比赛的输赢取决于比赛策略和战术，以及赛场上连续对打期间的快速反应和决策，但这些细节转瞬即逝，所以数据分析成为一场比赛最关键的部分。对于那些拥护并利用大数据进行决策的选手而言，他们毋庸置疑地将赢得足够竞争优势。

4.10环保大数据对抗PM2.5

前年7月21日北京遭遇特大暴雨，在一天之内，平均降雨量达164毫米，也是北京市61年以来最大规模暴雨。此次暴雨因来势凶猛而给广大市民生活带来巨大影响。其实，摊上这种事儿，最主要的还是需要气象部门及时、准确地做出预警，并协同其他运营商部门，将这种预警信息第一时间下发到北京市民（包括在京旅行的人士）。也正是如此，前年的那场暴雨不仅暴露出了管理工作上的漏洞，也引起了业内人士关于一场“大数据”的探讨。
气象对社会的影响涉及到方方面面。传统上依赖气象的主要是农业、林业和水运等行业部门，而如今，气象俨然成为了二十一世纪社会发展的资源，并支持定制化服务满足各行各业用户需要。借助于大数据技术，天气预报的准确性和实效性将会大大提高，预报的及时性将会大大提升，同时对于重大自然灾害，例如龙卷风，通过大数据计算平台，人们将会更加精确地了解其运动轨迹和危害的等级，有利于帮助人们提高应对自然灾害的能力。天气预报的准确度的提升和预测周期的延长将会有利于农业生产的安排。
尤其是进入秋冬季以来，我国多个城市爆发雾霾天气，空气污染严重。随着PM2.5对于人体健康的危害日益被公众熟知，人们对于“雾霾假”的呼声也越来越高。有人调侃，重度污染天走在上班路上就是一台“人肉吸尘器”。
由此看来，依靠大数据分析北京或其他城市空气污染的形成及对策，任重道远。一是数据的来源。高耗能企业的生产规模、排放量这些数据是否层层上报，准确统计？掌握此数据的部门是否能向社会公开？北京500万辆汽车所加汽油到底有哪些成分，产生的尾气对空气污染指数的“贡献”率到底多大？二是要冲破数据挖掘分析应用的技术壁垒，当然前提就是数据公开。
在美国NOAA（国家海洋暨大气总署）其实早就在使用大数据业务。每天通过卫星、船只、飞机、浮标、传感器等收集超过35亿份观察数据。收集完毕后，NOAA会汇总大气数据，海洋数据，以及地质数据，进行直接测定，绘制出复杂的高保真预测模型，将其提供给NWS（国家气象局）做出气象预报的参考数据。目前，NOAA每年新增管理的数据量就高达30PB（1PB=1024TB）。由NWS生成的最终分析结果，就呈现在日常的天气预报和预警报道上。

4.11食品大数据舌尖上的安全

民以食为天，食品安全问题直是国家的重点关注问题，关系着人们的身体健康和国家安全。近几年，毒胶囊、镉大米、瘦肉精、洋奶粉等食品安全事件不断考验着消费者的承受力，让消费者对食品安全产生了担忧。
近几年外国旅游者减少了到中国旅游，进口食品大幅度增加，这其中一个主要原因就是食品安全问题。随着科学技术和生活水平的不断提高，食品添加剂及食品品种越来越多，传统手段难以满足当前复杂的食品监管需求，从不断出现的食品安全问题来看，食品监管成了食品安全的棘手问题。此刻，通过大数据管理将海量数据聚合在一起，将离散的数据需求聚合能形成数据长尾，从而满足传统中难以实现的需求。在数据驱动下，采集人们在互联网上提供的举报信息，国家可以掌握部分乡村和城市的死角信息，挖出不法加工点，提高执法透明度，降低执法成本。国家可以参考医院提供的就诊信息，分析出涉及食品安全的信息，及时进行监督检查，第一时间进行处理，降低已有不安全食品的危害。参考个体在互联网的搜索信息，掌握流行疾病在某些区域和季节的爆发趋势，及时进行干预，降低其流行危害。政府可以提供不安全食品厂商信息，不安全食品信息，帮助人们提高食品安全意识。
当然，有专业人士认为食品安全涉及到从田头到餐桌的每一个环节,需要覆盖全过程的动态监测才能保障食品安全,以稻米生产为例,产地、品种、土壤、水质、病虫害发生、农药种类与数量、化肥、收获、储藏、加工、运输、销售等环节,无一不影响稻米安全状况,通过收集、分析各环节的数据,可以预测某产地将收获的稻谷或生产的稻米是否存在安全隐患。
大数据不仅能带来商业价值，亦能产生社会价值。随着信息技术的发展，食品监管也面临着众多的各种类型的海量数据，如何从中提取有效数据成为关键所在。可见，大数据管理是一项巨大挑战，一方面要及时提取数据以满足食品安全监管需求；另一方面需在数据的潜在价值与个人隐私之间进行平衡。相信大数据管理在食品监管方面的应用，可以为食品安全撑起一把有力的保护伞。

4.12政府调控和财政支出大数据令其有条不紊

政府利用大数据技术可以了解各地区的经济发展情况，各产业发展情况，消费支出和产品销售情况，依据数据分析结果，科学地制定宏观政策，平衡各产业发展，避免产能过剩，有效利用自然资源和社会资源，提高社会生产效率。大数据还还可以帮助政府进行监控自然资源的管理，无论是国土资源、水资源、矿产资源、能源等，大数据通过各种传感器来提高其管理的精准度。同时大数据技术也能帮助政府进行支出管理，透明合理的财政支出将有利于提高公信力和监督财政支出。
大数据及大数据技术带给政府的不仅仅是效率提升、科学决策、精细管理，更重要的是数据治国、科学管理的意识改变，未来大数据将会从各个方面来帮助政府实施高效和精细化管理。政府运作效率的提升，决策的科学客观，财政支出合理透明都将大大提升国家整体实力，成为国家竞争优势。大数据带个国家和社会的益处将会具有极大的想象空间。

4.13舆情监控大数据名探柯南

《黑猫警长》大家都很熟悉，它讲述的是“黑猫警长”如何精明能干、对坏人穷追不舍、跌宕起伏的故事情节。拿到大数据时代背景下的话，虽然它也能体现“黑猫警长”的尽职尽责、聪明能干，但更多的会归结到一个问题：为何还是如此的被动、低效？疾病可以预防，难道犯罪不能预防么？
答案是肯定的。美国密歇根大学研究人员就设计出一种利用“超级计算机以及大量数据”来帮助警方定位那些最易受到不法份子侵扰片区的方法。具体做法是，研究人员通过大量的多类型数据（从人口统计数据到毒品犯罪数据到各区域所出售酒的种类、治安状况、流动人口数据等等），创建一张波士顿犯罪高发地区热点图。同时，还将相邻片区等各种因素加入到数据模型中，并根据历史犯罪记录和地点统计并不断修正所得出的预测数据。
国家正在将大数据技术用于舆情监控，其收集到的数据除了解民众诉求，降低群体事件之外，还可以用于犯罪管理。大量的社会行为正逐步走向互联网，人们更愿意借助于互联网平台来表述自己的想法和宣泄情绪。社交媒体和朋友圈正成为追踪人们社会行为的平台，正能量的东西有，负能量的东西也不少。一些好心人通过微博来帮助别人寻找走失的亲人或提供可能被拐卖人口的信息，这些都是社会群体互助的例子。国家可以利用社交媒体分享的图片和交流信息，来收集个体情绪信息，预防个体犯罪行为和反社会行为。最近警方通过微搏信息抓获了聚众吸毒的人，处罚了虐待小孩的家长。
大数据技术的发展带来企业经营决策模式的转变，驱动着行业变革，衍生出新的商机和发展契机。驾驭大数据的能力已被证实为领军企业的核心竞争力，这种能力能够帮助企业打破数据边界，绘制企业运营全景视图，做出最优的商业决策和发展战略。其实，不论是哪个行业的大数据分析和应用场景，可以看到一个典型的特点还是无法离开以人为中心所产生的各种用户行为数据，用户业务活动和交易记录，用户社交数据，这些核心数据的相关性再加上可感知设备的智能数据采集就构成一个完整的大数据生态环境。

5 大数据技术的发展趋势

5.1数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

5.2与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

5.3科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

5.4数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

5.5数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

5.6数据管理成为核心竞争力

数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关；此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

5.7数据质量是BI（商业智能）成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

5.8数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分；系统机制的调整，也就是商业模式的创新；系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。