为什么说数据不动代码动?移动计算比移动数据更划算?

news/2024/11/29 9:56:05/

写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

解答

在分布式系统有一个可以说是最核心的理论:内存 >> 磁盘IO >> 网络IO网络IO是我们要尽量避免的,如果避免不了那么走网络的数据越少越好。
既然数据是庞大的,而程序要比数据小得多,将数据输入给程序是不划算的,那么就反其道而行之,将程序分发到数据所在的地方进行计算,也就是所谓的移动计算比移动数据更划算,也叫数据不动代码动。

补充

移动程序到数据所在的地方去执行,这种技术方案其实我们并不陌生。
从事 Java 开发的同学可能有过用反射的方式热加载代码执行的经验,如果这个代码是从网络其他地方传输过来的,那就是在移动计算。
杀毒软件从服务器更新病毒库,然后在 Windows 内查杀病毒,也是一种移动计算(病毒库)比移动数据(Windows 可能感染病毒的程序)更划算的例子。

大数据技术将移动计算这一编程技巧上升到编程模型的高度,并开发了相应的编程框架,使得开发人员只需要关注大数据的算法实现,而不必关注如何将这个算法在分布式的环境中执行,这极大地简化了大数据的开发难度,并统一了大数据的开发方式,从而使大数据从原来的高高在上,变成了今天的人人参与。


http://www.ppmy.cn/news/526754.html

相关文章

蛮力0-1背包问题c语言实现,蛮力动规贪心回溯法的01背包和TSP问题

《蛮力动规贪心回溯法的01背包和TSP问题》由会员分享,可在线阅读,更多相关《蛮力动规贪心回溯法的01背包和TSP问题(8页珍藏版)》请在人人文库网上搜索。 1、华北科技学院计算机学院综合性实验实 验 报 告 课程名称 算法分析与设计 实验学期 2014 至 2015…

大学物理:补充-能量

文章目录 知识点非保守力保守力动能势能机械能能量守恒 Some tips不能单独考虑某个质点的能量可以单独考虑某个质点的能量 杂项 知识点 非保守力 做功与路径有关的力如摩擦力等 保守力 做功与路径无关,只与位矢的起始点和终止点有关的力(只和位置有关…

我的人生感悟

我的人生感悟 年幼无知,只随父母脚步, 叛逆失落,迷茫整个高中; 收拾心情,寻答案于大学, 人间冷暖,重拾难为自信; 偏见自封,误把消极当理性, 固执狭隘&…

logo设计如何增加附加价值

如今,是品牌观念盛行的时代,logo以及标志设计对企业公司起着重要的作用。logo不仅是企业品牌传达,更是对企业文化以及企业理念的传达,因此,企业logo设计很重要。优秀的公司Logo设计可提高销售力,扩展品牌效…

学习坐标【javascript】拼图小游戏 -java教程

发一下牢骚和主题无关: 兴致才是学习的力动源泉。始终欢喜游戏类的编程,因为得觉好玩。。。 周末这2天预备写个拼图的小游戏,只为学习面向对象,虽然对面向对象里的很多西东还不太熟悉。 昨天(星期六)开始写…

云计算、系统-什么是云计算?-by小雨

最近研讨云计算、系统-,稍微总结一下,以后继续补充: 说到云盘算,大部份人都云里雾里。有人以为它是一台巨无霸电脑,供给了超级盘算能力;也有人将其比作物流系统,把云盘算带来的利便比作一个个包…

系统牛逼[置顶] 使用RAMP理解内在动机 Understanding Intrinsic Motivation with RAMP

最近应用开辟的进程中出现了一个小题问,顺便记录一下原因和方法--系统牛逼 应用RAMP解理在内念头 原文地址 关于Gamification中的外在励奖和在内念头我们探讨了很多了。这类探讨是总像在探讨好的和坏的式方。我对于之前这样探讨常常觉得忸怩!其实最好的是…

大学计算机科学系口号,各大学学院口号

电气学院:赛场竞技,唯我电气。以下是小编为大家准备的口号,希望大家能够喜欢! 1、【软件学院】:软件软件,创意无限; 2、【外国语学院】:青春飞扬,外院最强; 3、【软件学院】大喊&…