大数据时代的聚宝盆:MapReduce 的聚合与统计奇旅 各位亲爱的观众老爷们,今天咱们不谈风花雪月,也不聊家长里短,咱们要聊聊这大数据时代,如何从海量数据里淘金,挖掘出真知灼见!而我们今天的主角,就是这鼎鼎大名的 MapReduce! 想象一下,你手头有一座金矿,但是这座金矿不是那种一眼就能看到金子的那种,而是那种需要你把几卡车的泥土沙石都过滤一遍,才能找到那么一丁点金子的那种。这就是大数据!数据多得让你头皮发麻,但是真正有价值的信息,就像这金子一样,藏在深处。 这时候,如果让你一个人吭哧吭哧地挖,那估计你挖到头发都白了,也挖不出个所以然来。但是,如果有了 MapReduce,你就可以摇身一变,成为一个矿业大亨,指挥成千上万的矿工同时挖矿,然后把挖出来的金子集中起来,统计一下,看看今天挖了多少金子,哪一块矿区的金子最多。 这就是 MapReduce 的核心思想:分而治之,化整为零,最后再汇总归纳。 听起来是不是有点像咱们小时候老师教的“把大象放进冰箱”的步骤? 一、MapReduce:你的数据挖掘小助手 MapReduce 是一种编程模型,也是一个计算框架。它允许你将一个大型的计算任 …