MapReduce技术原理与实践

MapReduce技术原理与实践
技术创新，变革未来
提纲
12Biblioteka MapReduce 原理架构 MapReduce编程实战
2
MapReduce 简介
• M apR educe是一种编程模型， 用于大规模数据集（大于 1TB ）的并行运算。概念 “Map（映射）”和 “Reduce（归约）”，和他 们的主要思想，都是从函数 式编程语言里借来的，还有 从矢量编程语言里借来的特 性。他极大地方便了编程人 员在不会分布式并行编程的 情况下，将自己的程序运行 在分布式系统上
3
Google MapReduce 架构设计师 Jeffrey Dean
MapReduce框架
4
• 原理：利用一个输 入Key/Value pair集合 来产生一个输出的 Key/Value pair集合 • M ap函数：接受一 个输入的Key/Value pair值，然后产生一 个中间Key/Value pair 值的集合。 • Reduce函数：接受 一个中间Key值和相 关的一个V alue值的集 合，合并这些V alue值。
10
• Secondary Sort 实际上就是一种对Value进行二次排序，然后按key的特定部分进 行聚合的方法，这里用到了一个组合Key的概念，就是把Key与要排序的Value组 合在一起，生成一个新的Key值 • 在本例中，需要把(IP,timestamp)组合在一起，形成新的Key
// NewKey.java 实现比较方法 public int compareTo(NewKey tp) { int cmp = pareTo(tp.first); if (cmp != 0) { return cmp; } return pareTo(tp.second); } // NewPartitioner 分区函数类。根据first确定Partition。 public int getPartition(NewKey key, Text value, int numPartitions) { return (key.first.hashCode() & Integer.MAX_VALUE) % } // NewGroupComparator 分组函数类。只要first相同就属于同一个组。 public int compare(WritableComparable w1, WritableComparable w2) { NewKey m1 = (NewKey) w1; NewKey m2 = (NewKey) w2; return pareTo(m2.first); }
9
– 页面停留时间：通过被访问网页的时间戳来计算页面停留时间的。
– 访问次数：网站的所有访问者发起的具体会话次数。
原始数据格式
IP 时间稿件ID 稿件库ID
1. 2.
需要按照IP统计 同一个IP下的数据按照 时间戳排序
3.
在同一个IP下，通过排
好序的序列计算稿件的 间隔时间并统计访问次
数
MapReduce编程实战：Secondary Sort
6
Reducer
MapReduce 整体流程
• 流程
– INPUT 阶段：根据输入文件和M A P 数目系统产生相应的文件块 – M A P 阶段：每个M A P 根据用户定义把输入的K E Y -V A L U E 对转化成新的 KEY-VALUE对 – S H U F F L E & S O R T 阶段：系统对M A P 输出进行发送并排序到相应的 REDUCE上 – R E D U C E 阶段：把所有相同K E Y 的记录合并成一个K E Y - V A L U E 对 – O U T P U T 阶段：把输出结果写到D F S
MapReduce组成
5
Jobtracker
• Master
– 使用者发起作业 – 指派任务到 Tasktrackers – 作业分配、错误处理
Tasktrackers
• Workers
– 运行Map、 Reduce任务 – 管理存储、汇报 运算结果
MapReduce过程
Mapper shuffle 和 sort
numPartitions;
MapReduce编程实战：Mapper
// Mapper 变量初始化 protected void setup(Context context) throws IOException, InterruptedException { ip = new LongWritable(); timestamp = new LongWritable(); text = new Text(); myKey = new NewKey(); } public void map(Object key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] lineArray = line.split(IN_SEPARATOR); if (lineArray.length == 4) { SimpleDateFormat sdf = new SimpleDateFormat(DATE_FORMAT); long ts = 0; ts = sdf.parse(lineArray[1]).getTime(); ip.set(ipToLong(lineArray[0])); timestamp.set(ts); myKey.set(ip, timestamp); StringBuffer sb = new StringBuffer(String.valueOf(ts) + OUT_SEPARATOR);
7
• 应用程序指定
– M A P 模块 – R E D U C E 模块 – 输入文件
• 各个阶段都是分布式运算
– 框架完成集群的计划、调度功能 – 框架完成容错的功能
提纲
1
8
MapReduce 原理架构 MapReduce编程实战
2
MapReduce 编程实战：案例及分析
• 案例：根据日志计算用户页面停留时间和访问次数