大数据应用案例 大数据时代案例 01.大数据高并发架构实战案例分享-概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
北风网项目培训
大数据高并发架构实战案例分享 概述
讲师：tom5（北风网版权所有)
wu5jun@hotmail.com QQ：754026446
Biblioteka Baidu
受众：想了解大数据高并发架构及实战的技术人员 目的：
◦ 了解主流的高并发架构。 ◦ 掌握高并发架构的基本安装配置过程。
◦ 本系列以完整架构实战串讲各技术点。
时长：21课时
内容难度：中
随着互联网的发展，高并发、大数据量的网站要求越来越重要。 从系统架构角度主要有如下这些点：
◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ CDN镜像（实战案例中未包含） 负载均衡 静态化 静态内容（图片）与动态内容服务器分离 缓存 数据队列 数据库集群 库表水平及垂直拆分（实战案例中未包含） NoSql分布式数据引擎及MapReduce 虚拟化云计算体系（实战案例中未包含）
Cache服务器，选择最快的Cache服务器，加快远程访问的速度
4、带宽优化 自动生成服务器的远程Mirror（镜像）cache服务器，
远程用户访问时从cache服务器上读取数据，减少远程访问的带宽、 分担网络流量、减轻原站点WEB服务器负载等功能。
5、集群抗攻击 广泛分布的CDN节点加上节点之间的智能冗于机制，
Nginx （动静分离，动态URL转发） 3课时
◦ Nginx安装演示
◦ 配置动态url转发规则说明及演示
◦ 动静分离说明及配置演示
NFS共享文件系统实战 2课时
◦ NFS安装配置及使用 ◦ 动态内容静态化加速实战样例代码
Memcached安装配置及使用 2课时
◦ Memcached安装配置及使用 ◦ 样例代码
关闭服务NetworkManager
chkconfig NetworkManager off service NetworkManager stop
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 #网卡设备名称
ONBOOT=yes #启动时是否激活 yes|no
BOOTPROTO=static #协议类型 dhcp bootp none IPADDR=192.168.134.136 #网络IP地址 NETMASK=255.255.255.0 #网络子网地址 GATEWAY= #网关地址
BROADCAST=192.168.134.255 #广播地址 TYPE=Ethernet #网卡类型为以太网
1、本地Cache加速 提高了站点（尤其含有大量图片和静态页面站
点）的访问速度，并大大提高以上性质站点的稳定性
2、镜像服务 消除了不同运营商之间互联的瓶颈造成的影响，实现了
跨运营商的网络加速，保证不同网络中的用户都能得到良好的访问 质量。
3、远程加速 远程访问用户根据DNS负载均衡技术 智能自动选择
启动network服务
chkconfig network on service network start
欢迎访问我们的官方网站 www.ibeifeng.com
192.168.134.144
192.168.134.145
• 采用vmware软件在桌面pc上搭建虚拟机集群演示环境：
演示所用版本为VMware® Workstation 9.0.2 build-1031769
• 操作系统均采用 Centos6 x86_64 vm
• vm下载地址：http://virtual-machine.org/centos-6-x86_64-
2.关闭图形界面启动
vim /etc/inittab 文件中：
:id:5:initdefault:(默认的 run level 等级为 5,即图形界面)
5 修改为 3 即可
找回网卡 eth0，虚拟机每clone一次，网卡mac地址更新，centos 自动新增一个eth网卡
rm -f /etc/udev/rules.d/70-persistent-net.rules reboot
64bit-vmware-image-download
• 用户root，tom，密码都是：tomtom
• Hadoop，Tomcat的安装环境采用debian的tomcat最小 安装版vm
• vm下载地址： http://www.turnkeylinux.org/tomcat • 首次启动需初始设置：密码均初始化为123456
Mysql集群安装配置及使用 2课时
◦ 本案例的主从复制模式介绍 ◦ 程序代码注意事项
进阶：海量数据处理hadoop 2课时
◦ 概念，安装及配置
redis安装配置及使用实战 4课时
◦ redis安装配置及使用实战
◦ 高级进阶 ◦ 样例代码
192.168.134.137
CSS,图 192.168.134.140 片，js等 静态文件 192.168.134.141
1.CentOS设置开机自动启动sshd服务。
查看sshd是否启动：/etc/init.d/sshd status 查看sshd是否已是系统服务：chkconfig --list |grep sshd 使用如下命令设置sshd服务自动启动：chkconfig --level 3 sshd on
192.168.134.138
192.168.134.136
hadoop 192.168.134.142 192.168.134.150 192.168.134.151 192.168.134.152
192.168.134.143 redis 192.168.134.139 192.168.134.148
可以有效地预防黑客入侵以及降低各种D.D.o.S攻击对网站的影响， 同时保证较好的服务质量 。
以 某移动应用服务端架构 为例（暂不包括 cdn镜像，静态化，
库表水平及垂直拆分）：
◦ ◦
负载均衡：采用的LVS 静态内容（图片）与动态内容服务器分离：采用的nginx
◦
◦ ◦ ◦
缓存：采用的memcached
数据队列：采用的redis 数据库集群：采用的Mysql主从集群 NoSql分布式数据引擎及MapReduce：采用的hadoop
CSS,图 片，js等 静态文件
LVS（负载均衡） 5课时
◦ LVS的类型特点适用场景介绍 ◦ 案例中的使用配置说明（案例中只演示了DR和NAT模式） ◦ 配置安装过程演示
大数据高并发架构实战案例分享 概述
讲师：tom5（北风网版权所有)
wu5jun@hotmail.com QQ：754026446
Biblioteka Baidu
受众：想了解大数据高并发架构及实战的技术人员 目的：
◦ 了解主流的高并发架构。 ◦ 掌握高并发架构的基本安装配置过程。
◦ 本系列以完整架构实战串讲各技术点。
时长：21课时
内容难度：中
随着互联网的发展，高并发、大数据量的网站要求越来越重要。 从系统架构角度主要有如下这些点：
◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ ◦ CDN镜像（实战案例中未包含） 负载均衡 静态化 静态内容（图片）与动态内容服务器分离 缓存 数据队列 数据库集群 库表水平及垂直拆分（实战案例中未包含） NoSql分布式数据引擎及MapReduce 虚拟化云计算体系（实战案例中未包含）
Cache服务器，选择最快的Cache服务器，加快远程访问的速度
4、带宽优化 自动生成服务器的远程Mirror（镜像）cache服务器，
远程用户访问时从cache服务器上读取数据，减少远程访问的带宽、 分担网络流量、减轻原站点WEB服务器负载等功能。
5、集群抗攻击 广泛分布的CDN节点加上节点之间的智能冗于机制，
Nginx （动静分离，动态URL转发） 3课时
◦ Nginx安装演示
◦ 配置动态url转发规则说明及演示
◦ 动静分离说明及配置演示
NFS共享文件系统实战 2课时
◦ NFS安装配置及使用 ◦ 动态内容静态化加速实战样例代码
Memcached安装配置及使用 2课时
◦ Memcached安装配置及使用 ◦ 样例代码
关闭服务NetworkManager
chkconfig NetworkManager off service NetworkManager stop
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 #网卡设备名称
ONBOOT=yes #启动时是否激活 yes|no
BOOTPROTO=static #协议类型 dhcp bootp none IPADDR=192.168.134.136 #网络IP地址 NETMASK=255.255.255.0 #网络子网地址 GATEWAY= #网关地址
BROADCAST=192.168.134.255 #广播地址 TYPE=Ethernet #网卡类型为以太网
1、本地Cache加速 提高了站点（尤其含有大量图片和静态页面站
点）的访问速度，并大大提高以上性质站点的稳定性
2、镜像服务 消除了不同运营商之间互联的瓶颈造成的影响，实现了
跨运营商的网络加速，保证不同网络中的用户都能得到良好的访问 质量。
3、远程加速 远程访问用户根据DNS负载均衡技术 智能自动选择
启动network服务
chkconfig network on service network start
欢迎访问我们的官方网站 www.ibeifeng.com
192.168.134.144
192.168.134.145
• 采用vmware软件在桌面pc上搭建虚拟机集群演示环境：
演示所用版本为VMware® Workstation 9.0.2 build-1031769
• 操作系统均采用 Centos6 x86_64 vm
• vm下载地址：http://virtual-machine.org/centos-6-x86_64-
2.关闭图形界面启动
vim /etc/inittab 文件中：
:id:5:initdefault:(默认的 run level 等级为 5,即图形界面)
5 修改为 3 即可
找回网卡 eth0，虚拟机每clone一次，网卡mac地址更新，centos 自动新增一个eth网卡
rm -f /etc/udev/rules.d/70-persistent-net.rules reboot
64bit-vmware-image-download
• 用户root，tom，密码都是：tomtom
• Hadoop，Tomcat的安装环境采用debian的tomcat最小 安装版vm
• vm下载地址： http://www.turnkeylinux.org/tomcat • 首次启动需初始设置：密码均初始化为123456
Mysql集群安装配置及使用 2课时
◦ 本案例的主从复制模式介绍 ◦ 程序代码注意事项
进阶：海量数据处理hadoop 2课时
◦ 概念，安装及配置
redis安装配置及使用实战 4课时
◦ redis安装配置及使用实战
◦ 高级进阶 ◦ 样例代码
192.168.134.137
CSS,图 192.168.134.140 片，js等 静态文件 192.168.134.141
1.CentOS设置开机自动启动sshd服务。
查看sshd是否启动：/etc/init.d/sshd status 查看sshd是否已是系统服务：chkconfig --list |grep sshd 使用如下命令设置sshd服务自动启动：chkconfig --level 3 sshd on
192.168.134.138
192.168.134.136
hadoop 192.168.134.142 192.168.134.150 192.168.134.151 192.168.134.152
192.168.134.143 redis 192.168.134.139 192.168.134.148
可以有效地预防黑客入侵以及降低各种D.D.o.S攻击对网站的影响， 同时保证较好的服务质量 。
以 某移动应用服务端架构 为例（暂不包括 cdn镜像，静态化，
库表水平及垂直拆分）：
◦ ◦
负载均衡：采用的LVS 静态内容（图片）与动态内容服务器分离：采用的nginx
◦
◦ ◦ ◦
缓存：采用的memcached
数据队列：采用的redis 数据库集群：采用的Mysql主从集群 NoSql分布式数据引擎及MapReduce：采用的hadoop
CSS,图 片，js等 静态文件
LVS（负载均衡） 5课时
◦ LVS的类型特点适用场景介绍 ◦ 案例中的使用配置说明（案例中只演示了DR和NAT模式） ◦ 配置安装过程演示