Netty简介PPT课件
【Netty】Netty框架介绍
【Netty】Netty框架介绍⼀、Netty简介 Netty是由JBOSS提供的⼀个java开源框架，现为 Github上的独⽴项⽬。
Netty提供异步的、事件驱动的⽹络应⽤程序框架和⼯具，⽤以快速开发⾼性能、⾼可靠性的⽹络服务器和客户端程序。
也就是说，Netty 是⼀个基于NIO的客户、服务器端的编程框架，使⽤Netty 可以确保你快速和简单的开发出⼀个⽹络应⽤，例如实现了某种协议的客户、服务端应⽤。
Netty相当于简化和流线化了⽹络应⽤的编程开发过程，例如：基于TCP和UDP的socket服务开发。
“快速”和“简单”并不⽤产⽣维护性或性能上的问题。
Netty 是⼀个吸收了多种协议（包括FTP、SMTP、HTTP等各种⼆进制⽂本协议）的实现经验，并经过相当精⼼设计的项⽬。
最终，Netty 成功的找到了⼀种⽅式，在保证易于开发的同时还保证了其应⽤的性能，稳定性和伸缩性1.1 Netty的特点设计优雅适⽤于各种传输类型的统⼀API - 阻塞和⾮阻塞Socket基于灵活且可扩展的事件模型，可以清晰地分离关注点⾼度可定制的线程模型 - 单线程，⼀个或多个线程池真正的⽆连接数据报套接字⽀持（⾃3.1起）使⽤⽅便详细记录的Javadoc，⽤户指南和⽰例没有其他依赖项，JDK 5（Netty 3.x）或6（Netty 4.x）就⾜够了⾼性能吞吐量更⾼，延迟更低减少资源消耗最⼩化不必要的内存复制安全完整的SSL / TLS和StartTLS⽀持社区活跃，不断更新社区活跃，版本迭代周期短，发现的BUG可以被及时修复，同时，更多的新功能会被加⼊1.2 Netty常见使⽤场景互联⽹⾏业在分布式系统中，各个节点之间需要远程服务调⽤，⾼性能的RPC框架必不可少，Netty作为异步⾼新能的通信框架,往往作为基础通信组件被这些RPC框架使⽤。
典型的应⽤有：阿⾥分布式服务框架Dubbo的RPC框架使⽤Dubbo协议进⾏节点间通信，Dubbo协议默认使⽤Netty作为基础通信组件，⽤于实现各进程节点之间的内部通信。
Netty权威指南
演讲人
2 0 2 1 - 11 - 11
目录
基础篇 走进Java NIO
入门篇 Netty NIO开发指 南
中级篇 Netty编解码开发 指南
高级篇 Netty多协议开发 和应用
源码分析篇 Netty功能介 绍和源码分析
架构和行业应用篇 Netty 高级特性
附录 Netty参数配置表
3.4.1 服务端 和客户端的运行 3.4.2 打包和
部署
3.4 运 行和调试
3.5 总 结
4 TCP粘包/拆包问题的解决之道
4.1 TCP粘包/拆 包
4.3 利用 LineBasedFrameDeco
der解决TCP粘包问题
01
03
02
4.2 未考虑TCP粘 包导致功能异常案
例
04
4.4 总结
4 TCP粘包/拆包问题的解决之 道 4.1 TCP粘包/拆包
5 分隔符和定长解码器的应用
5.1 DelimiterBasedFrameDecoder应用开发
5.1.1 DelimiterBasedFrameDecoder服务端开发 5.1.2 DelimiterBasedFrameDecoder客户端开发 5.1.3 运行DelimiterBasedFrameDecoder服务端和客户端
4.1.1 TCP粘包/拆包问题说明 4.1.2 TCP粘包/拆包发生的原因 4.1.3 粘包问题的解决策略
4 TCP粘包/拆包问题的解 决之道
4.2 未考虑TCP粘包导致功能异常案 例
4.2.1 TimeServer的改造
4.2.2 TimeClient的改造
4.2.3 运行结果
4 TCP粘包/拆包问题的解决 之道
NIO通信框架-Netty解析
Netty逻辑架构
Netty逻辑架构
• 第一层：Reactor 通信调度层，它由一系列辅助类组成，包 括 Reactor 线程NioEventLoop 以及其父类、 NioSocketChannel/NioServerSocketChannel 以及其父类、 ByteBuffer 以及由其衍生出来的各种 Buffer、Unsafe 以及 其衍生出的各种内部子类等； • 第二层：职责链 ChannelPipeLine，它负责调度事件在职责 链中的传播，支持动态的编排职责链，职责链可以选择性的 拦截自己关心的事件，对于其它IO操作和事件忽略， Handler同时支持inbound和outbound事件； • 第三层：业务逻辑编排层，业务逻辑编排层通常有两类：一 类是纯粹的业务逻辑编排，还有一类是应用层协议插件，用 于协议相关的编解码和链路管理，例如 CMPP 协议插件。
• 异步非阻塞HTTP协议栈
Netty功能特性7-多协议（WebSocket）
• WebSocket协议栈基于HTTP协议栈+WebSocket编解码 实现
Netty功能特性8-多协议（UDP）
• 与TCP协议风格一致的API，降低用户开发难度
Netty功能特性9-多协议（File传输）
• 异步文件传输
Netty功能特性3-序列化（marshalling）
Netty功能特性3-序列化（Java）
• 与原生的JAVA序列化机制兼容
Netty功能特性4-半包解码器
Netty提供4种半包解码器，可以解决几乎所有协议的 半包解码问题： 1. 固定消息长度解码器：FixedLengthFrameDecoder； 2. 文本换行解码器：LineBasedFrameDecoder； 3. 分隔符解码器：DelimiterBasedFrameDecoder； 4. 基于消息长度的通用解码器： LengthFieldBasedFrameDecoder
Netty4原理和应用
DECODER
ByteToMessageDecoder MessageToMessageDecoder
ENCODER
MessageToByteEncoder MessageToMessageEncoder
Codec
ByteToByteCodec ByteToMessageCodec MessageToMessageCodec
其他有用的Decoder
ReplayDecoder FixedLengthFrameDecoder LengthFieldBasedFrameDecoder LineBasedFrameDecoder DelimiterBasedFrameDecoder
CHANNELPIPELINE
Vert.x HornetQ Infinispan Play Framework Finangle Apache Cassandra Minecraft
....
Netty和ProtocolBuf的联合应用
worldclock范例
ByteBuf buf = ...; buf.writeInt(1).writeBytes(data).writeBoolean(true)...
ByteBuf结构
ByteBuf池化的性能比较
CHANNELHANDLER
业务逻辑处理，开发的核心
ChannelHandler典型用途
Convert data， Encoder / Decoder Business-Logic Handle state changes
EVENT-LOOP工作原理
EventLoopGroup
BOOTSTRAP
《Internet及应用》课件
在当今全球化的世界中，我们离不开互联网。这份PPT将为您揭示互联网的概 念、起源、构成、应用、安全等方面的知识。
一、Internet的基本概念与发展历史
1
什么是Internet
互联网是一个全球性的计算机网络，它连接了全球各地的计算机和计算机网络，使其能够相 互通信和数据交换。
四、Internet的发展趋势
移动互联网
智能手机和平板电脑的普及使 得人们能够随时随地上网，移 动互联网正在成为互联网的重 要方向和趋势。
• 如WeChat、微博等社交 类APP的全面覆盖
• 相机、扫描仪等应用方 便人们的工作和生活
物联网
物联网是连接物理世界和互联 网的科技新生态，将为人们的 生活提供更多、更好的服务。
Internet的构成要素
包括硬件、软件、协议和网络服务等多个方面。了解构成要素有助于深入了解互联网。
Internet的通信协议
TCP/IP协议是互联网最重要的通信协议之一。了解它和其他重要协议的基本知识，将帮助您 更好地理解网络通信过程。
Internet的网络拓扑结构
从星形、总线、环形、网状等多个角度来讲解互联网的网络拓扑结构，方便您理解互联网的 结构和功能。
互联网的出现使人们的生活变得更加丰富多彩，它极大地推动了人类社会的发展。
Internet的不足
无论是网络安全、隐私保护、信息泄露等方面，互联网都存在缺陷，我们需要认识并积极采 取措施解决。
Internet的未来展望
互联网是永远在发展的技术，无论是在技术上，应用上还是文化上，都将不断迈向新的高度。
三、Internet的应用
电子邮件
电子邮件是互联网的早期应用之 一，无论是个人用户还是企业机 构都经常使用它发送和接收邮件。
通信传输利器Netty（NetisDotNetty）介绍
通信传输利器Netty（NetisDotNetty）介绍 （先埋怨⼀下微软⼤⼤）我们做NET开发，⼗分羡慕JAVA上能有NETTY, SPRING, STRUTS, DUBBO等等优秀框架，⽽我们NET就只有⼲瞪眼，哎，⽆赖之前⽣态圈没做好，恨铁不成钢啊。
不过由于近来Net Core的发布，慢慢也拉回了⼀⼩部分属于微软的天下，打住，闲话扯到这⼉。
DotNetty是Azure团队仿照（⼏乎可以这么说）JAVA的Netty⽽出来的（⽬前已实现Netty的⼀部分），⽬前在Github上的Star有1.8K+，地址：https:///Azure/DotNetty，没有任何⽂档，和代码中少量的注释。
虽然⽐Netty出来晚了很多年，不过我们NET程序员们也该庆幸了，在⾃⼰的平台上终于能⽤上类似Netty这样强⼤的通信框架了。
传统通讯的问题： 我们使⽤通⽤的应⽤程序或者类库来实现互相通讯，⽐如，我们经常使⽤⼀个 HTTP 客户端库来从 web 服务器上获取信息，或者通过web 服务来执⾏⼀个远程的调⽤。
然⽽，有时候⼀个通⽤的协议或他的实现并没有很好的满⾜需求。
⽐如我们⽆法使⽤⼀个通⽤的 HTTP 服务器来处理⼤⽂件、电⼦邮件以及近实时消息，⽐如⾦融信息和多⼈游戏数据。
我们需要⼀个⾼度优化的协议来处理⼀些特殊的场景。
例如你可能想实现⼀个优化了的Ajax 的聊天应⽤、媒体流传输或者是⼤⽂件传输器，你甚⾄可以⾃⼰设计和实现⼀个全新的协议来准确地实现你的需求。
另⼀个不可避免的情况是当你不得不处理遗留的专有协议来确保与旧系统的互操作性。
在这种情况下，重要的是我们如何才能快速实现协议⽽不牺牲应⽤的稳定性和性能。
解决： Netty 是⼀个提供 asynchronous event-driven （异步事件驱动）的⽹络应⽤框架，是⼀个⽤以快速开发⾼性能、可扩展协议的服务器和客户端。
换句话说，Netty 是⼀个 NIO 客户端服务器框架，使⽤它可以快速简单地开发⽹络应⽤程序，⽐如服务器和客户端的协议。
Netty知识点
2、Netty NIO开发
3、Netty入门应用
A
消息资 源管理
B
发送消 息方式
D
内存 管理
E
特定 场景
C
Channe l关闭方
式
F
启动 类
2、Netty NIO开发
3、Netty入门应用
01
第三方序列 化框架的支
持
02
内存API
03
事件传递
消息资源管理
Netty如何 管理资源
1
业务逻辑如 何处理消息
如果中途没有使用fireChannelRead传 递下去也要自己释放
通过Channel或 ChannelHandlerContext创建的但是 没有传递下去的ByteBuf也要手动释放
内存泄露监测
01
ResourceLeak Detector
02 检测级别
DISABLE SIMPLE(默认) ADVANCED PA R A N O I D
2.非阻塞io i/o)
(non blocking
4.信号驱动 (signal driven i/o)
3.IO多路复用 i/o)
(mulitplexing
最大连接数 FD剧增带来的io效率 消息传递方式
4.Linux IO模型
异步
1.异步io (asyncchronous i/o)
5.应用程序如何获取数据
伪异步IO模 型图
伪异步IO创建 的TimeServer
源码分析
伪异步IO弊 端分析
NIO编程
NIO类库简介
NIO服务端序列 图
NIO创建的TimeServer 源码分析
NIO客户端时序 图
netty
NIO入门
两台机器是怎样通信的？
02
Part One
netty线程模型
netty线程模型
netty默认模式
03
Part One
netty架构
netty架构
04
Part One
netty 组件
netty 组件
Bootstrap
netty 组件
EventLoop
状态查询
Channel
Channel接口
netty之WebSocket协议应用
实现web版的聊天室
Ajax轮询去 服务器取消息
Flash XMLSocket
netty之WebSocket协议应用
特点
单一TCP长连接， 采用全双工通信模
式
01
无头部信息、消息 更简洁
03
02
04
对代理、防火墙透 明
通过ping/pong来 保活
服务器可以主动推 送消息给客户端， 不再需要客户轮询
2
基于Netty实现Http协议过程分析
Http协议分为三部分
01
远程数 据传输
02
报文编 解码
03
业务处 理
实现HTTP协议的方式
基于容器
To m c a t Jetty Jboss
netty
JDK自带http
HTTP压缩 类型
压缩需要客户端，服务器端同时支持。在chrome中，请求默认会加上 Accept-Encoding: gzip, deflate，客户端默认开启数据压缩。而 tomcat默认关闭压缩，如果开启需要增加配置
spring+netty+websocket
什么是netty--通俗易懂
什么是netty--通俗易懂⼀．Netty介绍1.什么是nettyNetty 是由 JBOSS 提供的⼀个 Java 开源框架。
Netty 提供异步的、基于事件驱动的⽹络应⽤程序框架，⽤以快速开发⾼性能、⾼可靠性的⽹络 IO 程序,是⽬前最流⾏的 NIO 框架，Netty 在互联⽹领域、⼤数据分布式计算领域、游戏⾏业、通信⾏业等获得了⼴泛的应⽤，知名的 Elasticsearch 、Dubbo 框架内部都采⽤了 Netty。
2.为什么要⽤netty原⽣ NIO 存在问题:1.NIO 的类库和 API 繁杂2.需要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor 模式，必须对多线程和⽹络编程⾮常熟悉，才能编写出⾼质量的 NIO 程序3.开发⼯作量和难度都⾮常⼤。
例如客户端⾯临断连重连、⽹络闪断、半包读写、失败缓存、⽹络拥塞和异常流的处理等等处理起来难度会⽐较⼤。
4.JDK NIO 的 Bug：例如臭名昭著的 Epoll Bug，它会导致 Selector 空轮询，最终导致 CPU 100%。
直到 JDK 1.7 版本该问题仍旧存在，没有被根本解决。
ty的优点Netty 对 JDK ⾃带的 NIO 的 API 进⾏了封装，解决了上述问题。
1.设计优雅：适⽤于各种传输类型的统⼀ API 阻塞和⾮阻塞 Socket；基于灵活且可扩展的事件模型，可以清晰地分离关注点；⾼度可定制的线程模型 - 单线程，⼀个或多个线程池.2.使⽤⽅便：详细记录的 Javadoc，⽤户指南和⽰例；没有其他依赖项，JDK 5（Netty3.x）或 6（Netty4.x）就⾜够了。
3.⾼性能、吞吐量更⾼：延迟更低；减少资源消耗；最⼩化不必要的内存复制。
4.安全：完整的 SSL/TLS 和 StartTLS ⽀持。
5.社区活跃、不断更新：社区活跃，版本迭代周期短，发现的 Bug 可以被及时修复，同时更多的新功能会被加⼊⼆．Reactor三种线程模型1.现有的三种线程模型不同的线程模式，对程序的性能有很⼤影响，⽬前存在的线程模型有：①.传统阻塞 I/O 服务模型②Reactor 模式Reactor 模式⼜有 3 种典型的实现单 Reactor 单线程；单 Reactor 多线程；主从 Reactor 多线程Netty 的线程模型是主要是基于主从 Reactor 多线程模型改成了主从 Reactor 多线程模型有多个 Reactor模式2.传统阻塞 I/O 服务模型介绍特点：采⽤阻塞IO模式获取输⼊的数据每个连接都需要创建单独的线程完成数据的输⼊，业务处理和数据的返回缺点：当并发数很⼤，就会创建⼤量的线程，占⽤很⼤系统资源，在线程开销和上下⽂切换上降低处理性能当连接创建后，如果当前线程暂时没有数据可读，该线程会阻塞在read 操作，造成线程资源的浪费。
Netty实战入门详解——让你彻底记住什么是Netty（看不懂你来找我）
Netty实战⼊门详解——让你彻底记住什么是Netty（看不懂你来找我）⼀、Netty 简介Netty 是基于 Java NIO 的异步事件驱动的⽹络应⽤框架，使⽤ Netty 可以快速开发⽹络应⽤，Netty 提供了⾼层次的抽象来简化 TCP 和UDP 服务器的编程，但是你仍然可以使⽤底层的 API。
Netty 的内部实现是很复杂的，但是 Netty 提供了简单易⽤的API从⽹络处理代码中解耦业务逻辑。
Netty 是完全基于 NIO 实现的，所以整个Netty 都是异步的。
Netty 是最流⾏的 NIO 框架，它已经得到成百上千的商业、商⽤项⽬验证，许多框架和开源组件的底层 rpc 都是使⽤的 Netty，如 Dubbo、Elasticsearch 等等。
下⾯是官⽹给出的⼀些 Netty 的特性：设计⽅⾯对各种传输协议提供统⼀的 API（使⽤阻塞和⾮阻塞套接字时候使⽤的是同⼀个 API，只是需要设置的参数不⼀样）。
基于⼀个灵活、可扩展的事件模型来实现关注点清晰分离。
⾼度可定制的线程模型——单线程、⼀个或多个线程池。
真正的⽆数据报套接字（UDP）的⽀持（since 3.1）。
易⽤性完善的 Javadoc ⽂档和⽰例代码。
不需要额外的依赖，JDK 5 (Netty 3.x) 或者 JDK 6 (Netty 4.x) 已经⾜够。
性能更好的吞吐量，更低的等待延迟。
更少的资源消耗。
最⼩化不必要的内存拷贝。
安全性完整的 SSL/TLS 和 StartTLS ⽀持对于初学者，上⾯的特性我们在脑中有个简单了解和印象即可，下⾯开始我们的实战部分。
⼆、⼀个简单 Http 服务器开始前说明下我这⾥使⽤的开发环境是 IDEA+Gradle+Netty4，当然你使⽤ Eclipse 和 Maven 都是可以的，然后在 Gradle 的 build ⽂件中添加依赖 compile 'ty:netty-all:4.1.26.Final'，这样就可以编写我们的 Netty 程序了，正如在前⾯介绍 Netty 特性中提到的，Netty 不需要额外的依赖。
netty服务器解析参数
netty服务器解析参数【ty服务器简介】etty是一个高性能、异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。
它提供了对多种协议的支持，如TCP、UDP、HTTP、WebSocket等，使得开发者能够轻松地构建网络应用。
【2.解析Netty服务器参数】在Netty中，服务器参数主要包括以下几类：1.连接参数：包括连接队列容量、连接空闲时间、连接超时时间等。
2.事件处理参数：包括事件处理器、事件处理器线程池配置等。
3.数据缓冲区参数：包括缓冲区大小、缓冲区刷新策略等。
4.网络参数：包括服务器地址、端口、协议等。
5.其他参数：如日志级别、性能监控等。
【3.参数配置实例】以下是一个简单的Netty服务器参数配置示例：```java// 创建一个ServerBootstrap实例ServerBootstrap serverBootstrap = new ServerBootstrap();// 设置通道类型为NIOserverBootstrap.group(new NioEventLoopGroup()).channel(NioServerSocketChannel.class);// 设置网络参数serverBootstrap.bind(new InetSocketAddress("localhost", 8080)).option(ChannelOption.SO_BACKLOG, 128).childHandler(newChannelInitializer<SocketChannel>() {@Overrideprotected void initChannel(SocketChannel ch) throws Exception {// 设置数据缓冲区参数ch.config().setBufferSize(1024);// 设置连接空闲时间ch.config().setReadIdleTimeSeconds(30);// 设置连接超时时间ch.config().setWriteIdleTimeSeconds(30);// 设置连接队列容量ch.config().setConnectionQueueSize(128);// 添加粘性连接处理器ch.pipeline().addLast(new MyVirtualChannelHandler());}});```【4.总结】正确配置Netty服务器参数是提高服务器性能和稳定性的关键。
netty开发教程（一）
netty开发教程（⼀）Netty介绍Netty is an asynchronous event-driven network application frameworkfor rapid development of maintainable high performance protocol servers & clients.netty 官⽹如是说。
⼤概意思是netty 是⼀个异步的事件驱动的⽹络应⽤框架，能够⾼速开发可维护的⾼性能⽹络server、client应⽤。
asynchronous异步，netty中⾮常⼤⼀部分⽅法都是异步的，配合事件驱动模型可以处理很多其它请求。
netty的⼀致性API相⽐于JDK的API有⾮常⾼的⽤户体验，使⽤起来也⾮常⽅便。
netty使我们不⽤考虑太多底层问题和各种各样的bug。
让开发⼈员可以更专注于业务逻辑。
netty现状⾮常多知名公司和项⽬在使⽤netty，包含facebook、IBM、RedHat等⼤公司和Spark、Finagle、Nifty等项⽬。
眼下netty的主要维护版本号有3.x 、4.x 、5.x。
我接触⽐較多的是5.x，⾮常多框架是基于3.x开发的。
3 4 5之间有⼀些区别，我觉得新的版本号是在以往的经验和教训上开发出来的。
⽤的基本的5。
netty做什么事情netty对JDK的NIO进⾏了封装，为开发⼈员提供了⼀致性和良好的API。
netty提供了⾮常多更好的"JDK API"实现。
⽐⽅它的ByteBuf。
快的定义是什么快, 我想尽快得到⼀个东西和我想尽快得到全部的东西。
在ServerClient编程中。
前者能够觉得是low latency, 更低的延迟, 尽快完毕⼀个请求; ⽽后者是high throughput。
更⼤的系统吞吐量。
可扩展性scalability我们须要系统在⼤量请求时可以平滑的减少性能⽽且当我们提升硬件配置时可以获得对应的性能提升。
Netty_中文技术文档
Netty_中文技术文档本指南对Netty 进行了介绍并指出其意义所在。
1. 问题现在，我们使用适合一般用途的应用或组件来和彼此通信。
例如，我们常常使用一个HTTP 客户端从远程服务器获取信息或者通过web services进行远程方法的调用。
然而，一个适合普通目的的协议或其实现并不具备其规模上的扩展性。
例如，我们无法使用一个普通的HTTP服务器进行大型文件，电邮信息的交互，或者处理金融信息和多人游戏数据那种要求准实时消息传递的应用场景。
因此，这些都要求使用一个适用于特殊目的并经过高度优化的协议实现。
例如，你可能想要实现一个对基于AJAX的聊天应用，媒体流或大文件传输进行过特殊优化的HTTP服务器。
你甚至可能想去设计和实现一个全新的，特定于你的需求的通信协议。
另一种无法避免的场景是你可能不得不使用一种专有的协议和原有系统交互。
在这种情况下，你需要考虑的是如何能够快速的开发出这个协议的实现并且同时还没有牺牲最终应用的性能和稳定性。
2. 方案Netty 是一个异步的，事件驱动的网络编程框架和工具，使用Netty可以快速开发出可维护的，高性能、高扩展能力的协议服务及其客户端应用。
也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。
Netty相当简化和流线化了网络应用的编程开发过程，例如，TCP和UDP的socket服务开发。
"快速"和"简单"并不意味着会让你的最终应用产生维护性或性能上的问题。
Netty是一个吸收了多种协议的实现经验，这些协议包括FTP,SMPT,HTTP，各种二进制，文本协议，并经过相当精心设计的项目，最终，Netty成功的找到了一种方式，在保证易于开发的同时还保证了其应用的性能，稳定性和伸缩性。
一些用户可能找到了某些同样声称具有这些特性的编程框架，因此你们可能想问Netty 又有什么不一样的地方。
netty框架概述
netty框架概述概述最近在学习netty的相关知识，也在看netty的源码，光看不练假把式，所以也正好利用自己学习的机会写几篇netty的分析文章，主要还是一些源码解析的文章，一方面有输出会促使自己在看源码，学习原理的过程中更系统，更深入，同时也能加强记忆，巩固对知识的理解。
关于netty的简介和应用我就不做介绍了，在网络上都能搜索到相关的资料。
netty是一个性能非常优秀的网络框架，采用reactor模式，使用非常高效的基于事件驱动的io线程模型，即经典的多路复用的io模式。
关于io线程模型其实又是一个很大的话题，涉及到操作系统的底层原理，后面有时间我也打算深入学习一下这方面的知识，并写一些相关的分析文章。
我的整体思路是这样的：首先，以netty提供给用户的常用的接口为切入点，一步步地深入netty内核进行分析，因为netty的模块众多，而且某一个层级往往有很多种平级的模块，这些不同的模块一般代表了不同的实现机制或不同的功能，如根据多路复用系统调用的不同就分为EpollEventLoop，NioEventloop，KQueueEventLoop等；根据不同的应用层协议把编解码器分为不同种类，如http，smtp, http2, xml等等。
所以，我们只需要分析其中的一套，其他类型的在实际用到时在深入了解，这样既能整体上掌握框架，也能深入实现的细节。
netty应用示例之前对spark-core的源码进行过一些讲解，分析了spark-core中的大部分模块，但是其中有一个很重要的模块却没有分析，那就是spark的rpc模块，spark的rpc模块是基于netty实现的，也是对netty的一个很典型的应用，所以这里我还是以spark中的rpc模块为示例，切入netty的源码分析。
1// 初始化netty服务端2private void init(String hostT oBind, int portT oBind) {34// io模式，有两种选项NIO, EPOLL5 IOMode ioMode = IOMode.valueOf(conf.ioMode());6// 创建bossGroup和workerGroup，即主线程组合子线程组7 EventLoopGroup bossGroup =8NettyUtils.createEventLoop(ioMode, conf.serverThreads(), conf.getModuleName() + "-server");9 EventLoopGroup workerGroup = bossGroup;1011// 缓冲分配器，分为堆内存和直接内存12PooledByteBufAllocator allocator = NettyUtils.createPooledByteBufAllocator(13conf.preferDirectBufs(), true/* allowCache */, conf.serverThreads());1415// 创建一个netty服务端引导对象，并设置相关参数16 bootstrap = new ServerBootstrap()17 .group(bossGroup, workerGroup)18 .channel(NettyUtils.getServerChannelClass(ioMode))19 .option(ChannelOption.ALLOCATOR, allocator)20 .childOption(ChannelOption.ALLOCATOR, allocator);2122// 内存使用的度量对象23this.metrics = new NettyMemoryMetrics(24 allocator, conf.getModuleName() + "-server", conf);2526// 排队的连接数27if (conf.backLog() > 0) {28bootstrap.option(ChannelOption.SO_BACKLOG, conf.backLog());29 }3031// socket接收缓冲区大小32if (conf.receiveBuf() > 0) {33bootstrap.childOption(ChannelOption.SO_RCVBUF, conf.receiveBuf());34 }3536// socket发送缓冲区大小37if (conf.sendBuf() > 0) {38bootstrap.childOption(ChannelOption.SO_SNDBUF, conf.sendBuf());39 }4041// 子channel处理器42bootstrap.childHandler(new ChannelInitializer<SocketChannel>() {43 @Override44protected void initChannel(SocketChannel ch) {45 RpcHandler rpcHandler = appRpcHandler;46for (TransportServerBootstrap bootstrap : bootstraps) {47 rpcHandler = bootstrap.doBootstrap(ch, rpcHandler);48 }49 context.initializePipeline(ch, rpcHandler);50 }51 });5253 InetSocketAddress address = hostToBind == null ?54new InetSocketAddress(portT oBind): new InetSocketAddress(hostToBind, portT oBind);55// 绑定到ip地址和端口56 channelFuture = bootstrap.bind(address);57// 同步等待绑定成功58 channelFuture.syncUninterruptibly();5960port =((InetSocketAddress) channelFuture.channel().localAddress()).getPort();61 logger.debug("Shuffle server started on port: {}", port);62 }netty使用一个引导对象ServerBootstrap来引导服务端的启动，最后的bootstrap.bind(address)实际出发了一系列的初始化机制。
Netty集群架构设计，搭建分布式推送系统PPT模板
八．1-1010-Netty集群-ImServer绑定队列10-Netty集群-ImServer绑定队列 九．1-1111-Netty集群-消费者根据RoutingKey11-Netty集群-消费者根据RoutingKey路由消息
二．1-88-netty集群-rabbitmq基础知识8-netty集群-rabbitmq基础知识 三．1-99-netty集群-消费者转发消息9-netty集群-消费者转发消息
四．1-1010-netty集群-imserver绑定队列10-netty集群-imserver绑定队列 五．1-1111-netty集群-消费者根据routingkey11-netty集群-消费者根据routingkey路由消息
202x
感谢聆听
d
1-44-netty集群-imweb 监听zookeeper4-netty
集群-imweb监听 zookeeper
b
1-22-netty集群zookeeper集群环境搭建 2-netty集群-zookeeper
集群环境搭建
e
1-55-netty集群jwttoken基础介绍5-
netty集群jwttoken基础介绍
c
1-33-netty集群-imserver 注册到zooke3-netty集群-
imserver注册到 zookeeper
e
1-66-netty集群-客户 端jwttoken身份认证 6-netty集群-客户端
jwttoken身份认证
Байду номын сангаас
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
徐经纬 2016.1.4
.
1
JAVA I/O的演进
在JDK 1.4发布之前，基于JAVA的所有Socket通信都采用了同步阻塞模式 （BIO），其在性能和可靠性上都存在着巨大的瓶颈，因此服务端应用的开发 基本被C和C++占据
JDK 1.4推出了非阻塞I/O的NIO类库，提供了很多进行异步I/O开发的API和 类库，极大促进了基于JAVA的异步非阻塞编程的发展和应用
改进：线程池+消息队列？
仍然使用BIO，当网络较差或者对方处理数据较慢时，线程会被阻塞，后续的 请求慢慢填满消息队列。而消息队列的实现也是阻塞的，因此之后的入队列 操作会被阻塞，即Acceptor被阻塞，从而也不能继续向外提供服务
.
4
NIO的解决方式
NIO基于一种多路复用的技术：
在NIO中，每一个网络连接被抽象为一个 Channel，我们可以在Selector上对打开的 Channels进行注册，并标明我们感兴趣的事 件。当Channels被注册后，通过 Selector.select()方法进行阻塞，直到我们监 听的事件发生。此时我们会获得一个 SelectionKey的集合，表示处于就绪状态的 Channel，于是就可以进行后续的I/O处理了。 这样，我们仅仅通过一个线程就能对多个连 接进行处理了
.
9
Netty的重要组件
Bootstrap
一个Netty应用通常由一个Bootstrap开始，它的主要作用是配置整个Netty程序，串联起各 个组件。Bootstrap有两种类型，ServerBootstrap和Bootstrap，分别用于Server端和 Client端
Channel
代表一个Socket连接，或者其他和I/O相关的组件
EventLoop
为Channel处理I/O操作，一个EventLoop可以为多个Channel服务，可理解为一个线程
EventLoopGroup
一个EventLoopGroup包含多个EventLoop，可以将其理解为一个线程池
.
10
Netty的重要组件
Handler
用来处理各种事件，比如连接、数据接收、异常、数据转换、编解码等。按照输入输出来分， 分为ChannelInboundHandler和ChannelOutboundHandler。前者对从客户端发往服务器 的报文进行处理，一般用来执行编码、读数据、业务处理等；后者处理服务器发往客户端的 数据，如编码
JDK 1.7对NIO进行了升级，被称为NIO2.0，进一步强化和丰富了JAVA异步 I/O的功能
.
2
BIO在网络编程中面临的问题
同步阻塞I/O服务端通信模型（一客户端一线程）
.
3
BIO在网络编程中面临的问题
上述模型的问题：缺乏弹性伸缩能力
1. 服务端的线程数和客户端并发访问数呈1:1的关系 2. 线程数膨胀后，系统的性能急剧下降 3. 最终进程宕机或者僵死，不能继续对外提供服务
.
14
Netty的逻辑架构
.
15
Reactor通信调度层
• 监听网络的读写和连接操作 • 将网络层数据读取到内存缓冲区中 • 触发各种网络事件，如连接创建、连接激活、读事件、写事件等
.
16
职责链ChannelPipeline
• 负责事件在职责链中的有序传播 • 动态编排职责链 • 各种Handler对事件进行过滤
.
17
业务逻辑编排层
• 具体的业务逻辑的处理
.
18
Netty的具体处理流程
连接
当一个连接到达时，Netty会产生一个Channel，然后从EventLoopGroup中选出一个 EventLoop将该Channel注册在其上，标明感兴趣的I/O事件，如：OP_READ。EventLoop 对Channel的监听即为上面讲到的I/O多路复用技术（selector）
.
13
Netty的线程模型
Netty是个异步高性能的NIO框架，它并不是个业务运行容器，因 此它不需要也不应该提供业务容器和业务线程。合理的设计模式是 Netty只负责提供和管理NIO线程，其它的业务层线程模型由用户 自己集成，Netty不应该提供此类功能，只要将分层划分清楚，就 会更有利于用户集成和扩展
代码…
ቤተ መጻሕፍቲ ባይዱ
.
5
NIO的解决方式
.
6
JAVA原生NIO类库的复杂性
NIO服务端通信序列图
.
7
当前网络协议使用中的问题
当前已有的通用的协议有时并不能满足我们特定的需求 我们需要对现有协议进行优化，或者按需实现全新的协议 如何快速的进行开发？
.
8
What is Netty?
“Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.”
.
11
Netty的线程模型
.
12
Netty的线程模型
工作流程：
1.从主线程池中随机选择一个Reactor线程作为Acceptor线程，用于绑定监听 端口，接收客户端连接 2. Acceptor线程接收客户端连接请求之后创建新的SocketChannel，将其注 册到主线程池的其它Reactor线程上，由其负责接入认证、IP黑白名单过滤、 握手等操作 3.步骤2完成之后，业务层的链路正式建立，将SocketChannel从主线程池的 Reactor线程的多路复用器上摘除，重新注册到Sub线程池的线程上，用于处 理I/O的读写操作
ChannelPipeline
ChannelHandler的容器。每个Channel会绑定一个ChannelPipeline，用于处理该Channel 上产生的事件
ChannelFuture
Netty中所有的I/O操作都是异步的，所以不能立刻得知消息的处理结果。因此，我们需要通 过ChannelFuture注册一个监听，当操作执行成功或失败时进行一些处理
Netty是一个异步、事件驱动（asynchronous event-driven）的用以开发高 性能、高可靠性协议服务器和客户端的网络应用框架 换句话说，Netty是一个NIO服务器-客户端框架，它在JAVA NIO的基础上进 行封装并提供出一套便于用户开发的API，使用它可以快速简单地开发网络应 用程序，比如协议服务器和客户端