淘宝主站Cgroup资源控制实践
cgroup使用介绍 -回复
cgroup使用介绍-回复Cgroup是Linux内核提供的一种机制，用于对进程及进程组分组并对其资源进行管理和限制。
本文将介绍Cgroup的基本概念、用途、使用方法以及常见的应用场景。
一、Cgroup的基本概念Cgroup全名Control Group，即控制组。
它是Linux内核提供的一种分层资源控制机制。
通过Cgroup，用户可以将一组进程组织成为一个或多个控制组，并对这些控制组中的进程分配资源或限制资源使用。
Cgroup的核心是通过层次化的结构，将进程组织起来，并对其资源进行管理。
在Cgroup中，可以对CPU、内存、磁盘、网络等资源进行控制和限制，而不同的控制组可以设置不同的资源分配策略。
二、Cgroup的用途Cgroup的主要用途是在一个系统上对进程进行资源管理和限制。
通过Cgroup，用户可以实现以下功能：1. 资源管理和分配：通过将进程组织成Cgroup，可以对不同的Cgroup 分配不同的资源。
例如，可以为某些重要的应用程序分配更多的CPU资源，而限制其他应用程序的资源使用。
2. 资源控制和限制：Cgroup可以通过设置一些参数来限制进程组使用的资源。
例如，可以设置每个Cgroup的CPU使用率、内存大小等。
3. 优先级设置：通过Cgroup，可以为不同的Cgroup设置不同的优先级。
这样，可以根据不同的需求，调整进程的执行优先级。
4. 隔离性：Cgroup可以在不同的控制组之间进行隔离。
这样，可以确保一个控制组中的进程无法影响其他控制组中的进程。
三、Cgroup的使用方法在Linux系统中，要使用Cgroup，需要先安装相应的工具包，如libcgroup。
然后，通过命令行或编程接口，可以创建、修改和删除Cgroup，以及设置相应的资源限制。
下面是一些常用的Cgroup命令行工具：1. cgroup：用于管理Cgroup，可以通过该命令创建、删除和修改Cgroup。
2. cgcreate：用于创建Cgroup。
淘宝技术架构分享
UIC[用户中心]
IC[商品中心]
TC[交易中心]
PC[促销中心]
DC[装修中心]
RC[评价中心]
SC[店铺中心]
Forest[类目体系]
核心业务服务：提供各种核心业务模块的服务化接口，接口按使用方式分两类：
（1）通过HSF方式调用的远程服务化接口 （2）通过定期推送服务端数据文件到客户端的CS调用 图中：蓝色标注的系统的部分接口使用第二中方式调用，其他系统基本都是基于HSF方式的远程调用。
购和使用，广告系统，社区发帖，淘宝客等等，前台浏览相对使用较少。
(2)买家行为:集中在前台：店铺浏览，宝贝的浏览，社区浏览等比重较大，买家后台功能主要定位在后台的“我是买家”Tab 页下，包括拍
商品，付款，确认，退款，评价，社区互动等。
产品：淘宝对产品定义和 B2B 有差别，淘宝的业务拆分较细，服务化做的较成熟，所以前台应用对应的业务非常纯粹，如 Detail 系统可
Tair[分布式cache] TDBM[数据库管理] Config[注册中心] TFS[分布式存储] HSF[远程调用框架]
基础服务: 提供最基础的共享服务，这些服务中心提供的功能基本与业务无关。
基本上这些服务在B2B都有，只是名字不一样而已，大体的功能也类似，不过实现方 式有差异，会在下面具体做介绍。
Oracle
淘宝共享服务
UIC
IC
SC
TC
PC
Search接口 LB配置
数据共享系统 TDBM
Tair
TFS 快照
Search 接口
Dump中心
Build索引
分发索引文件
搜索引擎系统 大C搜索
SPU搜索
实时搜索 …搜索
淘宝的应用现状和原理
淘宝的应用现状和原理1. 淘宝应用的发展概述•淘宝是中国最大的网络购物平台之一，成立于2003年，隶属于阿里巴巴集团。
•淘宝通过提供商品展示、交易、支付等服务，将买家与卖家连接起来，形成一个庞大的电子商务生态系统。
•随着智能手机的普及和移动互联网的快速发展，淘宝也推出了移动应用，为用户带来更便捷的购物体验。
2. 淘宝应用的使用方式•用户可以通过淘宝应用搜索商品、浏览商品详情、下单购买商品等。
•淘宝应用提供了多种支付方式，包括支付宝、信用卡、银行卡等，用户可以根据自己的需求选择适合的支付方式。
•用户可以在淘宝应用中参与拍卖、秒杀、团购等活动，获取更多的优惠和折扣。
•淘宝应用还提供了消息通知、评价管理、退款售后等功能，方便用户和卖家之间的沟通和交流。
3. 淘宝应用的技术原理淘宝应用的背后涉及了多种技术原理，包括但不限于：a. 云计算技术•淘宝应用运行在阿里云等云计算平台上，利用云计算的弹性性能和高可用性，为用户提供稳定可靠的服务。
•云计算技术还可以根据系统负载和用户访问量的变化，自动调整资源分配，保证系统的高效运行。
b. 大数据分析技术•淘宝应用通过对海量数据的采集和分析，可以了解用户的购物偏好、消费能力等信息，从而进行个性化推荐和营销策略。
•大数据分析技术还可以帮助淘宝优化商品搜索、推荐算法等，提高用户体验和交易成功率。
c. 分布式存储和缓存技术•淘宝应用将用户的数据进行分布式存储，可以提高数据访问的速度和可靠性。
•同时，应用还会使用缓存技术，将常用的数据缓存在内存中，减少数据库访问的次数，提高系统的响应速度。
d. 安全技术•淘宝应用需要保护用户的账号、密码、支付信息等敏感数据的安全。
•通过使用加密算法、身份认证技术、风险控制等手段，淘宝应用可以有效防止信息泄露和欺诈行为。
e. 移动技术•随着智能手机的普及，淘宝应用也推出了移动版本，为用户提供更便捷的购物体验。
•淘宝应用通过移动技术，如GPS定位、蓝牙连接等，可以为用户提供个性化的服务和推广活动。
淘宝运行知识点总结
淘宝运行知识点总结作为中国最大的电子商务平台之一，淘宝的运行涉及到许多方面的知识点。
在这篇文章中，我们将从技术、运营、市场和管理等多个方面来总结淘宝的运行知识点。
技术知识点1. 服务器构架淘宝作为一个庞大的电子商务平台，其服务器构架必须具备高性能、高可用和高扩展性。
淘宝采用分布式服务器架构，通过负载均衡和分布式缓存来处理大规模的访问请求。
2. 数据库管理淘宝的数据库系统包括关系型数据库和非关系型数据库，用于存储用户数据、商品信息、交易记录等。
数据库管理涉及到数据的备份恢复、性能优化、数据安全等方面。
3. 网络安全作为一个电子商务平台，淘宝面临着各种网络安全威胁，包括DDoS攻击、SQL注入、跨站脚本攻击等。
网络安全团队必须采取一系列措施来保护平台的安全。
4. 大数据处理淘宝拥有庞大的用户群体和海量的交易数据，因此需要采用大数据技术来进行数据分析、用户画像、推荐系统等方面的处理。
运营知识点1. 商品运营淘宝的商品运营包括平台运营、销量提升、品牌推广等方面。
运营团队需要了解市场趋势，制定商品推广策略，优化商品搜索排名等。
2. 用户运营用户运营是淘宝的核心工作之一，包括用户注册、用户活跃度、用户留存等方面。
用户运营团队通过数据分析和用户画像来提升用户体验，增加用户粘性。
3. 营销推广淘宝的营销推广包括广告投放、活动策划、社交媒体营销等方面。
运营团队需要了解不同渠道的用户行为特点，制定相应的营销策略。
市场知识点1. 竞争分析淘宝面临着激烈的市场竞争，竞争分析是市场团队的重要工作之一。
团队需要了解竞争对手的产品、价格、营销策略等，并及时调整自身策略。
2. 消费者行为消费者行为分析是市场团队的重要工作内容，包括用户购买行为、用户偏好、用户消费习惯等方面。
团队需要通过数据分析来了解消费者行为，从而制定相应的市场策略。
管理知识点1. 团队管理淘宝拥有庞大的团队，团队管理是管理团队的重要工作内容。
管理团队需要制定有效的团队管理制度，调动团队的积极性，提升团队的执行力。
ControlGroup（CGroup）资源限制组
ControlGroup（CGroup）资源限制组 控制组（CGroups）是Linux内核的⼀个特性，主要⽤来对共享资源进⾏隔离、限制、审计等。
只有能控制分配到容器的资源，才能避免多个容器同时运⾏时对宿主机系统的资源竞争。
控制组可以提供对容器的内存、CPU、磁盘IO等资源进⾏限制和计费管理。
控制组的设计⽬标是为不同的应⽤情况提供统⼀的接⼝，从控制单⼀进程（⽐如nice⼯具）到系统级虚拟化（包括OpenVZ、Linux-VServer、LXC等） 具体来看，控制组提供： 资源限制（Resource limiting）：可以将组设置为不超过设定的内存限制。
⽐如：内存⼦系统可以为进程组设定⼀个内存使⽤上限，⼀旦进程组使⽤的内存达到限额再申请内存，就会出发Out of Memory警告。
优先级（Prioritization）：通过优先级让⼀些组优先得到更多的CPU等资源。
资源审计（Accounting）：⽤来统计系统实际上把多少资源⽤到适合的⽬的上，可以使⽤cpuacct⼦系统记录某个进程组使⽤的CPU时间。
隔离（isolation）：为组隔离命名空间，这样⼀个组不会看到另⼀个组的进程、⽹络连接和⽂件系统。
控制（Control）：挂起、恢复和重启动等操作。
cgroups: Control Groups 基于进程的限制，⽽⾮⽤户，因此对于超户运⾏的进程也是⼀样 cgroup将各种⼦系统定义为资源，命名为controller: 可配额/可度量 - Control Groups (cgroups) cgroups实现了对资源的配额和度量九⼤⼦系统的资源 1. blkio 限制每个块设备的输⼊输出控制。
例如:磁盘,光盘以及usb 2. cpu 限制使⽤cpu⽐例 3. cpuacct 产⽣cgroup任务的cpu资源报告。
4. cpuset 多核⼼的cpu时为cgroup任务分配单独的cpu和内存 5. devices 允许或拒绝对设备的访问。
cgroup原理篇v1
cgroup原理篇v1【实用版】目录1.cgroup 概述2.cgroup 的核心概念3.cgroup 的工作原理4.cgroup 的实际应用5.cgroup 的未来发展正文【cgroup 概述】cgroup，全称 Control Group，是 Linux 内核中的一个重要功能模块，主要负责对进程进行资源限制、优先级控制、进程隔离等操作。
cgroup 在系统资源的管理和调度方面具有重要作用，是 Linux 系统中实现容器技术的核心组成部分。
【cgroup 的核心概念】1.控制组（Control Group）：cgroup 的核心概念是控制组，一个控制组可以包含一个或多个进程。
控制组可以看作是一个进程的集合，这个集合的成员进程共享一定的资源，例如 CPU、内存等。
2.子系统（Subsystem）：cgroup 中的子系统是实际进行资源限制、优先级控制等功能的地方。
子系统可以分为两类：进程子系统（Process Subsystem）和节点子系统（Node Subsystem）。
3.进程层次结构（Process Hierarchy）：cgroup 中的进程按照层次结构进行组织。
一个控制组可以包含多个进程，这些进程可以分为不同的层级。
层级之间的关系是树状结构，根节点是控制组，子节点是各个进程。
【cgroup 的工作原理】cgroup 的工作原理主要分为两个方面：资源限制和进程控制。
1.资源限制：cgroup 通过子系统对进程的资源使用进行限制。
例如，可以通过设置 CPU 限制、内存限制等参数，来规定进程可以使用的资源数量。
2.进程控制：cgroup 可以通过设置进程的优先级、控制进程的执行状态等手段，对进程进行控制。
例如，可以通过设置进程的 nice 值，来调整进程的优先级。
【cgroup 的实际应用】cgroup 在实际应用中主要应用于以下几个方面：1.容器技术：cgroup 是 Linux 容器技术的核心组成部分，通过cgroup 可以实现对容器内进程的资源限制、隔离等操作。
cgroup 使用样例
cgroup 使用样例CGroup（Control Groups）是Linux系统中一个比较重要的管理工具，可以用来限制进程的资源使用，避免出现资源竞争的问题。
下面就为大家介绍一下CGroup的使用方法以及样例。
使用方法：1. 安装CGroup：在CentOS系统上，CGgroup包可以通过yum安装，命令如下：yum install -y libcgroup-tools2. 创建CGroup：可以使用cgset/cgcreate/cgclassify命令创建CGGroup。
例如：sudo cgcreate -g memory:/testgroupsudo cgset -r memory.limit_in_bytes=100M testgroup其中，-g选项表示指定CGGroup的层级类型，例如memory表示按照内存资源层级进行划分。
/testgroup表示CGGroup的标识符。
3. 分配进程到CGGroup：可以使用cgclassify命令将进程分配到CGGroup，例如：sudo cgclassify -g memory:/testgroup $pid其中，$pid表示要限制进程资源的PID，memory:/testgroup表示要将进程分配到testgroup这个CGGroup中。
4. 查看CGGroup资源限制：可以使用cgget命令查看CGGroup中的资源限制，例如：sudo cgget -r memory.limit_in_bytes testgroup样例：下面为大家提供一个CGroup的使用样例，限制一个进程的内存使用：1.首先安装CGGroup，在终端输入以下命令：yum install -y libcgroup-tools2.创建CGGroup，在终端输入以下命令：sudo cgcreate -g memory:/testgroupsudo cgset -r memory.limit_in_bytes=100M testgroup3.启动一个需要限制内存的进程，在终端输入以下命令：stress --vm-bytes 200M --vm-keep -m 1这个命令会启动一个占用200M内存的stress测试程序。
Docker技术实现容器化电商平台的最佳实践
Docker技术实现容器化电商平台的最佳实践引言随着电子商务行业的迅速发展，构建高性能、高可扩展性的电商平台成为了众多企业关注的焦点。
而在这个过程中，Docker技术作为一种容器化解决方案，为电商平台搭建和部署带来了革命性的变化。
本文将介绍Docker技术在实现容器化电商平台的最佳实践中所起到的关键作用。
提升平台可靠性电商平台作为一个关键的交易系统，其稳定性和可靠性对于企业的生存和发展至关重要。
传统的物理机部署方式由于存在硬件依赖性和部署过程繁琐的问题，往往无法满足电商平台高可靠性的需求。
而Docker容器化技术的出现，通过将应用及其依赖的运行环境打包成一个独立的容器，实现了平台的快速部署和自动化管理，从而大大提升了电商平台的可靠性。
简化开发和测试环境电商平台的开发和测试环境往往需要配置复杂的网络环境、数据库和缓存等依赖组件。
在传统的开发和测试过程中，部署环境往往需要逐个配置，容易出现不一致问题，且依赖组件的修改和更新也非常麻烦。
而采用Docker技术后，开发和测试环境可以以容器的形式封装和共享，开发人员只需要拉取容器镜像即可快速构建一致的开发和测试环境，同时可以方便地更新和版本回滚，大大提高了开发和测试的效率。
提高平台部署和扩展效率电商平台往往需要应对突发的访问高峰和交易流量的波动，在这种情况下，传统的硬件部署方式需要消耗大量的时间和成本。
而采用Docker技术后，可以通过动态扩容和负载均衡等特性，快速地进行平台部署和扩展，将平台的弹性和可伸缩性提升到一个新的水平。
并且由于Docker容器的轻量级特性，可以充分利用服务器资源，实现更高的资源利用率。
这为电商平台的运维人员带来了巨大的便利。
简化项目迁移和运维在电商平台的生命周期中，可能需要对平台进行迁移或者进行运维操作。
而传统的物理机部署方式往往需要人工逐个迁移和配置服务器，非常耗时费力。
而采用Docker技术后，可以在不同的环境之间进行快速迁移，只需要将容器镜像导出和导入即可，大大减少了迁移的时间和工作量。
淘宝售卖的云服务器原理
淘宝售卖的云服务器原理淘宝售卖的云服务器原理云服务器是一种基于云计算技术的虚拟化服务器，可以为用户提供弹性灵活的计算资源。
淘宝作为一家知名的电商平台，在其平台上售卖云服务器，并为用户提供云计算服务。
本文将一步一步回答关于淘宝售卖云服务器的原理。
1. 云服务器的基本原理云服务器的基本原理是将一台物理服务器分割成多个虚拟机实例，并通过虚拟化技术将这些实例隔离开来，每个实例都拥有自己的操作系统、存储、计算资源等。
这样一台物理服务器就可以同时运行多个云服务器实例，为不同用户提供计算资源。
2. 淘宝云服务器的架构淘宝云服务器的架构主要包括物理服务器集群、虚拟化管理层和云服务器管理平台。
物理服务器集群是底层资源池，由多台物理服务器组成，用于提供计算、存储和网络资源。
虚拟化管理层是云服务器的核心，通过虚拟化技术将物理服务器分割成多个独立的虚拟机实例，并对其进行管理和调度。
云服务器管理平台是用户和系统交互的入口，用户可以通过该平台购买、配置、管理和监控云服务器。
3. 淘宝云服务器的购买流程用户在淘宝平台上购买云服务器的流程如下：a. 用户登录淘宝，搜索并选择合适的云服务器产品。
b. 用户根据自己的需求和预算选择适当的配置，包括计算资源、存储容量、带宽等。
c. 用户确认订单后，进行支付，可以选择预付费或后付费方式。
d. 支付完成后，用户可以在淘宝云服务器管理平台上进行配置和管理，包括操作系统安装、网络配置、数据存储等。
e. 用户可以根据自己的需求随时调整云服务器的配置和规格。
4. 淘宝云服务器的实现技术淘宝云服务器的实现主要借助了以下技术：a. 虚拟化技术：淘宝使用了虚拟化技术将物理服务器分割成多个虚拟机实例，每个实例拥有独立的操作系统和计算资源。
常用的虚拟化技术包括VMware、KVM、Xen等。
b. 负载均衡技术：淘宝通过负载均衡技术将用户的请求均匀地分发到不同的云服务器实例上，提高系统的稳定性和性能。
c. 自动化运维技术：淘宝通过自动化运维技术实现了云服务器的自动部署、弹性扩容和故障恢复等功能，提高了运维效率和服务器的可用性。
淘宝商品推广系统服务器端软件的分析与设计
基本内容
然而，随着业务需求的不断变化和技术的发展，我们建议淘宝在以下几个方 面进行进一步改进：1）持续优化算法模型，提高搜索和推荐准确率；2）加强数 据安全性和隐私保护；3）研究和引入新兴技术，如和大数据分析，提升系统的 智能化水平。
基本内容
总之，本次演示对淘宝商品推广系统服务器端软件进行了全面分析，并探讨 了其设计和实现方法。通过不断优化和完善该系统，我们可以为电商行业的发展 提供有力支持。
基本内容
在技术选型上，淘宝商品推广系统主要采用Java语言开发，使用Spring框架 进行依赖注入和事务管理。数据库方面，系统采用MySQL数据库进行数据存储和 处理，通过索引优化和SQL调优来提高查询效率。
基本内容
在进行淘宝商品推广系统服务器端软件设计时，我们需要根据架构设计的要 求，对每个子系统进行详细设计。搜索服务器需要实现关键词搜索和结果排名功 能，推荐服务器需要实现个性化推荐算法，广告服务器需要实现广告投放和计费 功能。此外，还需要设计一个统一的数据接口，方便各个子系统之间的数据交互。
淘宝商品推广系统服务器端软 件的分析与设计
基本内容
基本内容
随着互联网的快速发展，电子商务越来越成为人们生活中不可或缺的一部分。 淘宝作为国内最大的电商平台之一，每天都有大量的商品交易和流量。为了更好 地服务卖家和买家，淘宝不断优化其商品推广系统。本次演示将对淘宝商品推广 系统服务器端软件进行深入分析，并探讨其设计和实现方法。
基本内容
在实现过程中，我们需要根据业务需求和技术选型来进行代码编写和调试。 例如，对于搜索服务器，我们需要编写一个SearchController类，用于处理用户 搜索请求，并调用SearchService类来进行搜索和排名操作。对于推荐服务器， 我们需要编写一个RecommenderController类，用于接收用户行为数据并调用 RecommenderService类来进行推荐算法运算。
淘宝主站Cgroup资源控制实践
重新思考最基础的设计 Hotspot 的GC堆大小(-Xmx)和mem cgroup的上 限(hard limit)如何取值？堆内和堆外内存应该 给多少？ 内存满了会发生什么？
匿名页被交换到磁盘上 Page cache页直接丢弃，脏页丢弃前先回写 部署大量Java应用时内存主要是GC堆的匿名页 垃圾所占匿名页从其失去最后一个引用之时起到下 次GC之时止不会被访问，被交换出去的概率相对更 大 把垃圾交换到磁盘上是一种浪费
Upstream内核中Load计算不准的Bug
[Patch] sched: Cure load average vs NO_HZ woes
[Patch] sched: Cure more NO_HZ load average
woes [Patch] sched: Fix nohz load accounting – again! [PATCH] sched: Folding nohz load accounting more accurate
内存增减 通过balloon driver 支持
通过balloon driver 支持 通过Cgroup支持
支持
支持
LinuXContainer (LXC)
不支持 速度
可运行不同OS 安全隔离性 强 强 差
XEN(半虚拟化） 比本地环境慢 KVM(全虚拟化) 比本地环境慢 LXC 同本地环境
•/page/CPUHotPlug •/TechComparison •/wiki/Comparison_of_platform_virtual_machines
为每个Container维护/proc/meminfo
得非常复杂—而且有Bug，幸好我们目前不需要 如何表示与自己共享CPU的其他Container占用的 CPU时间？借用半虚拟化中的steal time概念
cgroup限制cpu原理
cgroup限制cpu原理
cgroup是Linux的一个内核功能，用于对进程和资源进行管理和限制。
其中，对于CPU资源的限制，可以通过cgroup的cpu子系统来实现。
其原理是通过在内核中设置cpu
时间片的分配和限制，从而控制进程所占用的CPU资源。
具体来说，cgroup将系统的CPU资源划分成多个处理器(cpuset)，并针对每个处理器设置使用时间片的限制。
一个进程可以被分配到一个或多个处理器上运行，而每个处理器
的可使用时间片是有限的，当某个处理器上的所有进程用完了该处理器所分配的时间片后，该处理器上的其他进程就必须等待下一轮时间片到来才能执行。
因此，通过设置不同的处
理器和时间片限制，就可以对CPU资源进行分配和限制。
除此之外，cgroup还可以用于设置进程间的资源共享和优先级设置。
例如，在一个系统中，可以把所有CPU密集型的进程分配到一个处理器上运行，保证这些进程不会影响到
其他进程的运行。
另外，cgroup还可以通过优先级设置来确保重要的进程能够得到更多的CPU资源，从而保证系统的稳定性和性能。
cgroup机制使用 -回复
cgroup机制使用-回复【cgroup机制使用】：一种深入理解与实践的指南Linux cgroups（Control Groups）是一种内核功能，它提供了一种对进程进行资源限制、优先级分配、统计和控制的机制。
通过cgroups，系统管理员可以将一系列进程组织在一起，并作为一个整体进行统一管理和控制，从而实现更精细化的资源管理。
本文将逐步介绍cgroup机制的使用方法及其在实际场景中的应用。
一、cgroup基本概念与结构cgroups的核心思想是创建一组进程集合，并为这组进程设定统一的资源限制。
在Linux内核中，cgroups以层级树状结构存在，每个节点称为一个cgroup，其中包含了若干个子cgroup和属于该cgroup的进程。
每个cgroup都有独立的一套资源控制参数，如CPU份额、内存限制、磁盘I/O带宽等。
二、创建与挂载cgroup子系统1. 创建cgroup目录：在/sys/fs/cgroup目录下，我们可以创建新的cgroup子系统挂载点。
例如，要挂载cpu子系统，执行以下命令：mkdir /sys/fs/cgroup/cpu/my_cgroup2. 挂载子系统：接着，我们需要将特定的cgroup子系统挂载到上一步创建的目录，如下所示：mount -t cgroup -o cpu cpu /sys/fs/cgroup/cpu/my_cgroup三、管理cgroup资源1. 向cgroup添加进程：要将进程放入某个cgroup，可以通过echo进程PID写入tasks文件来实现。
例如：echo <pid> > /sys/fs/cgroup/cpu/my_cgroup/tasks2. 配置资源限制：cgroup支持多种资源限制。
例如，我们可以设置cgroup 的CPU配额：echo 50000 > /sys/fs/cgroup/cpu/my_cgroup/cpu.shares # 设置CPU相对权重echo 100 > /sys/fs/cgroup/cpu/my_cgroup/cpu.cfs_period_us # CPU周期时间（微秒）echo 5000 > /sys/fs/cgroup/cpu/my_cgroup/cpu.cfs_quota_us # CPU配额（微秒）上述设置意味着，该cgroup内的进程在一个周期（100ms）内最多只能占用50ms的CPU时间。
LINUXCGROUP总结
LINUXCGROUP总结简介:Linux CGroup全称Linux Control Group，是Linux内核的⼀个功能，⽤来限制，控制与分离⼀个进程组群的资源（如CPU、内存、磁盘输⼊输出等）。
这个项⽬最早是由Google的⼯程师在2006年发起（主要是Paul Menage和Rohit Seth），最早的名称为进程容器（process containers）。
在2007年时，因为在Linux内核中，容器（container）这个名词太过⼴泛，为避免混乱，被重命名为cgroup，并且被合并到2.6.24版的内核中去。
然后，其它开始了他的发展。
Linux CGroupCgroup 可让您为系统中所运⾏任务（进程）的⽤户定义组群分配资源 — ⽐如 CPU 时间、系统内存、⽹络带宽或者这些资源的组合。
您可以监控您配置的cgroup，拒绝cgroup 访问某些资源，甚⾄在运⾏的系统中动态配置您的cgroup。
主要功能:1. 限制资源使⽤，⽐如内存使⽤上限以及⽂件系统的缓存限制。
2. 优先级控制，CPU利⽤和磁盘IO吞吐。
3. ⼀些审计或⼀些统计，主要⽬的是为了计费。
4. 挂起进程，恢复执⾏进程。
cgroups⼦系统1. cpu ⼦系统，主要限制进程的 cpu 使⽤率。
2. cpuacct ⼦系统，可以统计 cgroups 中的进程的 cpu 使⽤报告。
3. cpuset ⼦系统，可以为 cgroups 中的进程分配单独的 cpu 节点或者内存节点。
4. memory ⼦系统，可以限制进程的 memory 使⽤量。
5. blkio ⼦系统，可以限制进程的块设备 io。
6. devices ⼦系统，可以控制进程能够访问某些设备。
7. net_cls ⼦系统，可以标记 cgroups 中进程的⽹络数据包，然后可以使⽤ tc 模块（traffic control）对数据包进⾏控制。
8. net_prio — 这个⼦系统⽤来设计⽹络流量的优先级9. freezer ⼦系统，可以挂起或者恢复 cgroups 中的进程。
cgroup 原理
cgroup 原理
Cgroup（Control Group）是Linux操作系统中的一个功能，用
于将一组进程组织在一起，并对其进行资源控制和限制。
Cgroup可以用来限制进程组的CPU使用率、内存、IO等资源
的消耗。
Cgroup的原理基于Linux内核的命名空间和控制组特性。
它
通过将一组进程组织在一个层次结构中，并对每个层级中的进程组施加不同的资源限制，实现对系统中资源的有效管理和分配。
Cgroup的层次结构是树状的，根节点是系统中所有进程的组，其下面可以有多个子组。
每个组可以包含一个或多个进程，也可以有子组。
每个组都有其自己的资源限制策略。
当一个进程加入到一个组中时，它将受到组的资源限制策略的影响。
Cgroup使用控制文件系统（control file system）来管理进程组。
通过在控制文件系统中创建不同的控制器（controller），可以
对进程组的不同资源进行控制。
常见的控制器包括CPU （cpu）、内存（memory）、IO（blkio）、网络（net_cls）等。
Cgroup的原理是通过在控制文件系统中创建相应的组和控制器，然后将进程添加到特定的组中，该进程及其子进程将会受到组的资源控制策略的限制。
资源限制策略可以通过修改控制器的参数来实现，例如，限制CPU使用率可以通过设置CPU
控制器的cfs_quota参数实现。
总的来说，Cgroup通过组织进程并施加资源限制策略，实现了对系统资源的管理和分配。
它在容器化技术和虚拟化环境中得到广泛应用，可以有效地保障系统的稳定性和可靠性。
cgroup 应用场景
cgroup 应用场景随着计算机应用的不断发展和扩大，对于资源管理和性能调优的需求也越来越迫切。
在这个背景下，cgroup（Control Group）应运而生，成为了一个重要的工具。
cgroup 是 Linux 内核提供的一个特性，可以用来限制和隔离进程组的资源使用，从而实现对系统资源的精细控制。
cgroup 的应用场景非常广泛，下面将列举一些典型的应用场景。
1. 虚拟化技术在虚拟化技术中，cgroup 可以用来实现虚拟机资源的隔离和限制。
通过将不同的虚拟机实例分组，可以为每个分组设置不同的资源限制，如CPU、内存、磁盘等。
这样可以避免虚拟机之间的资源竞争，提高整体系统的稳定性和性能。
2. 容器技术容器技术（如Docker）在云计算和微服务架构中得到了广泛应用。
cgroup 可以被用来对容器内的进程进行资源的隔离和限制。
通过在容器内部创建 cgroup，可以为每个容器实例设置资源限制，从而实现对容器的精细化管理。
比如，可以限制每个容器使用的CPU时间、内存大小、磁盘空间等，避免容器之间的资源争夺，提高整体系统的吞吐量和性能。
3. 任务管理cgroup 可以用来管理系统中的各个任务（进程）。
通过将不同的任务分组，可以为每个分组设置不同的资源限制。
这样可以根据任务的优先级和重要性，为其分配更多或更少的系统资源，从而实现对任务的优化调度。
比如，可以将后台任务和前台任务分别分组，分别设置不同的 CPU 和内存限制，以确保前台任务的响应性能。
4. 资源控制和监控cgroup 不仅可以用来限制资源的使用，还可以用来监控资源的使用情况。
通过查看 cgroup 的统计信息，可以了解到每个 cgroup 组中的任务所使用的资源量，如 CPU 利用率、内存使用量等。
这些信息可以帮助管理员更好地了解系统的负载状况，及时发现资源瓶颈并进行调整。
5. 性能调优cgroup 还可以用来进行系统性能调优。
通过调整 cgroup 的资源限制，可以优化系统的性能。
使用cgroups管理Linux磁盘io的方法
使用cgroups管理Linux磁盘io的方法导读:我们都知道Linux系统中的cgroups可用于管理cpu资源，今天小编要给大家介绍的是如何使用cgroups管理进程磁盘io，如果你对此感兴趣的话，不妨来了解下吧。
这个功能通过blkio 子系统实现。
blkio 子系统里东西很多。
不过大部分都是只读的状态报告，可写的参数就只有下面这几个：代码如下：blkio.throttle.read_bps_deviceblkio.throttle.read_iops_deviceblkio.throttle.write_bps_deviceblkio.throttle.write_iops_deviceblkio.weightblkio.weight_device这些都是用来控制进程的磁盘io 的。
很明显地分成两类，其中带“throttle”的，顾名思义就是节流阀，将流量限制在某个值下。
而“weight”就是分配io 的权重。
“throttle”的那四个参数看名字就知道是做什么用的。
拿blkio.throttle.read_bps_device 来限制每秒能读取的字节数。
先跑点io 出来代码如下：dd if=/dev/sda of=/dev/null &［1］2750代码如下：TID PRIO USER DISK READ DISK WRITE SWAPIN IO》COMMAND2750 be/4 root 66.76 M/s 0.00 B/s 0.00 % 68.53 % dd if=/dev/sda of=/dev/null 。
然后修改一下资源限制，把进程加入控制组代码如下：echo ‘8:0 1048576’ 》/sys/fs/cgroup/blkio/foo/blkio.throttle.read_bps_device echo 2750 》/sys/fs/cgroup/blkio/foo/tasks这里的8:0 就是对应块设备的主设备号和副设备号。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Cgroup可以动态调整内存上限，但Hotspot 的GC堆大小是启动时设定的 基本想法：在内存紧张时，“摘掉”GC堆 中垃圾对象所占的物理内存
内存紧张可能由于全局内存缺乏，也可能由于
cgroup组内内存不足 仍然不能让GC堆扩大，但可以一开始就设个比 较大的值(overcommit)，在资源紧张时让其缩小 对GC堆上限(-Xmx)和memcg上限(hard limit)这 两个参数不再敏感
机器数量非常多
一台物理机跑更多虚拟机 更好的组合应用，做到集群利用率均衡
消耗资源多的和少的部署在一起
核心应用和非核心部署在一起
如果某台虚拟机流量上升需要更多资源， 给它分配的内存和cpu也增加，反之亦然。 不增加监控、运维成本
Operating system-level virtualization 各种称呼, “containers”, “jails”, 增强的chroot Container是安全容器与资源容器的组合 实现
重新思考最基础的设计 Hotspot 的GC堆大小(-Xmx)和mem cgroup的上 限(hard limit)如何取值？堆内和堆外内存应该 给多少？ 内存满了会发生什么？
匿名页被交换到磁盘上 Page cache页直接丢弃，脏页丢弃前先回写 部署大量Java应用时内存主要是GC堆的匿名页 垃圾所占匿名页从其失去最后一个引用之时起到下 次GC之时止不会被访问，被交换出去的概率相对更 大 把垃圾交换到磁盘上是一种浪费
朱延海（高阳） 核心系统研发部 2012-07
项目背景：主站的现状 选型的过程 Cgroup/LinuxContainer介绍 定制和开发 存在的问题和对策
主站：跑在xen虚拟机上的Java应用
处理业务逻辑，本地无重要存储，无状态。
一台物理机部署3台虚拟机
双路Xeon，48GB内存 多数应用是非交易相关的 有1/3虚拟机峰值Load小于0.5 基本无磁盘IO，主要资源需求集中于cpu和内存
内存增减 通过balloon driver 支持
通过balloon driver 支持 通过Cgroup支持
支持
支持
LinuXContainer (LXC)
不支持 速度
可运行不同OS 安全隔离性 强 强 差
XEN(半虚拟化） 比本地环境慢 KVM(全虚拟化) 比本地环境慢 LXC 同本地环境
•/page/CPUHotPlug •/TechComparison •/wiki/Comparison_of_platform_virtual_machines
优点
虚拟化开销小，一台物理机跑很多“小”虚拟机 通过Cgroup增减CPU/内存非常方便，调整速度很快 和本地环境相同的速度
缺点
不能热迁移 调度流量，而不是调度机器 不能模拟不同体系结构、装不同os 不需要 安全隔离差 内部集群，由运维操作 ForkBomb、优先级反转、Cgroup实现缺陷 见招拆招
一个内核线程定期扫描各Container的内存使 用情况, 得到内存活跃程度百分比α
[patchset] idle page tracking / working set
使用Eventfd通知用户态程序 一个用户态伺服程序，用来接通知并转发给 Hotspot JVM kernel patch changed lines约3k行 修改Hotspot，通过Attach API实现触发Full GC 和使用madvise()释放内存(需要考虑很多细节) 约700行Hotspot patch
estimation from Google，在此基础上修改
“Memory Resource Management in Vmware ESX Server”, Carl Waldspurger
目前实现把每个numa结点视为单独的机器计算 然而ParallelGC collector不是numa-aware的，被某个内存紧
内存压力有可能来自于应用内存持续泄露，此时oom比 触发GC来回收内存更好
张的结点挑中的Container回收到的内存未必在这个结点上
谢谢！ 提问时间
▪ Memcg不能控制buffer和内核内存
Proc下的多数文件不认识Container ，top/sar/free/iostat
都用不了 自己按需求修改内核 Nhomakorabea
/proc没有“虚拟化” 为每个Container计算Load和CPU利用率
社区已有部分Patch，但没被接受 Upstream内核中为了提高SMP伸缩性，计算Load变
Container活跃时得到允许范围内尽可能多内存 Container的工作集缩小(不活跃)时剥夺它的内存 引入内存活跃程度百分比α，通过定期扫描页得到 引入不活跃内存惩罚系数idle_tax ∈[1, +∞) 回收倾向 = Shares / Pages * (α + idle_tax * (1 – α) )
安全容器：chroot, UID/PID/IPC/Network Namespace 资源容器：Control Cgroup (Cgroup) Linux
▪ OpenVZ, Linux-VServer, LinuXContainer(LXC)
Solaris Zones FreeBSD Jails
为每个Container维护/proc/meminfo
得非常复杂—而且有Bug，幸好我们目前不需要 如何表示与自己共享CPU的其他Container占用的 CPU时间？借用半虚拟化中的steal time概念
社区已有部分Patch，但仍然不被接受 Buffer列只能显示零 内存总量即为Cgroup允许的该容器内存上限
Blkio子控制器
度器cfs针对cpu的分时服务原理相同
动态迁移 XEN(半虚拟化）
KVM(全虚拟化)
CPU增减 通过Guest OS CPU 热插拔机制支持
通过Guest OS CPU 热插拔机制支持 通过cpuset和CFS 组调度扩展支持 异构模拟 支持 支持 不支持 支持 支持 不支持
Upstream内核中Load计算不准的Bug
[Patch] sched: Cure load average vs NO_HZ woes
[Patch] sched: Cure more NO_HZ load average
woes [Patch] sched: Fix nohz load accounting – again! [PATCH] sched: Folding nohz load accounting more accurate
有许多Container，该回收谁的内存？
Shares: Container的权重，我们在这里使用其允许
希望的行为
使用的最大内存总量做为权重 Pages: Container实际使用的内存量 回收倾向 = Shares / Page，越小越容易被选 中
算法来自Vmware ESX Server
LXC = Namespace + Cgroup 基于进程组的资源管理 基础框架 + 子控制器
使用Cgroup的分组机制，对一组进程就某种系统资源实现资
cpuset子控制器
源管理。
memcg子控制器
为进程组分配一组允许使用的CPU和内存结点 限制进程组允许使用的物理内存 只限制匿名页和Page Cache，不包括内核自己使用的内存 内存紧张时使用与全局回收同样的算法在组内回收 限制进程组的磁盘IO带宽 实际控制的是磁盘为各进程组服务的时间片数量，和进程调
内存还剩多少时触发？
Full GC时Young Gen中活对象先整体提升，所以内存使用量
目前只支持ParallelGC collector，不支持CMS numa aware
可能出现先升后降的现象 Full GC用时远长于一次kswapd活动，内存用量在Full GC期间 可能继续上涨至direct reclaim 必须考虑和Page cache用量的平衡