是时候该对你的数据库做一次全面体检啦_光环大数据培训
大数据培训学习心得体会_光环大数据
大数据培训学习心得体会_光环大数据来光环大数据学习大数据已经有一段时间了，这段时间感触颇多，下面我就我在大数据培训学习心得体会做个简单的分享。
大数据（big data）也成为海量数据、海量资料。
在面对海量数据资料时，我们无法透过主流的软件工具在合理的时间内进行管理、处理并整理成为对需求者有价值的信息时，就涉及到了我们现在所学的大数据技术。
大数据的特点目前已经从之前的4V升级到了5V，即Volume（大量）、Velocity （速率）、Variety（多样性）、Veracity （真实）、Value（价值）。
进一步可以理解为大数据具有数据体量巨大、处理速度快、数据种类繁多、数据来源真实可靠、价值巨大等特性。
目前大数据所用的数据记录单位为PB（2的50次方）和EB（2的60次方），甚至到了ZB（2的70次方）。
数据正在爆炸式的增长，急需一批大数据人才进行处理、挖掘、分析。
大数据的一个重大价值就在于大数据的预测价值。
如经济指数预测、经典预测、疾病预测、城市预测、赛事预测、高考预测、电影票房预测等。
在光环大数据培训班学习期间，我感受到了光环大数据良好的学习氛围和先进的教学方式。
几乎是零基础入学的我，从Java编程开始学起，目前已经进入了大数据的入门课程阶段。
光环大数据的课程安排十分合理，不同科目的讲师风格各异，授课方式十分有趣，教学内容都可以轻松记下来。
光环大数据还安排了充足的自习时间，让我们充分消化知识点，全程都有讲师、助教陪同，有疑问随时就可以得到解答，让我的学习特别高效。
阶段性的测试让我能够充分认识到自己的学习漏洞，讲师也会根据我们测试反映的情况对课程进行调整。
光环大数据还专门设置了大数据实验室，我们每天学习时均使用了真实的大数据环境，让我们真正体会到了大数据之美。
在光环大数据的大数据学习时间还要持续3个月左右，我会及时分享我在光环大数据的大数据培训学习心得体会，为想要学习大数据的同学提供帮助。
为什么大家选择光环大数据！大数据培训、人工智能培训、培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据领域具有多年经验的讲师，提高教学的整体质量与教学水准。
大数据学习手册_光环大数据培训
大数据学习手册_光环大数据培训大数据学习手册，大数据时代是信息化社会发展必然趋势，我们只有紧紧跟随时代发展的潮流，在技术上、制度上、价值观念上做出迅速调整并牢牢跟进，才能在接下来新一轮的竞争中摆脱受制于人的弱势境地，才能把握发展的方向。
了解了“大数据”的“大”之后我们也该了解它所具有的巨大价值。
就目前来说“大数据”的来源主要还是互联网，来自互联网上的大多数不被重视信息都是具有巨大开发价值的，其具有巨“大”的商业价值，我们所缺少的只是一些数据分析等手段。
例如：在如今，网购已经成为了一种风潮，网上也涌现了以淘宝、京东、亚马逊等一系列的购物网站。
而在这些网站之中，顾客的浏览记录，购买记录等等都是一些巨大商业价值的信息。
借鉴“塔吉特”的先例，我们可以利用“大数据”技术收集分析，就可预测需求、供给和顾客习惯等，做到精准采购、精准投放，达到利益放大的效果。
从全球范围来看，很多人都把2012年看做是大数据时代的元年。
在这一年里，很多行业在大数据方面的管理、规划和应用已经觉醒。
电商、金融、电信等行业数据有着长期的数据积累。
事实上，很多互联网公司，例如亚马逊、google、腾讯，更愿意将自己定位为数据企业。
因为信息时代，数据成为经营决策的强有力依据，给企业带来了发展和引领行业的机遇。
银行也同样拥有丰富的数据矿藏，不仅存储处理了大量结构化的账务数据，而且随着银行渠道快速渗透到社交网络、移动端等媒介，海量的非结构化数据也在等待被收集和分析。
未来的金融业将更多地受到科技创新力的驱动，也越来越倾向于零售营销：对于金融业来说，大数据意味着巨大的商机，可强化客户体验，提高客户忠诚度。
大数据技术的发展带来企业经营决策模式的转变，驱动着行业变革，衍生出新的商机和发展契机。
驾驭大数据的能力已被证实为领军企业的核心竞争力，这种能力能够帮助企业打破数据边界，绘制企业运营全景视图，做出最优的商业决策和发展战略。
金融行业在大数据浪潮中，要以大数据平台建设为基础，夯实大数据的收集、存储、处理能力；重点推进大数据人才的梯队建设，打造专业、高效、灵活的大数据分析团队；不断提升企业智商，挖掘海量数据的商业价值，从而在数据新浪潮的变革中拔得头筹，赢得先机。
你包围在数据圈之中_光环大数据培训
你包围在数据圈之中_光环大数据培训不管人们是否相信，数据化时代已经到来。
人们的生活圈，到处都充斥着数据化的轨迹，无论你是浏览网页，还是进行网上购物，亦或是到ATM机取款和去酒店登记入住等等，这些看似比较常规的举动，都将人们的生活包围在“数据圈”之中，在不知情或者没有意识到的情况下，个人的相关数据会被主动记录，每个人都间接或直接地，成了大量数据的贡献者。
“一切都被记录，一切都被分析。
”这已经成为典型的数据化时代特征。
人们的生活圈、交际圈、朋友圈，数据化的轨迹越来越明显。
不可否认的是，置身于数据化时代，人们走到哪儿，哪儿就有数据的出现，个人的姓名、性别、联系方式等结构化数据会被记录下来，慢慢地形成了“数据生活圈”。
这几年，贵州大数据作为基础性资源，发展得风生水起，已于不知不觉中渗透到生活的各个领域，逐渐改变了人们的消费观念和生活状态，成为推动各行业“转型”的重要力量之一。
一些领域依托大数据创新商业模式，用新思路、新方法、新措施实现融合发展，将大数据用于解决交通、教育、医疗等公共问题，并且已经开发好、运用好、管理好这种数据资源，为人们带来“数据福利”。
现如今，大数据作为贵州“三大战略行动”主抓项目之一，已然成为一张靓丽“名片”。
在实际生活中，数据慢慢被记录，之后被深入分析、研究和挖掘，形成了数据生活圈”越来越大，并逐渐扩展到多个领域，孕育出一条有形的产业链，促进贵州在数据资源管理与共享开放、数据中心整合、数据资源应用、数据要素流通、大数据产业集聚、大数据国际合作、大数据制度创新等七个方面开展国家大数据试验探索。
毋庸置疑，贵州发展大数据，交通大数据、金融大数据、政府大数据等一批新型业态兴起，大数据与云计算、物联网等新技术相结合，正在迅速并日益改变人们的生产生活方式。
贵州是大数据产业发展的重要聚集地，拥有海量数据资源，发展大数据产业空间无限。
可以想象，在不久的将来，人们的生活中无时无刻都会充满数据的身影，大数据产业链将渗透到生活的各个领域，必将成为社会发展进步的巨大推动力，让人类社会逐渐走向数据经济时代。
光环大数据数据分析培训 数据分析的基本方法论
光环大数据数据分析培训数据分析的基本方法论在目前讲解数据分析的文章里，大多数会忽略数据分析本身的目的。
这会导致我们在执行时，会出现动作变形的情况。
以终为始，才能保证不会跑偏。
个人的理解上，数据分析是为了能以量化的方式来分析业务问题并得出结论。
其中有两个重点词语：量化和业务。
首先讲下量化。
量化是为了统一认知，并且确保路径可回溯，可复制。
统一认知后，才能保证不同层级，不同部门的人在平等话语权和同一个方向的背景下进行讨论和协作，才能避免公司内的人以「我感觉」「我猜测」来猜测当前业务的情况。
路径可回溯可复制指的是，通过量化后的结果，许多优化的方法是可以被找到原因并且可以被复制的。
同样是转化率优化，用A方案和B方案，谁的效果会比较好和具体好多少，都是可被预测的。
要想做到量化，需要做到三点：建立量化体系，明确量化重点和保证数据准确性。
1.1建立量化体系建立量化体系，主要是根据「指标设计方法」，设计业务的「核心指标+拆解指标+业务指标」，最后落地成全公司通用的「指标字典」和「维度字典」。
这种工作一般是由数据分析师或数据PM来担任完成。
通过这种方式，我们就能初步建立面向全公司全面而系统的量化分析框架，保证日常分析可以做到「逐层拆解，不重不漏」。
1.1.1指标设计方法讲到指标设计方法，大家可能觉得，之前听过了产品设计方法，程序开发方法，指标这种东西也有设计方法么？确实有，指标设计是一套以准确和易懂为准则，集合统计学和业务效果的方法论。
准确是指能够准确满足衡量目的，易懂是指标算法能直观显示好与坏，并且指标的算法也能够通俗易懂。
这两者很多时候需要有所抉择，准确是第一位的。
举个例子：当我们想衡量一个群体收入的差异性时，用方差还是用基尼系数？方差好懂，但不能显示两个极端的差异性多大。
基尼系数算法不好懂，但能准确描述这个问题。
具体到指标设计，我们需要使用一些常用的统计学工具：以顾客质量分析为例：概况是我们看下顾客的平均支付金额，或者支付中位数，来了解顾客概况。
光环大数据的人工智能培训_光环大数据人工智能培训课程有哪些内容
光环大数据的人工智能培训_光环大数据人工智能培训课程有哪些内容光环大数据人工智能培训课程有哪些内容？随着人工智能技术在个人财务管理、公共记录、客户体验以及学习新事物等平台的发展，这种行业转移将变得更加普遍。
人工智能工程师和开发人员将致力于打造由算法驱动的人工智能，人工智能的发展会越来越好，因此参加人工智能培训课程进而转行人工智能行业是非常好的时机。
光环大数据人工智能培训课程有哪些内容？课程一阶段PythonWeb学习内容：PythonWeb内容实战学习目标：掌握HTML与CSS基础与核心、JavaScript原生开发，jQuery框架、XML与AJAX 技术完成项目：大型网站设计项目、京东电商网站项目、JS原生特效编写实战。
课程二阶段PythonLinux学习内容：PythonLinux实战开发学习目标：熟练Linux安装与管理、熟练使用Shell核心编程，掌握服务器配置与管理。
完成项目：ERP员工管理系统开发、图书管理系统开发、数据库系统调优。
课程三阶段文件与数据库学习内容：文件与数据库实战开发学习目标：熟练掌握Python各类操作，熟练掌握数据库语法与函数编程，及大数据库解决方案完成项目：权限系统数据库设计、日志系统数据库设计、综合系统数据库设计。
课程四阶段Python基础学习内容：Python基础实战开发学习目标：熟练掌握Python基础开发，掌握函数与控制、Python数据库开发。
完成项目：设计高级石头剪刀布游戏、计算器程序设计开发。
课程五阶段Python进阶开发学习内容：Python进阶实战开发学习目标：熟练使用经典开发与爬虫设计，熟练掌握买面向对性开发及并发原理。
完成项目：智能电子购物车项目、异步即时聊天室项目、Python超级爬虫编写。
课程六阶段Django编程开发学习内容：Django编程实战开发学习目标：熟练掌握Django框架设计、了解Django工作机制、熟练应用Django框架。
什么是大数据_光环大数据培训
什么是大数据_光环大数据培训分析大量数据只是使大数据与以前的数据分析不同的部分原因之一。
让我们来从下面三个方面看看。
我们每天都在吃饭，睡觉，工作，玩耍，与此同时产生大量的数据。
根据IBM调研的说法，人类每天生成2.5亿(250亿)字节的数据。
这相当于一堆DVD 数据从地球到月球的距离，涵盖我们发送的文本、上传的照片、各类传感器数据、设备与设备之间的通信的所有信息等。
这也就是为什么“大数据”成为如此常见的流行词的一个重要原因。
简单地说，当人们谈论大数据时，他们指的是获取大量数据的能力，分析它，并将其转化为有用的东西。
大数据1.确切的说，什么是大数据?当然，大数据还远远不止这些?·通常从多个来源获取大量数据·不仅仅是大量的数据，而且是不同类型的数据，同时也有多种数据，以及随时间变化的数据，这些数据不需要转换成特定的格式或一致性。
·以一种方式分析数据，允许对相同的数据池进行分析，从而实现不同的目的·尽快实现所有这一切。
在早些时候，这个行业提出了一个缩略词来描述这四个方面中的三个:VVV，体积(数量巨大)，多样性(不同类型的数据和数据随时间变化的事实)和周转率(速度)。
2. 大数据与数据仓库：VVV的缩写词所忽略的是数据不需要永久更改(转换)的关键概念——进行分析。
这种非破坏性分析意味着，组织可以分析相同的数据连接池以不同的目的，并可以收集到不同目的的来源分析数据。
(备注：数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个;释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。
这项技术能明显提高对数据库操作的性能。
)相比之下，数据仓库是专门为特定目的分析特定数据，数据结构化并转换为特定格式，原始数据在该过程中基本上被销毁，用于特定目的，而不是其他被称为提取，转换和加载(ETL)。
大数据学习_光环大数据大数据厉害了
O大数据学习_光环大数据大数据厉害了随着信息技术的飞速发展，各领域的数据量都在爆发式增长，尤其在云计算、物联网、移动互联网等IT技术得到广泛应用之后，数据的增长实现了从量变到质变的转型，大数据如浪潮般席卷而来，人类社会进入大数据时代。
大数据不仅仅只是一次颠覆性的技术革命，更是一场思维方式、行为模式与治理理念的全方位变革，尤其在政府治理领域，大数据带来了巨大的变革潜力和创新空间。
在“全面深化改革，推进国家治理体系和治理能力现代化”的时代背景下，应充分重视大数据在政府治理中的重要价值，牢牢抓住大数据为政府治理提供的创新机遇，光环大数据一直关注大数据发展趋势。
光环大数据专注于为广大大学生和职场人士提供大数据技术的培养，与数百家一线知名企业签订用人协议，保障学员高薪就业，并与高校共同制订大数据行业人才培养标准，光环大数据已然成为大数据行业的人才港湾。
优秀光环大数据教研团队1）大学生数据库课程，专业的Oracle工程师加上企业数据库实战项目，使大学的数据库课程设计真正实战化;2）为大学生毕业设计提供全面指导，对于有志于从事数据库领域的大学生，光环大数据工程师可为其量身定制、提供专业的指导方案;3）为大学数据库课程研发工作提供咨询、培训、经典项目案例，并与其合作共同开发教材;4）为大学数据库部分课程指派讲师，让大学生在校内提前接触到企业的项目案例并接受一线的工程师的指导; O 5）在大学建设“光环大数据Oracle数据库实验室”，与大学院校共同培养专业人才;6）为大学在校生提供企业实践机会，光环大数据将企业真实的项目案例和实战环境通过实践等方式让学生亲身体会、轻松掌握。
光环大数据课程分析1）严苛的考核制度，随学随练，及时掌握。
2）课程模块化，不同讲师负责不同模块，术业有专攻。
3）紧跟市场需求，课程及时更新。
4）与校企深度合作，强强联手，参与制定高校专业课程。
5）内容全，技术深，实战性强。
光环大数据面向的是全社会的人才培养，只要你有意愿学习大数据，光环大数据都会尽最大努力教授你。
光环大数据培训 实现服务器数据采集脚本技术点总结_光环大数据培训
光环大数据培训实现服务器数据采集脚本技术点总结_光环大数据培训光环大数据大数据培训机构，一、从别的目录导入模块的两种方式方式一、sys.path.append(“想要导入的文件的存放目录”)import 模块名方式二、在文件夹建立一个空文件__init__.py文件，使文件夹变为一个包；然后使用os模块调整此文件所在的路径，使其在所要访问的包的上一级目录12BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.append(BASE_DIR)然后就可以导入所想要导入的模块了二、python操作mysql数据库1import MySQLdb1、对数据库执行增、删、改操作1234567891011def exec_curr(sql):try:#打开数据库连接cnn=MySQLdb.connect(host=host,port=port,user=db_user,passwd=db_passwd ,charset='utf8',db=db)#使用cursor()方法获取操作游标cur=cnn.cursor()#使用execute方法执行SQL语句 cur.execute(sql)mit()except MySQLdb.Error,e:print e2、对数据库执行查询操作12345678910111213defconnet_curr(host=host,port=port,db=db,db_user=db_user,db_passwd=db_pa sswd,sql="select ip from nosql_ip"):result=[]try:cnn=MySQLdb.connect(host=host,port=port,user=db_user,passwd=db_passwd ,charset='utf8',db=db)cur = cnn.cursor()cur.execute(sql)#获取所有记录列表rows=cur.fetchall()for row in rows:result.append(row) return resultexcept MySQLdb.Error,e:print e三、python的序列化和反序列化在做数据采集的时候，用到了公司其他部门同事做好的api，从api取到的数据为字符串格式，需要通过loads转换一下，成为字典格式以方便操作（当然，这里不转化为字典的话，可以使用操作字符串的方式进行操作，但使用字典方式更加方便和准确）1、可以使用pickle模块12pickle.dumps(dic)pickle.loads(byte_data)2、可以使用json模块（我这里用到的是json）12str = json.dumps(dic)dic_obj = json.loads(dic_str)四、操作字典的方式方法（字典是无序的，字典的key必须唯一）123456789101112131415161718假设字典为 info = {'staff1': "小明",'staff2': "小红",'staff3': "小李"}1、增加操作info['staff4'] = “小刘”2、修改操作info['staff3'] = "小樊"3、删除操作1）info.pop("staff1")2）del info['staff3']4、查询操作1）"staff2" in info2）info.get("staff2") 如果一个key不存在，只返回None 3）info["staff2"] 如果一个key不存在，就报错5、嵌套字典的查询只需要：字典名[ ][ ] . . .6、循环字典1）for key in info:print(key,info[key])2）for k,v in info.items(): #会先把dict转成listprint(k,v)五、通过ssh连接到其他服务器执行命令的方法1234567def ssh_execute_shell(host,command):ssh_shell = ( '''/usr/bin/ssh -n -i 跳板机的私钥地址 -p 26387-o ''''''StrictHostKeyChecking=no -o ConnectTimeout=2root@'%s' '''''' "%s" ''' % (host, command))p=subprocess.Popen(ssh_shell,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)out = municate()return out六、python的多进程1、多进程使用模块123456789from multiprocessing import Process import timedef f(name):time.sleep(2)print('hello', name)if __name__ == '__main__':p = Process(target=f, args=('process1',))p.start()p.join()2、由于进程间内存不共享，进程间共享数据的方式有以下几种Queues(消息队列)Pipes（管道）Managers3、进程池1234567891011from multiprocessing import Process,Pool import timedef Foo(i):time.sleep(2)return i+100pool = Pool(5)for i in range(10):pool.apply_async(func=Foo, args=(i,))#pool.apply(func=Foo, args=(i,))pool.close()pool.join()#进程池中进程执行完毕后再关闭，如果注释，那么程序直接关闭。
光环大数据培训_光环国际数据分析培训怎么样
光环大数据培训_光环国际数据分析培训怎么样光环国际数据分析培训怎么样？大数据时代，大数据发展的如火如荼，随着越来越多数据的产生，数据分析的作用就尤为重要了，在企业中数据分析对企业决策起着非常大的作用，参加数据分析培训是成功快速转行高薪岗位的捷径。
光环国际数据分析培训怎么样？光环大数据是专注大数据、人工智能垂直领域高薪就业培训机构，多年来专注大数据人才培养，携17年IT培训经验,与中关村软件园共同建立国家大数据人才培养基地,并与全球知名大厂商cloudera战略合作培养中国大数据高级人才，专注为大学生及在职人员提供专业师资平台及培训服务，助力他们高薪名企就业。
光环大数据讲师均为实战专家，具备10年以上软件开发培训经验，五年以上大数据实战经验，行业口碑好。
比如，杨老师，是前全球十大咨询公司ESG亚太区分析师，对云计算、大数据有深入研究，曾为IBM、DELL、HP、EMC等厂商提供产品测评报告，并为国内企业华为、联想、浪潮、曙光等企业的业务现状和发展方向提供战略咨询服务。
光环大数据只聘请精英讲师，确保教学的整体质量与教学水准，讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需，通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。
光环大数据，理论+实战相结合的教学方式，学员边学习边参加实战项目，既能展望2018年，大数据的技术发展与物联网、云计算、人工智能等新技术领域的联系将更加紧密，物联网的发展将极大提高数据的获取能力，云计算与人工智能将深刻地融入数据分析体系，融合创新将会不断地涌现和持续深入。
大数据时代，数据分析培训，就选光环大数据！为什么大家选择光环大数据！大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。
什么是数据科学家？数据库培训多久？光环大数据培训学校!
什么是数据科学家？数据库培训多久？光环大数据培训学校！数据科学是最近才火起来的，很多人对数据科学的概念不是很清晰，更不明白数据科学的具体内容。
时代在进步，不让自己跟紧时代步伐，必将被时代所抛弃。
光环大数据培训学校带领大家认识什么是数据科学家，想成为数据科学家，数据库培训多久可以入行。
数据科学家成为了一个跨学科职位。
将数据科学家定义为:能够独立处理数据，进行复杂建模，从中攫取商业价值，并拥有良好沟通汇报能力的人。
关于数据科学家这个岗位怎么来的，说法不一。
我自己的理解是随着机器学习和更多预测模型的发展，数据分析变得"大有可为"。
为了区分拥有建模能力的高端人才和普通商业分析师/数据分析师(data analyst)，数据科学家这个职位自然就产生了。
通过这个新岗位，行业可以与时俱进的吸收高端人才。
在机器学习没有大行其道，也没有大数据支撑之前，这个岗位更贴近统计科学家(statistician)，和研究科学家(research scientist)也有一点点相似。
对于科学家，我们的一般的定义是在特定领域有深入研究的人，因此潜台词一般是“拥有博士学位的人”。
而数据科学家的基本要求是硕士以上学历，甚至有时候本科学历也会被接受，而且似乎数据科学家的工作并不会在特定领域有深度。
那么数据科学家是否言过其实了？我的看法是：不，数据科学家的“广度"就是其"深度"。
从另外一个角度来看，数据科学家的优势在于其优秀的跨领域技能，既可以抓取数据，也可以分析，进行建模，还能将有用的信息用抓人的眼球提供给决策层。
能拥有这样解决问题能力的人，似乎并不愧对一声“科学家”。
而正因为数据分析更要求的广度而不是深度，所有现在只有纽约大学提供科学博士，而现在大部分从业的博士都是统计学/计算机/数学/物理背景。
正是这个原因，这个行业对于数据科学家的要求是硕士及以上，而计算机或者统计的人更适合的原因是其在机器学习/统计学习方面的积累，其他所需技能可以以很低的代价赶上。
数据库测试不可或缺_光环大数据培训
数据库测试不可或缺_光环大数据培训光环大数据培训机构，有许多关于测试驱动开发（Test-Driven Development，缩写为TDD）的书籍。
那些书通常关注的是将测试应用于工作单元（units of work）。
对于工作单元的理解有许多种不同的方式，通常它表示一个类（class）。
正如那些书中所言：编写许多测试，以使那些测试都能通过的方式创建代码。
应模拟所有的外部资源，以便你可以只测试这个单元。
这很酷，但不幸的是所有的测试在此刻停止了。
因为通常会有些没被测到的查询（手写的或者是由某些ORM工具生成的）。
有些程序员使用集成测试来测试那些查询——连接到一个真实的数据库并执行真实的查询来进行测试。
这种做法通常意味着在测试快乐路径（happy path）——我已经有了ORM工具，所以它会搞定每件事，我无须费心。
数据库通常是一家公司最有价值的资产。
应用程序可以一遍一遍重写。
旧的应用程序扔出去，新的应用程序装进来。
但是更换应用程序时没人会丢弃满载数据的数据库。
而是将数据库小心翼翼地迁移过去。
位于多个系统中的许多不同的应用程序会在同一时刻使用同一数据库。
这就是为什么拥有充满约束的良好数据库模型是如此重要、以及为什么应谨慎对待数据库的原因。
你真的不想破坏数据一致性（consistency），因为这会使你的公司付出高昂的代价。
本文是关于经常被遗忘的数据库测试的。
使用真实数据进行集成测试。
实际上，它与你所使用的数据库引擎的类型无关紧要。
你可以使用PostgreSQL、MySQL、Oracle，或者甚至使用那些有趣的noSQL数据库，例如MongoDB。
以下规则可适用于各种数据库和各类应用程序。
也许不是全部，例如noSQL数据库就无法强制实施数据完整性（integrity）。
你的应用程序通常是由许多不同的部件组成的。
其中有一些<将任何你喜欢的语言放在这里>代码，一些配置文件，一些SQL查询，一些外部系统。
光环大数据培训告诉你数据人的必备技能
光环大数据培训告诉你数据人的必备技能根据数据应用的不同阶段，我将从数据底层到最后应用，来谈谈那些数据人的必备技能。
1、大数据平台目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。
目前很多企业都把数据采集下来了，对于传统的业务数据，用传统的数据是完全够用的，可是对于用户行为和点击行为这些数据或者很多非结构化的数据，文本、图像和文本类的，由于数据量太大，很多公司都不知道怎么进行存储。
这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾、平台稳定、可用是需要重点考虑的。
我的感觉是：最近两三年中，这块人才还是很稀缺的，因为大数据概念炒作的这么厉害，很多企业都被忽悠说，我们也来开始进入大数据行业吧。
进入的前提之一就是需要把数据存储下来，特别是很多用户行为方面的数据，对于业务的提升比较明显的，如果你能很好的刻画用户，那么对你的产品设计、市场营销、开发市场都是有帮助的。
现阶段，很多公司都要做第一步：存储更多的数据。
这也是这块人员流动性比较高的原因，都被高薪挖走了。
和传统的SQL不同的是，针对大数据量的非结构式数据，我们所想的就是：用最廉价的成本存储数据同时能够达到容灾、扩展性高、高性能、跨域，从目前来看，分布式已经被证明是个很好的一个方式。
另外，云端会是个很好的方向，不是每个公司都养得起这么多这么贵的大数据平台开发人员和运维人员OPS，从事这个行业的我们要有很好的危机意识，及时贡献出自己的价值，积极主动的学习新技术、否则就可能被淘汰了。
此外，花点钱把数据托管给云服务提供商是对于创业公司或者一些传统的企业来说是个很好的思路，这样能够最快速的确定数据对你的价值是什么，而不用采购这么多的服务器、雇佣这么多的运维人员和网站开发人员。
说了以上这些，主要是想给未来会从事这块的人或者想存储数据的公司一点方向。
大数据分析培训_大数据分析之元数据_光环大数据培训
大数据分析培训_大数据分析之元数据_光环大数据培训光环大数据的数据分析培训，是国内非常专业的培训课程，讲师均为实战专家，具备10年以上软件开发培训经验，五年以上大数据实战经验，行业口碑好。
比如，杨老师，是前全球十大咨询公司ESG亚太区分析师，对云计算、大数据有深入研究，曾为IBM、DELL、HP、EMC等厂商提供产品测评报告，并为国内企业华为、联想、浪潮、曙光等企业的业务现状和发展方向提供战略咨询服务。
大数据+时代，数据分析培训，就选光环大数据！数据现在是非常重要的一种东西，其用处之大以至于被很多巨头公司视为战略核心资源。
大数据是数据作用体现的一种形式。
其实元数据也是，只是很多外行人员并不清楚。
今天来简单讲述下。
什么是元数据元数据是一个咱们必须首要了解的概念。
其实概念很简单，就是一个对数据自身进行描绘的数据。
简单点说，就是你想上网网购，买一件衣服，那么衣服就是数据，而你挑选你想要的衣服所介意的色彩、尺寸、做工、样式等等就是它的元数据。
你平常玩游戏的时候，判别一件配备是否强力，配备上显现的力气、灵敏、智力等等一系列的信息，这些也是元数据，他们的效果就是给你判别这个配备数据给你所带来的感觉，而配备自身这个数据却不是你选择的要害，由于其他的配备也是数据，但你是靠元数据去选择和判别的。
就像碰到一个只见过一面的人，但你对他有必定的形象，那么这个形象就是这个人的一个元数据。
在蜜蜂帮帮中，也是经过类似于元数据这种细分化的数据形象方式，来达成一个服务所能给特定的人群带来优质体会的，因而经过渠道对用户的一个大数据分析然后达到严选的精准匹配。
元数据的价值元数据的价值十分的大，咱们日常的日子遇到的人或事根本都是经过元数据去进行一个判别。
它的两个价值：一是能从旁边面描绘目标;二是能够做到结构化和信息化。
举个比如，咱们要判别一幅画值不值钱，除了找专家判定，还能够经过元数据来判别。
比如，这幅画是名家的仍是二流画家的?这幅画是画家鼎盛时期的著作，仍是年轻时的著作?这幅画是不是画家拿手的范畴?经过这些信息，咱们大概也能估量出这幅画的价值，尽管可能有差错，但这种办法是很科学的。
大数据学习_光环大数据上课环境_光环大数据培训
O 大数据学习_光环大数据上课环境_光环大数据培训学习环境对人的影响非常大，好的学习环境可以让人潜心学习，扎实掌握技术技能。
光环大数据为了学员更好的学习，给学员提供了良好的学习环境，采取了严谨科学的教学模式。
1.学习的过程中，老师的责任感爆棚，不仅尽心教授课程知识，并且还会把学习技巧传授给你。
同时学生学习劲头十足，学习态度积极，在学习上互相沟通交流。
老师讲的每一节课都十分的生动和有趣，大家一起互动，一起做小的项目，课堂气氛也非常的好，觉得敲着代码去完成一件事是非常有成就感并且非常的有意思。
在学习的过程中，学生们也会有学习压力比较大的时候，这个时候老师会带大家一起出去玩，放松大家的心情，让大家以最好的心态继续学习。
2.光环大数据师资力量强大，均是名师大咖，具备多年以上软件开发培训经验，具有大数据实战经验。
光环大数据教学模式科学，光环大数据实战授课，每个阶段都是知识和实战项目结合，从简单到专业带领学生走进大数据工程师道路。
光环大数据实验室，采用高配置的大数据实验服务器，为学生搭建学习大数据的环境，满足学员课程学习、上机实验、项目实训、科研训练、交流共享等多方面需求。
学生项目答辩3.除了日常授课、自习课留班答疑外，磨据讲师还经常在微博上与学员互动，解答学员关于课程、考试、学习的问题，那么认真负责，爱岗敬业的讲师们让人不得不服。
很多学员表示，在光环大数据学习了一段时间，觉得收获很多，有良师益友，遇到不会的难点可以随时和讲师或者同学交流沟通。
课后讲师还会布置练习题，帮助学员巩固知识点，让学员彻底吸收，能融会贯通。
O4.技术专家项目分模块教学：讲师专家讲授项目案例、自主团队产品研发、学生项目答辩等。
在案例教学的基础上，引入了项目实战环节，学生可以通过模拟企业实战的教学环节，体会到企业真实开发的全貌。
通过实战不仅能够提高学员的企业实战能力，而且还可以培养团队协同作战的能力。
为什么大家选择光环大数据！大数据培训、人工智能培训、培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据领域具有多年经验的讲师，提高教学的整体质量与教学水准。
光环大数据告诉你大数据工作的正确打开姿势_光环大数据培训
光环大数据告诉你大数据工作的正确打开姿势_光环大数据培训光环大数据培训是专注大数据、人工智能垂直领域高薪就业培训机构，多年来专注大数据、人工智能人才培养，携17年IT培训经验,与中关村软件园共同建立国家大数据人才培养基地,并与全球知名大厂商cloudera战略合作培养中国大数据高级人才，专注为大学生及在职人员提供专业师资平台及培训服务，助力他们高薪名企就业。
“运用大数据战略实践的关键问题不是数据规模或高精尖技术，而是如何利用数据迅速产生价值，如何用数据改变企业的经营管理方式。
企业越早从数据中洞察事实，并据此快速做出行动越早受益。
最近跟一家著名互联网企业的首席架构师讨论起了数据的话题，得知其正为数据迅速膨胀却无法很快产生价值而发愁。
若不能产生价值，很难维持这样的运作模式”。
十分认同这个观点，回顾一年来实施公司大数据战略中的实践，关键问题的确不是数据的大小，而是如何利用数据迅速产生价值。
一、用数据为经营管理提供帮助大多数传统企业习惯于依靠经验凭直觉分析经营管理中的具体问题，提出相关解决思路并安排改进措施，然后再重复这个循环。
这种工作方法在过去也曾经十分有效，特别是在企业问题比较明显的情况下，能够快速反应做出调整并取得成效。
这种企业的经营管理方式类似骑自行车，凭经验直觉就可以安全地前进了。
信息化时代市场竞争进一步加剧，企业的运作越来越复杂，充满了各种风险和不确定性，企业核心能力的主要差异越来越体现在各个细节之中。
企业需要快速且驶。
互联网时代下，数据收集更为方便，数据更能够反映企业的具体运营细节状况，相当于可以建立企业经营的驾驶仪表盘。
若仍依靠定性和数据统计简单分析，凭经验大致判断问题形成改进方案的做法，没有客观的评价基准，无法准确判断问题程度和改进效果，不能让参与各方形成统一的共识，难以在现代市场竞争中取得优势地位。
必须引入量化分析管理的方法，通过数据从具体细节中发现衡量问题，协同各方实施有针对性的优化措施。
菜鸟学数据分析_光环大数据培训
菜鸟学数据分析_光环大数据培训
无论是产品经理，还是产品运营，数据分析都是每个产品汪/运营瞄必备技能。
这篇读书笔记之前是存到Evernote的，现重新归纳共享。
相信这本书很多人都已经看过了，看过的朋友就当回忆了~没有看过的朋友牢记，对于数据分析方面来讲，这些内容用来打基础还是很有帮助的~ 数据分析三字经：
1.学习：先了解，后深入;先记录，后记忆;先理论，后实践;先模仿，后创新;
2.方法：先思路，后方法;先框架，后细化;先方法，后工具;先思考，后动手;
3.分析：先业务，后数据;先假设，后验证;先总体，后局部;先总结，后建议。
为什么大家选择光环大数据！
大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。
讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。
通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。
【报名方式、详情咨询】
光环大数据官方网站报名：/
手机报名链接：http:// /mobile/。
大数据经典手册_光环大数据培训
大数据经典手册_光环大数据培训大数据经典手册，大数据学习不是一朝一夕就能完成的，最重要的就是要坚持，同时也要好学。
如果学习自控能力不足，还是早点报大数据培训班吧。
给大家介绍一下学习大数据的步骤。
1. 理解数据：单纯的、没有任何背景的数据是没有意义的，也容易让人误解。
数据需要有具体的背景才能说明问题。
数据就像是一种颜色，需要有一个具体的外观才能证明它的存在。
以红色为例，它需要一些具体的外观才能让我们看到，比如红色的汽车、红色的围巾、红色的领带、红色的鞋子或任何红色的东西。
同理，数据也需要和它的环境、内容、模型、方法以及它产生、发生、使用、修改、执行和终止的整个生命周期结合在一起。
我还没发现一个数据科学家和我谈数据的时候不提及像Hadoop、NoSQL、Tableau的技术或其它老牌供应商与流行语。
你需要与你的数据建立亲密的关系，你需要彻底地了解它。
问他人“你的”数据为何出现异常就像是问自己的妻子怀了谁的孩子一样荒谬。
我们在与联合国的合作以及确保学校远离爆炸的相关软件中具备一个独有的优势是：对底层数据的控制力。
当全世界在使用统计图表讨论这些数据时，我们是那些回家体验数据的人，让它融入我们的日常生活，这些数据的价值、细节和增值，是我们不能在其它地方找到的。
对于其它的项目和客户，我们也是同样对待的。
2. 理解数据科学家：不幸的是，“数据科学家”恰好是数据科学这个领域中最容易使人困惑和被误用的词之一。
有人将其联想为知晓世间所有事情的神秘预言家；有人认为他们仅仅是统计学家；少数人认为他们只是一些熟悉Hadoop 和 NoSQL的人；还有人认为他们就是一些会做简单测试或是在管理会议中使用很多晦涩难懂的数学和统计学术语的人。
甚至于，某些人眼中的可视化控制面板，在另一些人看来只是永无止境的ETL（Extract-Transform-Load，数据仓库技术）过程。
在我看来，数据科学家是一类比数据创造者少一些对科学的理解，比数据生成者少一点对数据的理解的人，而他们恰恰是知道如何把这两部分工作融会贯通的人。
大数据入门指南_光环大数据培训
大数据入门指南_光环大数据培训光环大数据数据分析师培训机构了解到，一段经历，一点心得一直追我博客的人想必是清楚我之前做交互设计，然后去轮岗过行业运营，然后突然就开始做产品经理了。
我也觉得奇怪的是，上次发了一个招聘启事后，来加我微信的同学们，既有做交互的，也有做产品经理的，甚至还有在IBM做了5年BI数据分析师的……这样看来，我的博客逐渐成了一个交叉学科。
简单来说，也差不多如上图所示。
当时是一个新业务开拓，仅仅4个月的轮岗（非正式的轮岗，当时就是老大给了各个部门体验其他团队工作的机会，但是组织架构可以在轮岗结束后再恢复原岗位），结果成了职业历程上的分水岭。
为什么呢？行业运营除了日常的商家管理、活动策划以及选品外，当时的商业模式还需要我们介入整体的供应链管理。
而虽然当时身处家居行业，供应链管理却是在不同行业之间有较大的共通性。
所以后来又成立了一个横向的部门——供应链管理。
于是从垂直行业里调出的部分同学加入这个横向部门。
而供应链管理，离不开大量的数据分析工作，供应链整体效能如何？需要和BI部门通力合作，所以供应链管理部门合并到了BI部门。
于是我就“随波逐流”地成了BI部门的一员——虽然我们并不做具体的数据分析，更多是向分析师提需求。
再后来，供应链整体效能的数据统计和分析，是靠分析师们每天出手工报表和报告发送给各部门管理人员的。
发了一段时间后，分析师苦不堪言，接收方也过于被动，当他在邮件里看到某个数据异常时，无法自己主动地进行探索钻取，所以自然而然有了将供应链报告“产品化”的需求。
要求：短、平、快。
资源：极少。
没有设计师、PD、以及充足的开发人员支持。
原因很正常：大部分人都投入到了业务系统建设中（彼时，供应链管理系统、物流管理系统、认证系统、以及前台都处于开荒建设阶段）。
所以，因为我做过交互设计——会画DEMO；和PD接触时间长——多少知道PRD怎么写；又给分析师提过需求——知道数据大概怎么回事……所以，我就“随波逐流”成了数据产品的产品经理。
数据库健康检查
数据库健康检查引言概述：数据库是现代信息系统的核心组成部份，对于保证系统的正常运行和数据的安全性至关重要。
因此，定期进行数据库健康检查是必不可少的。
本文将介绍数据库健康检查的重要性，并详细阐述数据库健康检查的五个关键部份。
一、性能检查1.1 查询性能检查：检查数据库查询语句的执行效率，包括查询响应时间、索引使用情况、查询计划等，以确保查询操作的高效性。
1.2 事务性能检查：检查数据库事务的执行效率，包括事务提交时间、锁定机制、并发控制等，以保证事务操作的一致性和并发性。
1.3 缓存性能检查：检查数据库缓存的使用情况，包括缓存命中率、缓存大小、缓存策略等，以提升数据库的读取性能和响应速度。
二、安全检查2.1 用户权限检查：检查数据库用户的权限设置，包括用户的读写权限、表级权限、列级权限等，以确保数据的安全性和隐私保护。
2.2 数据备份检查：检查数据库备份策略和备份文件的完整性，包括备份频率、备份恢复测试等，以保证数据的可靠性和可恢复性。
2.3 日志审计检查：检查数据库日志的审计设置，包括日志记录的内容、日志保留时间、日志监控等，以追踪和分析数据库的安全事件。
三、容量检查3.1 数据库大小检查：检查数据库的物理大小和逻辑大小，包括数据文件、日志文件、索引文件等，以评估数据库的容量使用情况。
3.2 表空间使用检查：检查数据库表空间的使用情况，包括表空间大小、表空间碎片、表空间扩展等，以优化数据库的存储空间。
3.3 磁盘空间检查：检查数据库所在服务器的磁盘空间使用情况，包括磁盘剩余空间、磁盘读写速度等，以保证数据库的正常运行。
四、一致性检查4.1 数据一致性检查：检查数据库中数据的一致性，包括主键约束、外键约束、惟一性约束等，以确保数据的完整性和准确性。
4.2 索引一致性检查：检查数据库索引的一致性，包括索引的完整性、重复索引、无效索引等，以提升数据库的查询性能。
4.3 数据库结构一致性检查：检查数据库表结构的一致性，包括表的字段、数据类型、约束等，以避免数据冗余和错误。
光环大数据培训官网 大数据产业需更加注重行业应用
光环大数据培训官网大数据产业需更加注重行业应用光环大数据培训了解到，光环大数据培训官网，大数据产业需更加注重行业应用。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。
换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
党的十九大报告强调，加快建设制造强国，加快发展先进制造业，推动互联网、大数据、人工智能和实体经济深度融合，在中高端消费、创新引领、绿色低碳、共享经济、现代供应链、人力资本服务等领域培育新增长点，形成新动能。
对此，中国信息通信研究院云计算与大数据研究所副所长何宝宏表示，近年来，在国家政策推动和各界的共同努力下，我国大数据行业发展呈现良好势头，无论是在大数据基础设施建设，以及大数据的采集、处理、存储、通信、管理、风险、挖掘、展现、应用和安全等技术都取得了不小的进展。
此次十九大报告在为全党全国人民吹响了决胜全面建成小康社会号角的同时，也给大数据发展指明了新的发展方向。
据工信部公开数据显示，目前我国互联网网民数量达到7.1亿，移动电话用户达到13.8亿，其中4G用户总数达到9.3亿，均居全球第一。
“在网络建设以及IT技术的进一步支撑下，大数据领域关键技术取得新突破，大数据软硬件自主数据创新企业和创新模式。
”何宝宏说。
“如在电信、互联网、交通、金融、工业、农业、医疗等行业领域应用不断地深化，正在极大地改善着人们的生产、生活方式。
”不过何宝宏也指出，目前大数据行业已与前几年不同，已进入了一个发展的平稳期，相较于前几年大数据产业遍地开花的局面，目前行业发展更理性，可以说泡沫期已过，更加注重行业的应用而非纯粹的技术。
“现在能存活下来的、规模在持续扩大的大数据企业一般都是在行业应用领域找到了合适的契合点。
”未来随着行业应用面的进一步扩大与加深，在此大背景下，数据也将成为关键的生产要素。
“数据资源是国家的基础性战略资源。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是时候该对你的数据库做一次全面体检啦_光环大数据培训光环大数据培训机构，数据库作为一个大型的并发存储系统，其内部设计极其复杂，开发者在使用数据库时，面临着可用性、可靠性、性能、安全、扩展性等多重挑战，这就使得数据库的使用具有较高的技术门槛。
一般大型团队都会雇佣专职的DBA来维护数据库的日常运行，指导开发者建立正确的使用姿势，但是对于一般的中小型团队，受限于人力成本，这种模式难以实现。
随着DevOps理念的流行，开发者开始更多的参与和承担数据库的运维工作，其中就包括对数据库的定期巡检。
对数据库定期进行健康检查是数据库日常维护的重要环节，通过检查数据库的各项运行指标，评估系统的运行风险，提前将风险消灭在摇篮中，能够有效提高数据库服务的质量，今天我们就来聊聊开发者如何对数据库进行健康检查。
数据库的健康检查涉及索引设计、容量规划、服务安全、参数配置、用户访问、集群复制6个方面。
索引设计合理的索引设计能够有效加速数据库的访问，提高查询的执行效率，减少用户查询对服务端的资源消耗。
但是不合理的、低效的、冗余的甚至无效的索引不仅无法起到加速查询的效果，反而会影响数据库的插入、更新性能，甚至是数据库的高可用方案能否生效。
主键索引缺失：由于MySQL默认存储引擎InnoDB（MySQL 5.6版本以上）使用的是聚簇索引表设计，这就要求所有的表必须包含一个主键，所有的数据记录按照主键次序构建B+树。
如果用户在创建表时显式指定主键，则数据库会使用用户指定的主键构建B+树，但是如果用户没有显式指定主键，同时也没有创建任何唯一键索引，InnoDB为了确保每张表至少包含一个主键，则默认会为用户生成一个“隐含主键”，该主键对用户不可见，甚至对于MySQL Server层的binlog也不可见。
binlog是连接MySQL主从复制节点的纽带，所有主节点的更新都是通过binlog 传递给从节点的，一旦binlog中没有更新记录的主键ID，这就会导致基于Row 格式的binlog在从节点执行时，无法唯一确定一条记录，只能通过全表扫描来进行匹配，大幅降低了从机的执行效率，造成复制延迟。
如果是高可用故障切换的从节点，会导致切换的时间大幅增加，甚至会导致高可用机制失效。
如果是实现读写分离的只读从节点，则会导致应用读到的数据可能是很久以前的旧数据。
所以我们建议使用InnoDB存储引擎的MySQL用户在创建表时，必须显式指定主键。
主键索引与业务相关：如果用户在创建表时指定的主键与业务相关，可能会被频繁的更新，这样会引起MySQL数据库的InnoDB存储引擎进行频繁的节点合并和分裂，造成大量额外的系统IO开销，影响数据库的插入和更新性能。
我们推荐开发者在创建表时指定与业务无关的自增字段作为主键，这样不仅会提高按时间序插入的性能（顺序写入硬盘），同时也可以提高按插入时间范围检索的查询效率。
冗余索引：如果一个索引涉及的字段属性包含另外一个索引涉及的字段属性，同时两个索引字段顺序一致，且两个索引的首字段属性相同，则可以认为涉及字段少的索引为冗余索引。
在MySQL 5.7推出sys库之前，我们可以通过percona 的工具pt-duplicate-key-checker来完成对冗余索引的检查，在MySQL 5.7中，我们可以通过sys库schema_redundant_indexes表来完成。
低效索引：索引的作用在于通过索引，查询能够扫描更少的记录。
数据库中的记录在索引字段区分度越高，扫描的记录数就越少，执行的效率就越高。
如果数据库表中的记录在索引字段区分度不大，索引对记录的筛选结果就不明显，索引就无法起到加速查询的作用。
通过数据库记录在索引字段的区分度，我们可以衡量索引的执行效率。
MySQL系统库mysql库下，innodb_index_stats表的stat_value字段，记录了某张表在某个索引的不同取值的记录个数，innodb_table_stats表的n_rows字段记录了某张表的总记录数，二者相除，即可得到数据库记录在某个索引的区分度，越接近1，表示区分度越高，低于0.1，则说明区分度较差，开发者应该重新评估SQL语句涉及的字段，选择区分度高的多个字段创建索引，通过运行下面的SQL语句，就可以计算每张表的索引区分度。
无效索引：如果一个索引始终无法被查询使用，它的存在只能增加数据库的维护开销，开发者应该及时删除这些索引。
通过MySQL 5.7 sys库schema_unused_indexes视图，可以查看当前实例哪些索引从没有被使用。
容量规划数据库的运行依赖计算、存储、网络等多种资源，通过对各种资源的使用情况分析，对资源进行合理的规划配置，是数据库稳定运行的必要条件。
CPU ：通常使用CPU利用率衡量CPU的繁忙程度，通过top命令，开发者可以查看CPU利用率实时变化。
CPU 利用率持续超过80%，预示计算资源已经接近饱和，如果开发者已经做过SQL优化，则需要使用更高配置的CPU。
通过查看7天内CPU利用率超过80%的时间占整体时间的百分比，以及单次持续时间超过一定阈值，则可视为CPU扩容的触发条件。
IO ：大部分数据库应用都是的IO Bound类型，IO 处理能力直接决定了数据库的性能。
IO 利用率统计了一秒内IO请求队列非空的时间比例，IO利用率越高就表示硬盘越繁忙。
但是IO 利用率100%并不表示系统已经无法处理更多的IO 请求。
IOPS和每秒IO字节数可以从存储设备的层次更准确的描述IO负载。
每一个存储设备都有IOPS和每秒IO字节数的上限，任意一个达到上限，就会成为IO处理能力的瓶颈，在传统机械硬盘中，随机IO主要受到IOPS的限制，顺序IO主要受带宽限制。
除此之外，我们还可以从应用的角度，使用一次IO请求的响应时间来描述IO负载，一次IO请求的响应时间包括其在队列中的等待时间和实际IO处理时间之和。
通过iostats开发者可以很方便的收集这些数据。
如果这些指标在一段时间内持续接近设定上限，则可以认为IO 过载，通过扩大内存，让更多的读写请求命中缓存可以缓解硬盘IO。
另外，使用更高配置的存储设备，例如固态硬盘，也可以大幅提高系统的IO处理能力。
存储空间：存储空间不足会导致严重的系统故障，数据库可能会宕机，更为严重的是数据库进程存活，但是无法响应服务，从而造成基于进程的宕机监控失效。
根据7天内数据库中存储数据的变化，我们可以按照一定的拟合算法，估算出未来3天内数据的增长情况，来判断实例是否存在存储空间不足的风险。
内存：使用InnoDB存储引擎的MySQL数据库在实例启动时，就会预分配一块固定大小的内存空间，所有读写请求都会在该空间中完成，如果内存中缓存了用户读写的数据，则直接读取内存，如果内存中没有用户读写的数据，则需要将数据先从硬盘中load进内存中，由于内存的读写速度远远快于硬盘，这就使得读写请求是否命中内存决定了读写请求的处理速度。
内存空间越大，缓存数据越多，命中的几率也就越大。
所以我们可以使用缓存命中率来衡量内存空间大小是否满足应用的需求。
在MySQL中，show engine innodb status 命令的Buffer pool hit rate可以度量近一段时间范围内Buffer pool的命中情况。
网络：网络带宽在数据库返回记录较多的情况下，也可能会成为系统的瓶颈。
一般我们使用每秒网络流入和流出字节数来衡量网络流量是否达到带宽限制。
在云环境下，每台虚拟机或者容器都是有一定的网络带宽配额，私有网络的配额相对比较大，公网配额与用户付费相关；使用iftop 可以查看当前系统的网络流量；服务安全弱密码：MySQL的登陆认证使用的是IP和账户密码的方式，很多开发者为了方便记忆，习惯将数据库密码设置为弱密码，这实际是非常危险的。
数据库中的数据很多涉及敏感业务，弱密码非常容易被破解，对数据库中的数据是一个严重安全隐患。
MySQL系统库mysql库下的user表的password字段保存了所有用户的密码，MySQL使用的是两次sha-1的不可逆加密算法，所以我们无法通过password字段获取用户的密码内容，但是我们可以通过将常见弱密码制成彩虹表，模拟MySQL的加密算法，匹配password字段，即可发现数据库中的弱密码账号。
网络安全：在一般的业务架构中，数据库都不会直接服务于终端用户，而是服务于运行业务逻辑的应用程序。
所以数据库和业务程序之间出于安全的考虑，会选择使用私有网络。
即便如此，为了避免数据库连错，也需要在设置数据库账号时，增加IP来源限制。
在一些特定的场景下，如果数据访问必须借助公网来实现，就会将数据库暴漏在公网上。
使用公网数据库实例，必须要配置防火墙，否则存在被攻击的隐患。
通过iptables我们可以控制访问数据库的来源IP。
权限检查：MySQL提供了多种权限配置，为了方便管理以及避免误操作，一般会将管理权限和访问权限配置成两个不同的账号，禁止使用管理权限作为业务程序访问数据库的账号。
通过系统库mysql库的user表可以确认各个账号拥有的权限，尽量避免业务账号拥有super权限；参数配置内存相关参数：MySQL数据库的内存使用包括两个部分：共享内存与连接独占内存。
每一个用户新建连接，数据库都要分配一块固定大小的内存空间保存用户的临时数据，这些空间为单个连接独占。
在MySQL实例启动时，系统同时也会预先分配一些实例级别的共享内存空间，例如Innodb_buffer_pool，Innodb_log_buffer_pool等，供所有连接共享。
独占内存空间乘以最大连接数加上共享内存空间，我们可以计算出MySQL最大可使用的内存空间，如果超过实际物理内存大小，就存在MySQL进程被Linux操作系统强行oom kill风险，导致实例宕机。
MySQL的这些内存空间都可以通过配置参数指定大小，如果超过实际内存空间，应该调整相应参数配置，最常见的是调整Innodb_buffer_pool和最大连接数。
频繁卡顿，如果设置过大，会导致数据库实例重启或者故障恢复花费大量的时间。
一般，对于使用固态硬盘等高配置的存储设备的数据库，可以将重做日志设置大一些，对于使用机械硬盘的数据库，应该设置小一些，一般在512M到4G之间。
innodb_flush_log_at_trx_commit定义了重做日志的刷新节奏，如果该参数非1，会导致数据库宕机重启后丢失部分更新数据，对于数据可靠性要求较高的应用造成严重影响。
二进制日志相关参数：binlog 主要用于MySQL集群复制以及故障恢复担任协调者的作用。
binlog_format定义了binlog的格式，主要包括ROW、STATEMENT、MIXED三种格式，ROW格式是最安全的一种日志格式，会保证主从数据的严格一致，建议开发者选用ROW格式。