基于Filebeat自动收集Kubernetes日志的分析系统

等技术 的不 断发展，数据也 愈发凸显重要，日志作为数 据 分析 的一大 来源 ，日志收集 分析 系统也 愈发 凸显重 要．但随着互 联网 、大数据等快 速发展，系统应用越来 越 复杂，规模越来越大，系统产生 的 日志 急剧增 加［１】，给 曰志的收集 、存储 和分析带来很多挑战．
传 统 的 日志存 储在 本机磁 盘上 ，查 看 日志时 需要
计 算机 系 统应 用 ＩＳＳＮ １００３－３２５４，ＣＯＤＥＮ ＣＳＡＯＢＮ
Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ＆ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１８，２７（９）：８卜 ８６［ｄｏｉ：１０．１５８８８￣．ｃｎｋｉ．ｃｓａ．００６５２８】 ◎中 国科 学 院软件 研 究所版 权所 有 ．
Ｅ—ｍａｉｌ：ｃｓａ＠ｉｓｃａｓ．ａｃ．ｃｎ
日志是记 录系 统行 为 的一 种方 式，具有 非常 重要 的作 用．日志信息可 作为系统 排错和 性能优化 的依据 ： 通过 日志，可 以有 效的监控系统 的运行状况，如性能信 息 、故障检 测 、入 侵检 测等：日志可 以用于用 户 的行 为信 息分析 ，发现潜在 商机 ；日志可 以帮助开发人 员找 到 ｂｕｇ的来源，修 复漏洞．并且 随着 数据挖掘 、大数据
ｈｔｔｐ：／／ｗｗ ｗ ．Ｃ—Ｓ·ａ．ｏｒｇ．ｃａ Ｔｅｌ：＋８６－１０．６２６６１０４１
基于 Ｆｉｌｅｂｅａｔ自动收 集 Ｋｕｂｅｒｎｅｔｅｓ日志 的分析系统①
翟雅 荣 ｌ， ，于 金 刚
（中 国科 学 院 大 学 ，北 京 １０００４９） （中国科 学院 沈阳计算技术研 究所，沈阳 １ １０１６８）ຫໍສະໝຸດ Baidu 通 讯作 者：翟雅 荣，Ｅ．ｍａｉｌ：ｚｈａｉｙａｒｏｎｇ＠１２６．ｃｏｍ
引用格 式：翟雅 荣，于金剐．基于 Ｆｉｌｅｂｅａｔ自动收集 Ｋｕｂｅｒｎｅｔｅｓ日志的分析系统．计 算机 系统应用，２０１８，２７（９）：８１—８６．ｈｔｔｐ：／／ｗｗｗ．Ｃ—Ｓ—ａ．ｏｒｇ．ｃｎ／１００３－
３２５４／６５２８．ｈｔｍｌ
Ａｎａｌｙｓｉｓ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｆｉｌｅｂｅａｔ Ａｕｔｏｍ ａｔｅｄ Ｃｏｌｌｅｃｔｉｏｎ ｏｆ Ｋ ｕｂｅｒｎｅｔｅｓ Ｌｏｇ
① 收稿 时间 ：２０１８—０１—０３；修 改时 间：２０１８，０１．２３；采用 时 间：２０１８—０２—２７；ｃｓａ在线 出版 时 间：２０１８．０８．１６
摘 要 ：Ｄｏｃｋｅｒ容器产生 的 日志分散 在不 同的相互 隔离的容 器 中，并且容器具有 即用即销的特点，传统 的解 决方式 是将 日志文件挂载到宿主机上，但 是容器 经常会漂移，给 日志 的统一查 看带来 挑战，并且传统 的 Ｄｏｃｋｅｒ容器集群 日 志分 析 系 统 存在 扩 展 性 弱 、效 率 低 下等 问题 ．本 文 采 用 Ｋｕｂｅｒｎｅｔｅｓ实现 容 器 管 理 、服 务 发 现及 调 度 ，使 用 Ｆｉｌｅｂｅａｔ采集 容器及宿 主机上 的 日志文 件，并使用 Ｒｅｄｉｓ作 为缓存，Ｌｏｇｓｔａｓｈ转 发，使 用主流 的开源 日志收集系 统 ＥＬＫ实 现 日志的存储 、查看 、检索．该系统具有可靠性 、可扩展 性等特 点，提高运维人员的工作效率． 关键 词：日志收集与分析：Ｋｕｂｅｍｅｔｅｓ；Ｆｉｌｅｂｅａｔ；Ｄｏｃｋｅｒ；ＥＬＫ
ＺＨＡ Ｉ Ｙａ．Ｒｏｎｇ ，ＹＵ Ｊｉｎ—Ｇ ａｎｇ
（Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １０００４９，Ｃｈｉｎａ） （Ｓｈｅｎｙａｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｓｈｅｎｙａｎｇ １ １ ０ １ ６８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｌｏｇｓ ｇｅｎｅｒａｔｅｄ ｂｙ Ｄｏｃｋｅｒ ｃｏｎｔａｉｎｅｒｓ ａｒｅ ｓｃａｔｔｅｒｅｄ ｉｎ ｄｉｆｆｅｒｅｎｔ ｉｓｏｌａｔｅｄ ｃｏｎｔａｉｎｅｒｓ，ａｎｄ ｔｈｅ ｃｏｎｔａｉｎｅｒ ｈａｓ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ“ｒｅａｄｙ ｔｏ ｕｓｅ”．Ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｓｏｌｕｔｉｏｎ ｉｓ ｔｏ ｍ ｏｕｎｔ ｔｈｅ ｌｏｇ ｆｉｌｅｓ ｔｏ ｔｈｅ ｈｏｓｔ，ｂｕｔ ｔｈ ｅ ｃｏｎｔａｉｎｅｒｓ ｏｆｔｅｎ ｄｒｉｆ ｔ， ｂｒｉｎｇｉｎｇ ｃｈａｌｌｅｎｇｅｓ ｔｏ ｔｈｅ ｕｎｉｆｉｅｄ ｖｉｅｗ ｏｆ ｔｈｅ ｌｏｇ，ｗ ｈｉｌｅ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ Ｄ ｏｃｋｅｒ ｃｏｎｔａｉｎｅｒ ｌｏｇ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ ｈａｓ ｔｈｅ ｐｒｏｂｌｅｍ ｓ ｏｆ ｗ ｅａｋ ｅｘｐａｎｓｉｂｉｌｉｔｙ ａｎｄ ｌｏｗ ｅｆｉ ｃｉｅｎｃｙ．Ｔｈｉｓ ｓｔｕｄｙ ｕｓｅｓ Ｋｕｂｅｒｎｅｔｅｓ ｔｏ ｉｍ ｐｌｅｍ ｅｎｔ ｃｏｎｔａｉｎｅｒ ｍ ａｎａｇｅｍ ｅｎｔ， ｓｅｒｖｉｃｅ ｄｉｓｃｏｖｅｒｙ ａｎｄ ｓｃｈｅｄｕｌｉｎｇ，ｕｓｅｓ Ｆｉｌｅｂｅａｔ ｔｏ ｃｏｌｌｅｃｔ ｌｏｇ ｆｉｌｅｓ ｏｎ ｃｏｎｔａｉｎｅｒｓ ａｎｄ ｈｏｓｔ ｃｏｍｐｕｔｅｒｓ，Ｒｅｄｉｓ ａｓ ａ ｃａｃｈｅ， Ｌｏｇｓｔａｓｈ ｆｏｒｗａｒｄｉｎｇ，ａｎｄ ｕｓｅｓ ｔｈ ｅ ｍ ａｉｎｓｔｒｅａｍ ｏｐｅｎ ｓｏｕｒｃｅ ｌｏｇ ｃｏｌｌｅｃｔｉｏｎ ｓｙｓｔｅｍ ＥＬＫ ｔｏ ｓｔｏｒｅ，ｖｉｅｗ ，ａｎｄ ｒｅｔｒｉｅｖｅ ｌｏｇ．Ｔｈｅ ｓｙｓｔｅｍ ｈａｓ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｒｅａｌ ｔｉｍｅ，ｒｅｌｉａｂｉｌｉｔｙ ａｎｄ ｅｘｔｅｎｓｉｂｉｌｉｔｙ，ａｎｄ ｉｍｐｒｏｖｅｓ ｔｈｅ ｅｆｉ ｃｉｅｎｃｙ ｏｆ ｏｐｅｒａｔｉｏｎ ａｎｄ ｍ ａｉｎｔｅｎａｎｃｅ ｐｅｒｓｏｎｎｅ１． Ｋ ｅｙ ｗｏｒｄｓ：ｌｏｇ ｃｏｌｌｅｃｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ；Ｋｕｂｅｍ ｅｔｅｓ；Ｆｉｌｅｂｅａｔ；Ｄｏｃｋｅｒ；ＥＬＫ