归档大小日志计算
oracle 归档日志解析
oracle 归档日志解析摘要:一、归档日志概述二、归档日志的作用三、归档日志的解析方法四、归档日志解析的应用场景五、总结与建议正文:随着大数据时代的到来,Oracle 数据库归档日志在各行各业中发挥着越来越重要的作用。
本文将对归档日志进行简要概述,分析其作用,介绍解析方法,并讨论应用场景。
最后给出总结与建议。
一、归档日志概述Oracle 归档日志(Archive Log)是一种用于记录数据库事务日志的技术。
它可以将数据库中的更改操作(如插入、更新和删除)记录下来,以便在出现故障时恢复数据。
归档日志采用增量方式记录,即每次更改操作后,日志文件会逐步变大。
二、归档日志的作用1.数据恢复:归档日志可以在数据库发生故障时,用于恢复数据至故障发生前的状态。
2.数据审计:归档日志可以记录所有对数据库的更改操作,方便审计人员追溯和分析数据变更原因。
3.性能优化:通过分析归档日志,可以找出数据库性能瓶颈,为优化数据库性能提供依据。
三、归档日志解析方法1.手工解析:通过编写SQL 语句或使用第三方工具,查询归档日志文件内容,分析日志中的数据。
2.使用Oracle 提供的事件解析工具:如DBMS_LOGSTD.REPORT 等,可以方便地生成归档日志的报表和统计数据。
3.使用第三方归档日志分析工具:如Oracle 的Partner 产品OraInsight 等,可以提供更丰富的归档日志分析功能。
四、归档日志解析的应用场景1.数据库故障排查:通过分析归档日志,可以找出导致数据库故障的原因,快速恢复业务。
2.性能监控与优化:分析归档日志中的SQL 语句执行情况,找出性能瓶颈,优化数据库性能。
3.数据审计与追溯:归档日志可以记录所有数据变更操作,方便审计人员分析和追溯数据变更原因。
4.数据库安全分析:通过分析归档日志,可以监控数据库访问权限和操作,提高数据库安全。
五、总结与建议归档日志在数据库管理中具有重要意义。
对于数据库管理员而言,应充分利用归档日志进行故障排查、性能优化和数据审计等工作。
oracle 日志归档 原理
oracle 日志归档原理Oracle数据库日志归档(Archive Log Mode)是数据库管理系统中用于实现数据库可恢复性的重要机制。
在归档模式下,Oracle数据库会将已填满的联机重做日志文件的内容复制到单独的归档日志文件中,并且只有在当前的日志内容被安全地归档后,才会覆盖或重新使用这些联机重做日志。
以下是Oracle日志归档的基本原理:1.联机重做日志:•Oracle数据库运行时会产生一系列的联机重做日志文件(Online Redo Logs),这些文件按照日志组的方式组织,每个日志组内包含一个或多个日志成员。
•当数据库执行事务处理时,所有对数据库的修改都会以重做记录的形式写入当前活动的日志组中。
2.日志切换:•随着数据库操作的进行,当前日志组填满后,会触发日志切换(Log Switch),即系统开始往下一个日志组中写入新的重做记录。
•在非归档模式下,旧的日志组可以被覆盖和重复使用;而在归档模式下,必须先将旧日志组的内容归档才能进行切换。
3.归档过程:•归档是由后台进程ARCn (Archiver) 自动完成的,或者管理员可以通过手动方式将填满的联机重做日志文件复制到指定的归档位置。
•归档日志文件具有与原始联机日志相同的逻辑内容,并带有唯一的日志序列号(Log Sequence Number, LSN),以便在恢复过程中确定应用重做记录的顺序。
4.作用:•在发生故障需要恢复数据库时,通过应用归档日志中的重做记录,可以将数据库状态恢复到故障发生前的任意时间点(Point-in-Time Recovery, PITR)。
•对于数据库镜像、数据保护以及维护高可用性环境如Data Guard(物理/逻辑standby数据库)也是至关重要的。
ORACLE数据库调整归档日志空间大小
ORACLE数据库归档日志满后造成无法启动/连接的处理方法在\app\Administrator\diag\rdbms\orcl\orcl\trace(其中orcl根据具体的数据库实例名称而定)路径下的log中可以看到以下信息:ORA-19815: W ARNING: db_recovery_file_dest_size of 2147483648 bytes is 100.00% used, and has 0 remaining bytes available.Wed Jan 9 15:00:29 2013************************************************************************You have following choices to free up space from flash recovery area:1. Consider changing RMAN RETENTION POLICY. If you are using Data Guard,then consider changing RMAN ARCHIVELOG DELETION POLICY.2. Back up files to tertiary device such as tape using RMANBACKUP RECOVERY AREA command.3. Add disk space and increase db_recovery_file_dest_size parameter toreflect the new space.4. Delete unnecessary files using RMAN DELETE command. If an operatingsystem command was used to delete files, then use RMAN CROSSCHECK andDELETE EXPIRED commands.ORA-19815: W ARNING: db_recovery_file_dest_size of 2147483648 bytes is 100.00% used, and has 0 remaining bytes available.这句日志意思是db_recovery_file_dest_size已经满了,导致数据库无法启动。
修改Oracle归档日志大小
1、创建2个新的日志组
alter database add logfile group 4 ('H:\ORACLE\ORADATA\YLZHIS\redo04.log') size 50M;
alter database add logfile group 5 ('H:\ORACLE\ORADATA\YLZHIS\redo05.log') size 50M;
1.alter database drop logfile group 1;
2.alter database drop logfile group 2;
3.alter database drop logfile group 3;
4、操作系统下删除原日志组1、2、3中的文件
2、切换当前日志到新的日志组
1.alter system switch logfile; select * from v$log;可能需要多次执行,确认日志已经切换到4或者5
2.alter system checkpoint;
3、删除旧的日志组
改变归档日志大小只有改变日志组的大小。
方法:加入新的大的日志文件,然后删掉旧的小的日志文件
假设现有三个日志组,每个组内有一个成员,每个成员的大小为1MB,现在想把此三个日志组的成员大小都改为10MB
先查询联机日志文件路径 select * from v$logfile
alter database add logfile group 3 ('H:\ORACLE\ORADATA\YLZHIS\redo03.log') size 50M;
6、切换日志组
1.alter system switch logfile; select * from v$log;可能需要多次执行,确认日志已经切换到4、5、6
查询oracle归档空间利用率 -回复
查询oracle归档空间利用率-回复题目:查询Oracle归档空间利用率导语:Oracle数据库的归档空间是用于存储已完成的日志文件(也称为归档日志)的地方。
归档日志是在正常事务提交后自动生成的,以确保数据的完整性和恢复性。
在长时间运行的数据库中,归档空间可能会占用大量的磁盘空间,因此了解归档空间的利用率对数据库管理员来说至关重要。
本文将介绍如何查询Oracle归档空间的利用率。
第一步:查询数据库的归档模式在Oracle数据库中,归档模式有两种:归档模式(ARCHIVELOG)和非归档模式(NOARCHIVELOG)。
归档模式将数据库的日志文件保存到归档目录中,而非归档模式则不执行该操作。
要查询数据库的归档模式,可以使用以下SQL查询:SELECT log_mode FROM vdatabase;当结果为`ARCHIVELOG`时,表示数据库处于归档模式。
当结果为`NOARCHIVELOG`时,表示数据库处于非归档模式。
第二步:查询数据库的归档日志目录如果数据库处于归档模式,归档日志文件将存储在归档日志目录中。
要查询数据库的归档日志目录,可以使用以下SQL查询:SELECT value FROM vparameter WHERE name ='log_archive_dest_1';查询结果将显示归档日志目录的路径。
这个路径可以是文件系统路径或ASM路径,具体取决于数据库的配置。
第三步:查询归档日志文件的利用率要查询归档日志文件的利用率,可以使用以下SQL查询:SELECT (SUM(blocks) * (SELECT block_size FROM vdatabase)) / (1024 * 1024) AS total_size_mb,(SUM(blocks) - SUM(blocks_remaining)) * (SELECTblock_size FROM vdatabase) / (1024 * 1024) AS used_size_mb, SUM(blocks_remaining) * (SELECT block_size FROMvdatabase) / (1024 * 1024) AS remaining_size_mb,(SUM(blocks) - SUM(blocks_remaining)) / SUM(blocks) * 100 AS used_percentageFROM varchived_log;该查询将返回归档日志文件的总大小、已使用大小、剩余大小和利用率百分比。
计算WINCC数据归档和时间的方法
中央存档服务器的硬盘需求由所要求的快速归档,慢速归档和消息归档所需的空间决定。
∙快速归档所要求的空间取决于被存档值的归档设置,数据类型和时间特性。
快速归档的值在数据库中以压缩格式储存,并且每个测量值需要大约10 到15 个字节。
在一些情况下可用更高的压缩比。
∙慢速归档的每个测量值占32 个字节。
∙一条带有最大数目过程值变量及注释的消息需要4 KB 的存储空间。
一条最小值的消息需要172 字节的存储空间。
计算:您可以通过以下公式来计算每秒所需要的最大存储空间:存储空间需求[字节/秒] = x * 15 字节/值+ y * 32 字节/值+ z * 4096 字节/值在这:x: 每秒快速归档值的平均个数y: 每秒慢速归档值的平均个数z: 每秒消息的平均个数为计算n天所需的空间,您只需将“存储空间需求[字节/秒]”的结果乘以n 天所折算成的秒数。
计算实例:以下为假设:假设描述No.每秒快速归档值的数量1 x = 10,000 值/秒每秒慢速归档值的数量2 y = 10 值/秒3 z = 2 值/秒每秒2 个消息4 n =5 天数,在这1 天= 24 * 3600 秒=86400 秒5 天所需存储空间字节数= 5 * 86400 秒* (10,000 值/秒* 15 字节/值+ 10 值/秒* 32 字节/值+ 2 值/秒* 4096 字节/值)5 天所需存储空间字节数= 5 * 86400 秒* (150,000 字节/秒+ 320 字节/秒+ 8192 字节/秒)5 天所需存储空间字节数= 5 * 86400 秒* (158,512 字节/秒)5 天所需存储空间字节数= 68,477,184,000 字节转换为GB :5 天所需存储空间GB = 68,477,184,000 字节/ (1024 * 1024 * 1024 )= 63.774 GB5 天所需存储空间GB ≈ 64 GB从WinCC V6.2 开始:以上展示的计算应用于WinCC V6.2 之前版本。
MQ关于日志的规定
目录结构(UNIX 系统)MQSeries 系统管理附录 B. 目录结构(UNIX 系统)图64显示了与特定队列管理器关联的数据和日志目录的一般布局。
所示的目录适用于缺省安装。
如果对它作更改,那么文件和目录的位置将相应作修改。
有关产品文件的位置信息,请参阅以下之一:∙Chapter 3. "Installing the MQSeries for AIX Server"在MQSeries AIX 版V5.1 快速入门一书中∙Chapter 3. "Installing the MQSeries for HP-UX Server"在MQSeries HP-UX 版V5.1 快速入门一书中∙Chapter 3. "Installing the MQSeries for Sun Solaris Server"在MQSeries Sun Solaris 版V5.1 快速入门一书中图64. 启动队列管理器后的缺省目录结构(UNIX 系统)在图64中,该布局代表了队列管理器已使用一段时间后的MQSeries。
您所拥有的实际结构取决于队列管理器上已执行了哪些操作。
在缺省情况下,下列目录和文件位于目录/var/mqm/qmgrs/qmname/ 中。
amqalchk.fil包含有关上一个检查点的信息的检查点文件。
auth/该目录包含了与权限关联的子目录和文件。
@MANGLED该文件包含了用于所有各类的权限节。
procdef/该目录对每个进程定义包含了一个文件。
每个文件包含了用于关联的进程定义的权限节。
@MANGLED该文件包含了用于进程定义类的权限节。
qmanager/@MANGLED该文件包含了用于队列管理器类的权限节。
self该文件包含了用于队列管理器对象的权限节。
queues/该目录对每个队列都包含了一个文件。
每个文件包含了用于关联队列的权限节。
@MANGLED该文件包含了用于队列类的权限节。
WinCC变量归档记录占用的空间
WinCC变量归档记录占用的空间计算例子A、慢速归档时一条变量归档记录占用32 字节的空间,每个变量以2 分钟为归档周期,一周之内会产生5040 条记录,若有5000 个变量的归档,则单个数据片段的大小计算为:32×5000×5040=806400000 byte ==> 约等于800MB考虑到留出20%的余量,设定单个数据片段为1G所有数据归档期限是两个月,因此所有段的尺寸为单个片段尺寸乘以单个片段的个数,即:1GB×9=9GBB、快速归档时一条变量归档记录占用3 字节的空间,每个变量以2 秒钟为归档周期,一周之内会产生302400 条记录,若有50 个变量的归档,则单个数据片段的大小计算为:3×50×302400=45360000 byte ==> 约等于46MB考虑到留出20%的余量,设定单个数据片段为60MB所有数据归档期限是两个月,因此所有段的尺寸为单个片段尺寸乘以单个片段的个数,即:60MB×9=540MB 片段大小再taglogging里的快速归档变量和慢速归档变量里设置从 WinCC V6.2 之后,其他的计算比旧版本更容易,因为所有数据都是以压缩的形式存在的。
快速归档所要求的空间取决于被存档值的归档设置,数据类型和时间特性。
快速归档的值在数据库中以压缩格式储存,并且每个测量值需要大约 10 到 15 个字节。
在一些情况下可用更高的压缩比。
因此,以上的计算列表可以提供一个粗略的估算。
然而,压缩的处理意味着没有一种简单的方法来准确地算出所需空间从 WinCC V6.2 以后。
1. HORN编辑器中有两个选项页,第一页指定报警类型(至于是否确认,那要看你的要求了)和报警TAG,也就是要指定TAG的报警类型;2.第二页指定报警声音,也就是报警TAG对应相应的报警声音,这个声音文件是WAV类型的;3.HORN组态起来还是很方便的。
Db2数据库归档日志很频繁
Db2数据库归档日志频繁解决方法问题现象:数据库dbbde执行命令:Db2 db2stop forceDb2 db2start运行一段时间后发现,归档日志目录中日志增长很快,日志个数很多,但是日志均未写满。
每个日志只有约3M.如图S0224497.LOG-S0*******.LOG查看实际配置Log file size (4KB) (LOGFILSIZ) = 10000Number of primary log files (LOGPRIMARY) = 10Number of secondary log files (LOGSECOND) = 20一个归档日志的大小为:4KB*10000=40M 由配置看归档日志大小正常,则可能是犹豫数据库提交事物过于频繁导致归档频率加快。
解决方法:db2 activate database dbbde归档日志恢复正常。
整理:由activate database命令初始化的数据库可以由deactivate database命令关闭,也可以通过stop database manager(或db2stop)命令关闭。
如果使用activate database命令初始化一个数据库,那么最后一个与数据库断开连接的应用就不会关闭数据库。
由于命令db2stop关闭了数据库实例,重新启动数据库没有进行激活操作activate会导致每一个连接断开后会提交事物并归档,导致了日志归档频率大的问题。
同时,如果在database没有激活之前,就在应用中使用connect to database_name或隐式连接,那么应用就必须要进行等待,直到数据库管理器启动了你要连接的数据库。
一般第一个应用会引发等待数据库管理器执行数据库启动的所有开销。
可以使用activate database database_name这样的命令启动特定的数据库。
这个命令就会免除第一个应用程序连接上来的时候等候数据库初始化所花费的时间。
oracle 归档日志概念解释
oracle 归档日志概念解释在Oracle数据库中,归档日志(Archived Logs)是一种重要的数据库日志,用于记录数据库发生的所有变更操作,以便在系统故障或数据损坏时进行数据库恢复。
以下是有关归档日志的一些关键概念和解释:1. 日志文件:Oracle数据库通过日志文件(Redo Log)记录所有对数据库的变更操作。
这包括插入、更新和删除操作。
日志文件的作用是保留数据库的变更历史,以便在需要时进行恢复。
2. 在线日志和归档日志:日志文件分为在线日志和归档日志两种类型。
在线日志包含当前正在进行的事务的日志信息,而归档日志包含已经完成的事务的日志信息。
当在线日志满了或发生特定的切换事件时,其中的日志会被归档到归档目录中。
3. 归档目录:归档日志被存储在一个被称为归档目录(Archive Destination)的特定位置。
这可以是本地磁盘、网络位置或远程服务器。
在配置归档目录时,确保有足够的磁盘空间存储归档日志,因为这对数据库的正常运行和故障恢复至关重要。
4. 日志切换:当在线日志文件满了或发生某些事件时,数据库会执行一个日志切换(Log Switch)。
这时,当前的在线日志文件会被标记为不可用,并且一个新的在线日志文件会开始记录新的变更。
同时,旧的在线日志文件会被归档。
5. 数据库恢复:归档日志对数据库的恢复非常关键。
如果数据库发生故障,系统可以利用归档日志中的信息,从最后一个完整备份以来的任何时间点将数据库还原到一致的状态。
这种恢复过程称为“介质恢复”(Media Recovery)。
总的来说,归档日志是Oracle数据库中一项关键的功能,它确保了数据库的可靠性和一致性,同时提供了故障恢复的能力。
归档率计算公式
归档率计算公式归档率是在很多工作和管理场景中都会用到的一个重要指标,它能帮助我们清晰地了解文件或者资料的整理和保存情况。
那归档率到底怎么算呢?咱们先来说说归档率的基本概念。
简单来讲,归档率就是已经完成归档的文件数量与应归档文件总数量的比值。
用公式来表示就是:归档率 = 已归档文件数量 ÷应归档文件总数量 × 100% 。
举个例子来说吧,比如说在咱们学校的教务处,一学期结束了,老师们要把学生的各种考试试卷、作业等资料进行归档。
假设这学期一共产生了 1000 份相关资料,经过老师们的努力,最终成功归档了 800 份。
那这时候的归档率就是 800÷1000×100% = 80% 。
那这个归档率有啥用呢?用处可大了!就拿学校来说,如果归档率太低,那学校在需要查找过往学生的成绩或者其他信息的时候,可能就会手忙脚乱,找不到想要的东西。
而且,归档率也能反映出工作人员的工作效率和责任心。
我还记得之前在一家公司实习的时候,就遇到过归档率的问题。
那是一家做设计的公司,每个项目结束后,都需要把相关的设计图纸、方案文档等进行归档。
有一次,公司接到一个紧急的项目,需要参考之前类似项目的资料。
结果一查,发现之前的资料归档率特别低,很多关键的文件都没找到,这可把大家急坏了。
设计师们不得不重新花费大量的时间和精力去整理和回忆之前的设计思路,整个项目的进度都受到了严重的影响。
所以说,提高归档率是非常重要的。
要想提高归档率,首先得有明确的归档流程和规范,让大家知道什么文件需要归档,什么时候归档,怎么归档。
然后,还得有人专门负责监督和检查归档的情况,及时发现问题并解决。
在实际计算归档率的时候,要注意确保已归档文件数量和应归档文件总数量的统计准确无误。
有时候,可能会因为一些疏忽,把不该归档的文件算进去了,或者漏算了一些应归档的文件,这样得出的归档率就不准确啦。
总之,归档率虽然只是一个简单的计算公式,但它背后反映的问题可不少。
oracle归档日志满了
oracle归档⽇志满了oracle归档⽇志满了/oracle归档⽇志清理查看归档⽂件信息--登录Oraclesqlplus 账号/密码 as sysdba--查看当前归档⽇志⽬录show parameter recovery;解决⽅法⼀:修改归档⽇志⽂件⼤⼩--登录Oraclesqlplus 账号/密码 as sysdba--更改归档⽇志⽬录alter system set db_recovery_file_dest='/u01/app/oracle/archivelog' scope=spfile;--更改归档⽇志⽬录⼤⼩alter system set db_recovery_file_dest_size=4096m scope=spfile;--重启数据库并查看归档⽇志⽬录及⼤⼩(修改后记得重启)shutdown immediate;startup;show parameter recovery;解决⽅法⼆:删除归档⽇志⽂件--rman流程set oracle_sid=你⾃⼰的sid --1-- 查看⾃⼰的sid: 开始(右键)->run->输⼊: services.msc ->找 ORACLEService....(....即为你的sid)格式的Name rman --2connect target/ --3--查看是否开启归档⽇志archive log list;--校验⽇志的可⽤性crosscheck archivelog all;--列出所有失效的归档⽇志list expired archivelog all;--删除log sequencewei16及16之前的所有归档⽇志delete archivelog until sequence 16;--删除系统时间7天以前的归档⽇志,不会删除闪回去有效的归档⽇志delete archivelog all completed before 'sysdate-7';--注意这个命令,删除系统时间1天以内到现在的归档⽇志delete archivelog from time 'sysdate-1';--该命令清除所有的归档⽇志delete noprompt archivelog all completed before 'sysdate';或delete noprompt archivelog all;Oracle 启动关闭⽅式⼀、⼏种启动⽅式: 1、startup nomount ⾮安装启动,这种⽅式启动下可执⾏:重建控制⽂件、重建数据库 启动instance,即启动SGA和后台进程,这种启动只需要init.ora⽂件。
oracle归档日志格式
oracle归档日志格式摘要:一、Oracle归档日志概述1.Oracle归档日志的作用2.Oracle归档日志的类型二、Oracle归档日志格式详解1.归档日志文件名2.归档日志文件扩展名3.归档日志文件头信息4.归档日志文件尾信息5.归档日志记录结构三、Oracle归档日志的应用场景1.数据库故障恢复2.数据迁移3.数据库审计四、Oracle归档日志的配置与管理1.配置归档日志2.查看归档日志状态3.清除归档日志4.管理归档日志文件正文:一、Oracle归档日志概述Oracle数据库中,归档日志(Archive Log)是一种记录数据库操作历史的重要文件,它记录了数据库从创建到现在所有的数据操作,包括数据修改、删除和事务操作等。
归档日志的主要作用是在数据库出现故障时,通过读取归档日志文件来恢复数据。
此外,归档日志还可以用于数据迁移、数据库审计等场景。
二、Oracle归档日志格式详解1.归档日志文件名Oracle归档日志文件名由以下几部分组成:- db_name_arch- log_mode- log_sequence_num- ar_suffix其中,db_name_arch表示数据库名,log_mode表示日志模式(如:NOARCHIVELOG、ARCHIVELOG等),log_sequence_num表示日志序列号,ar_suffix表示归档日志文件后缀(如:.arc、.log等)。
2.归档日志文件扩展名Oracle归档日志文件的扩展名有两种:.arc和.log。
.arc文件是归档日志的当前部分,.log文件是归档日志的当前部分的前一个部分。
在数据库运行过程中,.arc文件会不断地增长,而.log文件会不断地被覆盖。
当.arc文件达到一定大小时,Oracle会将它重命名为.log文件,并创建一个新的.arc文件。
3.归档日志文件头信息Oracle归档日志文件头信息包括日志序列号、日志模式、文件名等。
Shell脚本中的日志分割和归档技巧
Shell脚本中的日志分割和归档技巧Shell脚本是一种脚本语言,广泛应用于日志处理等系统管理任务中。
在实际应用中,日志往往会不断增长,为了方便管理和分析,需要进行日志的分割和归档。
本文将介绍在Shell脚本中实现日志分割和归档的技巧。
一、日志分割1. 按时间分割日志在Shell脚本中,可以通过日期命令获取当前日期,并根据日期来进行日志分割。
具体步骤如下:```shell# 获取当前日期current_date=$(date +%Y%m%d)# 根据日期分割日志mv log.txt log_${current_date}.txt```以上代码将当前日期作为后缀,将原始日志文件改名为带有日期后缀的文件。
2. 按大小分割日志除了按时间分割日志,还可以按照日志文件的大小进行分割。
可以用du命令获取当前日志文件的大小,并根据阈值来决定是否进行分割。
具体步骤如下:```shell# 获取当前日志文件大小log_size=$(du -b log.txt | awk '{print $1}')# 设置日志文件分割阈值max_size=10000000 # 10MB# 判断当前日志文件大小是否超过阈值if [ $log_size -gt $max_size ]; thenmv log.txt log_1.txtfi```以上代码将日志文件大小与阈值进行比较,如果大于阈值,则将日志文件改名为log_1.txt。
二、日志归档除了进行日志分割,我们还可以对历史日志进行归档,以便于长期存储和备份。
在Shell脚本中,可以利用tar命令将多个日志文件打包成一个归档文件。
具体步骤如下:```shell# 创建归档文件tar -czvf log_archive.tar.gz log_*.txt```以上代码将所有以log_开头的文件打包成log_archive.tar.gz归档文件。
三、定时任务为了实现定时的日志分割和归档,可以利用crontab命令来创建定时任务。
对于日志进行分割的N种方法
对于日志进行分割的N种方法日志是记录系统或应用程序运行过程中所发生事件和异常的一种重要记录方式。
在实际应用中,日志文件往往会不断增长,导致文件过大,不利于查看和管理。
因此,对日志进行分割是一种有效的手段,可以将日志按照时间、大小、内容等进行划分,便于存储和检索。
下面介绍常用的几种日志分割方法:2.文件大小分割:按照文件大小对日志进行分割,当日志文件达到一定大小时,生成一个新的日志文件。
可以通过配置文件大小阈值来控制分割,例如每100MB生成一个新的日志文件。
这种方法适用于需要限制日志文件大小的场景,也可以避免单个文件过大引起的存储和读取性能问题。
4.按关键词分割:按照关键词和正则表达式对日志进行分割,当日志中含有指定的关键词时生成一个新的日志文件。
这种方法适用于需要根据日志内容进行过滤和分类的场景,可以实现对日志的更细粒度的分割。
5.按照日志级别分割:按照日志的级别进行分割,例如将DEBUG级别的日志和ERROR级别的日志分别保存到不同的文件中。
这种方法适用于需要对不同级别的日志进行分析和处理的场景,可以方便地对特定级别的日志进行查找和分析。
6.按照应用程序分割:按照应用程序的名称或ID对日志进行分割,每个应用程序生成一个独立的日志文件。
这种方法适用于多应用程序共享同一日志目录的情况,可以方便地对不同应用程序的日志进行管理和检索。
7.按照业务模块分割:按照业务模块对日志进行分割,将不同模块的日志保存到不同的文件中。
这种方法适用于有复杂业务模块划分的场景,可以方便地对不同模块的日志进行定位和分析。
8.压缩归档:将历史日志进行压缩归档,可以减少日志文件的大小,节省存储空间。
可以设置一个时间阈值或大小阈值,当日志超过设定的阈值时,将其压缩成一个归档文件,并清空原始日志。
这种方法适用于对历史日志进行长期存储和备份的场景。
总结来说,对于日志进行分割的方法有时间间隔分割、文件大小分割、按行数分割、按关键词分割、按日志级别分割、按应用程序分割、按业务模块分割和压缩归档等多种方式。
ORACLE数据库调整归档日志空间大小
ORACLE数据库归档日志满后造成无法启动/连接的处理方法在\app\Administrator\diag\rdbms\orcl\orcl\trace(其中orcl根据具体的数据库实例名称而定)路径下的log中可以看到以下信息:ORA-19815: W ARNING: db_recovery_file_dest_size of 2147483648 bytes is 100.00% used, and has 0 remaining bytes available.Wed Jan 9 15:00:29 2013************************************************************************You have following choices to free up space from flash recovery area:1. Consider changing RMAN RETENTION POLICY. If you are using Data Guard,then consider changing RMAN ARCHIVELOG DELETION POLICY.2. Back up files to tertiary device such as tape using RMANBACKUP RECOVERY AREA command.3. Add disk space and increase db_recovery_file_dest_size parameter toreflect the new space.4. Delete unnecessary files using RMAN DELETE command. If an operatingsystem command was used to delete files, then use RMAN CROSSCHECK andDELETE EXPIRED commands.ORA-19815: W ARNING: db_recovery_file_dest_size of 2147483648 bytes is 100.00% used, and has 0 remaining bytes available.这句日志意思是db_recovery_file_dest_size已经满了,导致数据库无法启动。
wincc 归档 容量计算
计算例子A、慢速归档时一条变量归档记录占用32 字节的空间,每个变量以2 分钟为归档周期,一周之内会产生5040 条记录,若有5000 个变量的归档,则单个数据片段的大小计算为:32×5000×5040=806400000 byte ==> 约等于800MB考虑到留出20%的余量,设定单个数据片段为1G所有数据归档期限是两个月,因此所有段的尺寸为单个片段尺寸乘以单个片段的个数,即:1GB×9=9GBB、快速归档时一条变量归档记录占用3 字节的空间,每个变量以2 秒钟为归档周期,一周之内会产生302400 条记录,若有50 个变量的归档,则单个数据片段的大小计算为:3×50×302400=45360000 byte ==> 约等于46MB考虑到留出20%的余量,设定单个数据片段为60MB所有数据归档期限是两个月,因此所有段的尺寸为单个片段尺寸乘以单个片段的个数,即:60MB×9=540MB片段大小再taglogging里的快速归档变量和慢速归档变量里设置Wincc变量记录及报警记录优化(图)2010-04-12 18:01Wincc变量归档(图)最近在一个项目上,发现Wincc项目运行一段时间后,界面的操作响应变慢了。
Wincc运行Runtime 时,发现进度在55%等待时间很长,界面提示为:变量记录管理启动中。
怀疑系统运行效率下降和Wincc变量记录有关。
检查变量记录,文件大小为12~20G。
咨询西门子工程师,他给出的解决方案是,减小每一个变量归档的大小,减小最长变量归档。
具体作法如下:1.打开Wincc变量记录设定:2.右击快速归档,打开归档属性:3.设定单个分段最大大小为:100~200M,单个分段包含的时间段为:1天。
这两个参数,以最先达到的为有效;4.设定所以分段最大尺寸为:10G,最长时间为3个月。
这两个参数,以最先达到的为有效;5.设定归档备份保存位置:选择“备份组态”选项卡,选择“激活备份”,设定目标路径。
oracle归档日志格式
oracle归档日志格式【实用版】目录1.Oracle 归档日志概述2.Oracle 归档日志的格式3.Oracle 归档日志的组件4.Oracle 归档日志的优点5.Oracle 归档日志的使用方法正文Oracle 归档日志是一种将数据库中的更改记录下来的文件,它可以帮助数据库管理员恢复数据,进行数据分析和故障排查。
在 Oracle 数据库中,归档日志文件按照特定的格式进行组织和存储。
一、Oracle 归档日志格式Oracle 归档日志文件的扩展名为.arc,由多个日志文件组成。
每个日志文件都包含一个或多个物理记录,每个物理记录又包含一个或多个逻辑记录。
这种层次结构使得 Oracle 归档日志文件具有很好的可读性和可维护性。
二、Oracle 归档日志组件Oracle 归档日志文件主要包括以下几个组件:1.头信息:记录文件的类型、版本和创建时间等信息。
2.数据块:存储实际的日志数据,包括对数据库表的插入、更新和删除操作。
3.槽:用于存储数据块的索引,方便快速定位到具体的日志记录。
4.尾信息:记录文件的结束标志,包含槽的数量和最后一个槽的位置。
三、Oracle 归档日志优点Oracle 归档日志提供了以下优点:1.数据安全性:归档日志可以记录所有的数据库操作,便于数据库管理员追踪和审计。
2.数据恢复:通过归档日志,数据库管理员可以快速定位到数据丢失或损坏的位置,并进行恢复。
3.数据分析:归档日志可以帮助数据库管理员分析数据库的运行状况,如查询性能、锁使用情况等。
4.故障排查:归档日志可以记录所有的故障信息,方便数据库管理员进行故障排查和解决。
四、Oracle 归档日志使用方法要使用 Oracle 归档日志,需要进行以下步骤:1.创建归档日志表空间:在 Oracle 数据库中创建一个表空间,用于存储归档日志文件。
2.配置归档日志模式:设置数据库的归档日志模式,包括归档日志文件的名称、大小和存储位置等。
日志归集方案
日志归集方案背景介绍在软件开发过程中,日志是必不可少的一部分。
它可以记录应用程序的运行情况,帮助开发人员定位问题。
但是,在分布式应用程序中,日志归集变得非常复杂,因为每个部分都可能生成大量的日志。
为了更好地管理和利用这些日志,我们需要一个实现日志归集的方案,来封装和简化日志的存储和访问。
日志归集的价值在传统的架构中,调度任务和直接在服务器上查找日志来查找问题都很常见。
由于这些日志分布在不同的节点上,且数据量大,直接寻找是费时费力的。
同时,不同节点的日志格式和存储方式也不同,给数据分析和处理带来了很大的挑战。
因此,开发人员需要一种可靠、高效、自动化的日志归集解决方案,让他们能够快速地找到问题,并快速响应解决方案。
这不仅可以为整个团队节省时间和精力,而且可以提高应用程序的性能和稳定性。
日志归集方案的构成一个完整的日志归集方案应该包含以下几个关键组成部分:1. 日志采集日志采集是整个日志数据流程中的第一步, 也是最重要的环节。
为了完成日志采集,需要选择合适的采集技术和工具,开发或者采用相关的日志采集组件和API来完成数据的收集。
•log4j/logback等应用框架集成采集器•客户端日志收集器/代理•文件/流式数据的采集2. 数据传输日志采集过后,我们还需要将采集到的日志数据传输到中央日志存储设备或者云端服务,以便后续的数据处理。
传统的做法是将日志数据存储到本地磁盘,之后采用消息队列等技术将数据传输到中央存储设备或云端服务。
•Kafka, ActiveMQ等消息队列技术•Logstash等数据传输工具3. 数据处理在日志收集完之后,日志数据通常都是以结构化的数据形式存储在中央存储系统或云端服务中。
新的日志数据都会被存储到存储设备中,数据处理模块将会通过各种机制去识别、计算、排序、过滤、聚合、清洗、标记、归档、删除、备份等操作,使数据变得更简洁、更易于处理、更有助于分析。
•ELK栈处理•按时间/大小/类别等维度的排列和划分•代码错误量、QPS、PV等统计结果4. 数据查询和展示我们将收集好的日志数据通过统一的查询、可视化工具展示出来,才能够发现具体的问题。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
redo日志切换频率推算出存放归档日志所需的空间
我们可以通过日志切换频率推算出存放归档日志所需的空间,这样对存储规划有很好的指导意义。
可以按照如下步骤完成归档日志空间规划预估任务。
1.查看数据库日志文件的大小
sys@bomsdb> select distinct(bytes/1024/1024) MB from v$log;
MB
----------
200
如果上面的查询返回不止一条,说明你的系统中存在不同大小的redo log。
应该强烈抵制这种事情的发生。
确保数据库具有相同大小的redo log,便于管理和使用。
2.查询获得系统归档日志的切换频率及大小
sys@bomsdb> select max (first_time) max_first_time,
2 to_char (first_time, 'yyyy-mm-dd') day,
3 count (recid) count_number,
4 count (recid) * 200 size_mb
5 from v$log_history
6 group by to_char (first_time, 'yyyy-mm-dd')
7 order by 1
8 /
MAX_FIRST_TIME DAY COUNT_NUMBER SIZE_MB
-------------- ---------- ------------ ----------
20 2010-12-24 40 8000
20 2010-12-25 50 10000
20 2010-12-26 45 9000
20 2010-12-27 46 9200
20 2010-12-28 44 8800
20 2010-12-29 46 9200
20 2010-12-30 47 9400
20 2010-12-31 45 9000
20 2011-01-01 47 9400
20 2011-01-02 44 8800
20 2011-01-03 48 9600
20 2011-01-04 53 10600
20 2011-01-05 45 9000
20 2011-01-06 52 10400
20 2011-01-07 48 9600
20 2011-01-08 52 10400
20 2011-01-09 49 9800
20 2011-01-10 50 10000
20 2011-01-11 46 9200
20 2011-01-12 52 10400
20 2011-01-13 53 10600
20 2011-01-14 48 9600
20 2011-01-15 51 10200
20 2011-01-16 49 9800
24 rows selected.
从上面的统计结果可以知道,每天的归档情况比较一致,说明业务的压力比较平均。
平均每天会完成45次日志切换,生成10G大小的归档日志。
不同业务类型的归档日志生成的频率和规律并不相同。
如果您的系统中个别几天会运行大批量的Batch任务很有可能出现突发的归档日志的需求。
3.计算获得存放归档日志的需求
为安全起见,每天生成归档日志大小的20%作为冗余。
就本系统来说存放每天的归档日志的总空间需求便是10+10*20%=12G。
既然知道了每天需要归档存放空间的大小,因此便可以根据不同的备份恢复策略得到最后的空间需求。
因为系统每周都会使用RMAN完成数据库的全备份,因此仅需保留一周的归档日志即可。
因此最后的归档日志的空间需求大小是12*7=84G。
对于具有批处理业务的系统需要考虑峰值带来的影响。
不过只要按照这个原则来计算,都可以找到一个比较合理的归档日志空间需求。
4.小结
为了避免因分配过大的归档日志空间而浪费存储资源,建议对系统运行过程中的归档日志的生成情况做好分析。