[图文] linux sed入门的15个小操作

[图文] linux sed入门的15个小操作E-mail：nathanielwen@近期在学习Linux Shell编程中关于sed工具的部分，出于习惯，在经历各种百度、各种论坛、各种资料之后，一定会整理一份文档作为自己学习的小小总结，也希望可以帮助很多跟我一样渴望进入Linux世界的新手们，这里要推荐两个很好的资源：/command/UNIX.shell范例精解(第4版)这份文档里面的很多知识点，包括使用的databook文件等都来自于这两个资源，如果有侵犯版权问题，也请见谅~关于文档的几点说明：（没有耐心的童鞋可以跳过这一页）1、注释部分用“#”2、指令部分用黄色的底色标出，在其后附上指令运行截图3、每个操作涉及的选项或者参数均用红色加粗字体显示4、部分操作之后会附加知识点拓展和常用操作，希望可以更有效的使用sed工具5、文档正文部分结束后附录I会有一些知识点的补充，难度上没有增加，只是不方便安排在常用操作中6、关于元字符和正则表达式的部分，难度较大，再其他文档中会有讲解，或者也可以参阅《UNIX.shell范例精解(第4版)》，该书扫描版的pdf文档可以上网下载或者发邮箱联系我，很欢迎可以分享优秀的资源7、文档的附录II部分，列出了文件databook的内容我也是新手，理解能力，表达能力不足，很多内容不可能面面俱到，同时，必然也会存在很多纰漏，希望大家指正、见谅，我已经尽力了，thank you~#首先介绍一下命令的基本格式：sed [options] '{command}' [filename]例如sed -n '1,3p' databook出于个人习惯在接下来的例子中，通常将命令等价的表示为cat filename | sed [options] '{command}'例如 cat databook | sed -n '1,3p'#在正式开始之前，我们还需要一个用于操作的文本文件datafile，该文件会在附在附录II 里#操作一：“s”参数，替换某个单词，例如将Steve Blenheim替换为Steve Jobs为了方便阅读，我们将第一行截取，存至temp文件cat databook | head -n 1 > temp(这里的“>”是重定向符号，将默认显示在终端上的内容，写入到temp文件中)cat temp | sed 's/Blenheim/Jobs/'#知识点拓展：上述指令等价于sed 's/Blenheim/Jobs/' temp#常用操作：将空格替换为TAB键(或者其逆操作，也可以替换为其他符号)cat -A tempcat temp | sed 's/ /\t/g' | cat –A#知识点拓展：cat -A 可以显示出文件中不可打印的符号，如行尾显示为“$”,TAB显示为“^I”#操作二：“-e”选项或者“;”，一次性替换多个单词，如将Steve替换为Bill，并且将Blenheim修改为Gatescat temp | sed -e 's/Steve/Bill/' -e 's/Blenheim/Gates/'cat temp | sed 's/Steve/Bill/;s/Blenheim/Gates/'#可能有些人已经想到，直接用 Bill Gates 替换 Steve Blenheim，不就行了吗？的确是这样，这里确实是为了说明某个知识点而违背了shell简化工作的本质思想~#操作三：“g”参数，表示替换一行中所有需要替换的词#可以看到temp文件中原本各个字段是使用冒号“：”分隔的，假设我们要把分隔符改为“| ”符#现在尝试一下两种不同的指令格式，注意，指令2仅比指令1多了一个“g”参数指令1cat temp | sed 's/:/| /'指令2cat temp | sed 's/:/| /g'#操作四：匹配指定模式，在满足某一条件之后再进行操作#我们将databook的前10行存至文件temphead databook > temp#现在将含有单词“Karen”的那些行中所有的“Karen Evich”替换为“KE”，姑且称之为“单词匹配”cat temp | sed '/Karen/s/Karen Evich/KE/g'#行匹配，temp里Karen Evich出现了三次，如果我们只针对第8，9两行的名字修改cat temp | sed '8,9 s/Karen Evich/KE/g'#知识点拓展：实现更精确匹配，在这里只是作为一个好玩的小技巧介绍一下#假设temp的内如下#现在需要将第一个this之后的Tuesday替换为Friday，第二个last之后的Tuesday替换为Sundaycat temp | sed '/this/s/Tuesday/Friday/;/last/s/Tuesday/Sunday/'#注意分号连接的两条语句的顺序，与以下指令对比，注意输出结果cat temp | sed '/last/s/Tuesday/Sunday/;/this/s/Tuesday/Friday/'#操作五：“-f”选项，引入脚本文件作为sed的参数#还是用databook文件的前10行作为待处理的文本head -n 10 databook > temp#创建所作为sed参数的脚本文件SedOptionsecho 's/Steve/Bill/;s/Blenheim/Gates/;8,9 s/Karen Evich/KE/g ' > SedOptionscat temp | sed -f SedOptions#注意：无论在命令行中还是在脚本文件（SedOptions也可以称为源文件）中，都不需要单引号（''）#操作六：“-n”选项，使操作状态为quietcat temp | sed -n -f SedOptions#屏幕上不显示任何内容cat temp | sed -n -f SedOptions > tmp#可以看到tmp内容为空#即“-n”选项不在屏幕上输出任何内容，也无法使用重定向#知识点拓展：“p”参数，与-n选项配合使用#修改刚才的脚本文件SedOptionsecho 's/Steve Blenheim/Bill Gates/p;8 s/Karen Evich/KE/pg ' > SedOptionscat temp | sed -n -f SedOptions#屏幕上只输出了含有“Steve Blenheim”的行和第8行，相信大家已经注意到了“p”参数的作用，也就是打印做了标记的行#我们来试一下下面的指令echo 's/Steve/Bill/p;s/Blenheim/Gates/p ' > SedOptionscat temp | sed -n -f SedOptions#由于替换分为两次完成，每次替换之后都会做一次打印操作，因此，虽然该行只是完成了一次人名的替换，但在计算机看来，需要做两次打印操作#如果指令这样写，相信大家会看得更清楚一些cat temp | sed -n -e 's/Steve/Bill/p' -e 's/Blenheim/Gates/p'#常用操作：“-n”与“p”组合析取文本文件的某几行#取出第2至第4行cat temp | sed -n '2,4p'#取出第1和第3至4行cat temp | sed -n '1p;3,4p'#这个操作跟head或者tail类似，但是功能更加强大，比如head的显示的行数范围是0-99，而且，也不可以分段截取#操作七：“d”参数，删除行#删除某几行，如删除第1，2和第4行cat temp | sed '1,2 d;4 d'#删除包含单词“Steve Blenheim”的行，注意，不能删除某个特定的单词，只能针对行操作cat temp | sed '/Karen Evich/d'#此操作类似于cat temp | grep -v "Karen Evich"#常用操作：删除空白行，正则表达式“^$”表示以行末符开头，之前已经介绍过，可以用cat -A查看空白行的表示#我们稍微修改一下temp文件，插入一个空白行至如下cat temp | sed '/^$/d'#可以看到所有的空白行都被删除了#删除从第某行开始到含有某个单词的行，如从第1行开始到第1个含有单词“Karen”的行，注意行号“1”后面的逗号cat temp | sed '1,/Karen/ d'#删除从第2行开始，到第一个空白行cat temp | sed '2,/^$/ d'#知识点拓展：“!d”参数，保留行，效果和“d”参数相反#例如保留第1，2行cat temp | sed '1,2 !d'#注意，如果想保留第1，2行和第4行#这样得到的是空白文本，因为指令的执行分两部分，第一部分截取temp文件的第1，2行，第二部分（也就是分号之后的一部分）保留截取后文件的第四行，由于第四行不存在，因此，输出为空，除非用这样的方法cat temp | sed '1,4 !d;3d'#先截取了1-4行，再删除第三行#保留包含单词“Karen”的行cat temp | sed '/Karen/!d'#操作八：“a”参数，在行号之后添加行#在文件的某一行之后插入一个新行#为了方便我们截取datebook的前5行文本至temphead -n 5 databook > tempcat temp | sed '3a this is a new line'#知识点拓展：如果需要插入两行回车符需要用\n代替cat temp| sed '1a this is a new line\nthis is another new line'#常用操作：在文件末尾插入一个新行cat temp | sed '$a the end'#此操作等类似于echo the end >> temp#但不同的是，除非使用重定向的操作，否则sed操作并不对文件做出实质性的修改#操作九：“i”参数，在行号之前插入行，用法于“a”参数类似，不再赘述cat temp | sed '1i this is the first line'#操作十：“w”参数，覆盖写入文件，注意不是追加写入#将databook中的第一至三行写入temp文件中cat databook| sed '1,3 w temp'#知识点拓展：上述操作默认会在终端上显示DoSomeThing文件的所有内容，可以用“-n”关闭显示cat databook | sed -n '1,3 w temp'#操作十一：“r”参数，读入某个文件的内容#假设tmp文件的内容为“I come from a new file”cat temp| sed '1 r tmp'#以上指令将在第1行之后插入tmp文件的内容cat temp | sed '1,3 r tmp'#上述操作会在第1至第3行的每一行之后都插入tmp文件的内容#“r”参数同样支持匹配操作cat temp | sed '/Betty/ r tmp'#在含有单词“Betty”的所有行之后插入tmp文件的内容#操作十二：“c”参数，修改行值（也就是行的内容）#将temp中含有单词“Steve Blenheim”的行替换为，“Steve Jobs:::2/24/55:”cat temp | sed '/Steve Blenheim/c Steve Jobs:::2\/24\/55:'#注意是整行替换，不是单词替换，不要和“s”参数混淆#操作十三：“q”参数，提前终止操作#假设需要将temp中前2行的所有“：”替换为“|”，而第三行的不变cat temp | sed '1,2 s/:/|/g'#用之前教过的方法显然是有效的，但是也可以试试下面的指令cat temp | sed 's/:/|/g;2q'#注意到，在打印了前两行之后，程序就提前退出了，也就是说，对第3行及以后的行，没有执行任何操作#试试看让sed程序在碰到单词“Betty”后终止cat temp | sed 's/:/|/g;/Betty/q'#注意是在碰到“Betty”之后才停止，所以输出包括了Betty Boop所在的那一行#知识点拓展：取前若干行，功能比head强大，head的范围是0-99cat databook | sed -n '1,3p'#这是我们之前教过的截取前三行的办法，再试试下面这个cat databook | sed '3q'#操作十四：“n”参数，获取某一行的下一行，注意不是用于静默操作的“-n”选项cat temp | sed -n '1 {n;p;}'#知识点拓展：花括号“｛”内的是一组指令，也就是说，查找第一行的后一行和打印那一行，这两步是一起完成的，看一个更具体的例子cat temp | sed '1 {n;s/:/|/g}'#由于在花括号内，sed程序查找到了第2行，然后仅对第2行做了替换cat temp | sed '1 n;s/:/|/g'#由于没有花括号，sed程序查找到第2行，不做任何操作，然后对接下来的所有文本都做了替换#操作十五：“y”参数，转换某个字符sed '1 y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/' temp#看到，指令将第一行所有的字母转换为大写，注意与“s”参数的区别:“y”参数是按字母匹配的，而“s”参数是按字母组合匹配的，具体来看echo apple | sed 'y/ap/AP/'echo apple | sed 's/ap/AP/'#第一条指令的操作是遇到a替换为A，遇到p替换为P，而第二条指令，则是遇到ap替换为AP，如果没有ap这个组合，就不替换#知识点拓展：由于是按字母匹配，因此“y”参数不支持正则表达式附录I#一、尝试以下两个不同的表达式cat temp | sed -n '/Betty/p'cat temp | sed -n '\@Betty@p'#上述结果表明，如果不想用“/”作为分隔符，可以使用其他符号代替如“@”但在之前需要添加反斜线“\”#但如果命令中使用的是“s”参数，则不需要添加反斜线“\”cat temp | sed 's@Blenheim@Jobs@g'cat temp | sed 's/Blenheim/Jobs/g'#以上两条命令等价，这种方法在查找包含“/”的字符串时很方便，如路径名或生日等#二、如果斜线“/”本身是正则表达式的一部分，则在需要在其前面加上反斜线“\”cat temp | sed -n '/Steve/s/11\/12\/56/2\/24\/56/p'#把Steve Blenheim的出生日期修改为Jobs的生日（向帮主致敬）#想想刚才介绍的内容，如果这么写，是不是可读性增加很多cat temp | sed -n '/Steve/s@11/12/56@2/24/56@p'#三、“$”可以用于匹配到文本末尾cat databook | sed '3,$d'#从第3行开始删除到文本末尾#四、按行打印的时候，还可以使用如下方式，输出包含单词“Steve”到“Karen”之间的所有行cat databook| sed -n '/Steve/,/Karen/p'#五、设temp文件中的内容为人物名#如果需要置换人物的姓名cat temp | sed 's/\(^[A-Z].*\) \([A-Z].*\)$/\2 \1/'#指令的格式仍然为 sed 's/(正则表达式1)/(正则表达式2)/'#但是正则表达式1比较复杂，连续使用了两个"\(...\)"的表达方式#这样第一个"\(...\)"中的内容保存在“\1”中#第二个"\(...\)中的内容保存在“\2”中#在正则表达式2中颠倒了“\1”和“\2”的位置#具体表现则为，在第一行中：#"\1"=\(^[A-Z].*\)=Steve#"\2"=\([A-Z].*\)$=Jobs#中间的空格需要注意#因此，第一行从“Steve Jobs”变为“Jobs Steve”#其中表达式“.*”表示0或多个除换行符之外的字符（不能单独用“*”），因此上述的式子的意思是以大写字母打头，后接0个字符或多个字符，这样写是为了增加可读性，其实还可以简写为cat temp | sed 's/\(^.*\) \(.*\)$/\2 \1/'#关于元字符和正则表达式的内容，属于sed、grep、awk等工具的高级应用，因此，超过了“入门水平”的要求，但也是新手进阶必不可少的一个门槛，希望最后的关于置换名和姓的解释可以让大家都看懂，更多的知识点，在稍后发布的文档会有更新~附录II文件databook的内容：———————————————————————————————————Steve Blenheim:238-923-7366:95 Latham Lane, Easton, PA 83755:11/12/56:20300 Betty Boop:245-836-8357:635 Cutesy Lane, Hollywood, CA 91464:6/23/23:14500Igor Chevsky:385-375-8395:3567 Populus Place, Caldwell, NJ 23875:6/18/68:23400 Norma Corder:397-857-2735:74 Pine Street, Dearborn, MI 23874:3/28/45:245700 Jennifer Cowan:548-834-2348:583 Laurel Ave., Kingsville, TX 83745:10/1/35:58900 Jon DeLoach:408-253-3122:123 Park St., San Jose, CA 04086:7/25/53:85100Karen Evich:284-758-2857:23 Edgecliff Place, Lincoln, NB 92743:7/25/53:85100Karen Evich:284-758-2867:23 Edgecliff Place, Lincoln, NB 92743:11/3/35:58200Karen Evich:284-758-2867:23 Edgecliff Place, Lincoln, NB 92743:11/3/35:58200Fred Fardbarkle:674-843-1385:20 Parak Lane, Duluth, MN 23850:4/12/23:780900Fred Fardbarkle:674-843-1385:20 Parak Lane, Duluth, MN 23850:4/12/23:780900Lori Gortz:327-832-5728:3465 Mirlo Street, Peabody, MA 34756:10/2/65:35200Paco Gutierrez:835-365-1284:454 Easy Street, Decatur, IL 75732:2/28/53:123500 Ephram Hardy:293-259-5395:235 CarltonLane, Joliet, IL 73858:8/12/20:56700James Ikeda:834-938-8376:23445 Aster Ave., Allentown, NJ 83745:12/1/38:45000 Barbara Kertz:385-573-8326:832 Ponce Drive, Gary, IN 83756:12/1/46:268500Lesley Kirstin:408-456-1234:4 Harvard Square, Boston, MA 02133:4/22/62:52600 William Kopf:846-836-2837:6937 Ware Road, Milton, PA 93756:9/21/46:43500Sir Lancelot:837-835-8257:474 Camelot Boulevard, Bath, WY 28356:5/13/69:24500 Jesse Neal:408-233-8971:45 Rose Terrace, San Francisco, CA 92303:2/3/36:25000 Zippy Pinhead:834-823-8319:2356 Bizarro Ave., Farmount, IL 84357:1/1/67:89500Arthur Putie:923-835-8745:23 Wimp Lane, Kensington, DL 38758:8/31/69:126000 Popeye Sailor:156-454-3322:945 Bluto Street, Anywhere, USA 29358:3/19/35:22350 Jose Santiago:385-898-8357:38 Fife Way, Abilene, TX 39673:1/5/58:95600Tommy Savage:408-724-0140:1222 Oxbow Court, Sunnyvale, CA 94087:5/19/66:34200 Yukio Takeshida:387-827-1095:13 Uno Lane, Ashville, NC 23556:7/1/29:57000Vinh Tranh:438-910-7449:8235 Maple Street, Wilmington, VM 29085:9/23/63:68900。