shell sed 参数的问题

反引号和$()的区别是什么在公司事业部级的shell里提到了这么一条建议规范:建议所有在shell中使用反单引号执行bash命令的脚本统一使用$()进行替换 如:echo `ls` 替换为 echo $(ls)但Gaopei同学在整改代码的时候便出现了问题,一条shell语句直接终止,真是一条编程规范引发的血案 Shell
~ $ echo `df | sed 's////g' | tail -n 1`
/dev/sda2 24 51% windows
~ $ echo $(df | sed 's////g' | tail -n 1)
sed: -e 表达式 #1, 字符 10: 未终止的“s”命令?1234~ $ echo `df | sed 's////g' | tail -n 1` /dev/sda2
51% windows ~ $ echo $(df | sed 's////g' | tail -n 1) sed: -e 表达式 #1, 字符 10: 未终止的“s”命令?同样的命令用来直接替换是有问题,编程规范也有不规范的时候,问题出在哪里,反引号和$()的区别又是什么? 从告警上来看,必然是sed的出来问题,根据自己学的sed知识明显的可以发现问题所在:Shell
sed 's////g'1sed 's////g'缺少了一个反斜杠,导致第二个反斜杠作为匹配规则而非字符进行识别,匹配规则出错。正常结果应该为:Shell
~ $ echo $(df | sed 's////g' | tail -n 1) devsda2 24 51% windows1~ $ echo $(df | sed 's////g' | tail -n 1) devsda2
51% windows但反引号没有问题的原因是什么呢?通过观察结果发现,反引号的语句只替换了一个反斜杠,$()替换两个反斜杠,咦,难道是反引号可以递归转义特殊字符?Shell
echo `df | sed 's////g' | tail -n 1` devsda2 24 51% windows1echo `df | sed 's////g' | tail -n 1` devsda2
51% windows增加一个反斜杠结果一样 通过上面的可以看到反引号是可以多次转义的,而$()只能转义一次,同时bash默认的也是一次,根据KISS原则,编程规范建议强制使用$()而非反引号“,同时二者进行相互转换的时候需要注意。—结束—&–相关文章:* * * *shell脚本之sed使用----替换、变量、转义字符
shell脚本之sed使用----替换、变量、转义字符
[摘要:sed调换的根基语法为:
----s背面跟的是分开符,本字符串可以使用.*这类正则表达式举行整止调换
sed 's/本字符串/调换字符串/'
单引号内里,s透露表现调换,三根]
sed替换的基本语法为:
----s后面跟的是分隔符,原字符串可使用.*这种正则表达式进行整行替换
sed 's/原字符串/替换字符串/'
单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义,但是单引号”‘”是没有办法用反斜线”\”转义的,这时候只要把命令中的单引号改为双引号就行了,例如:
sed &s/原字符串包含'/替换字符串包含'/& //要处理的字符包含单引号
命令中的三根斜线分隔符可以换成别的符号,这在要替换的内容有较多斜线是较为方便,只需要紧跟s定义即可,例如换成问号”?”:
sed 's?原字符串?替换字符串?' //自定义分隔符为问号
可以在末尾加g替换每一个匹配的关键字,否则只替换每行的第一个,例如:
sed 's/原字符串/替换字符串/' //替换所有匹配关键字
上箭头”^”表示行首,美元”$”符号如果在引号中表示行尾,但是在引号外却表示末行(最后一行),这里犯二了,搜了半天哪个符号表示首行,半天才想起来,首行就是数字”1″啊.那么在行首和行尾添加字符串就是把行尾和行首替换,例如:
sed 's/^/添加的头部&/g' //在所有行首添加
sed 's/$/&添加的尾部/g' //在所有行末添加
sed '2s/原字符串/替换字符串/g' //替换第2行
sed '$s/原字符串/替换字符串/g' //替换最后一行
sed '2,5s/原字符串/替换字符串/g' //替换2到5行
sed '2,$s/原字符串/替换字符串/g' //替换2到最后一行
替换样式可以多个在同一条命令中执行,用分号”;”分隔,例如:
sed 's/^/添加的头部&/g;s/$/&添加的尾部/g' //同时执行两个替换规则
sed处理过的输出是直接输出到屏幕上的,要保存可以将输出重定向,或者使用参数”i”直接在文件中替换:
sed -i 's/原字符串/替换字符串/g' filename //替换文件中的所有匹配项
sed -i 's/原字符串/替换字符串/g' filename //替换文件中的所有匹配项
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
首先是Sed里使用变量的问题
网上有人总结了四种方案:
1.&eval sed 's/$a/$b/' filename
2.&sed &s/$a/$b/& filename
3.&.sed 's/'$a'/'$b'/' filename
4.&.sed s/$a/$b/ filename
我比较喜欢第二种,也就是:Sed后面的表达式一般用单引号引起来('),当需要使用变量时就换用双引号(&)。
关于单双引号的区别:
单引号:shell处理命令时,对其中的内容不做任何处理。即此时是引号内的内容是sed命令所定义的格式。
双引号:shell处理命令时,要对其中的内容进行算术扩展。如果想让shell扩展后得到sed命令所要的格式,使用命令:sed
-n &/\\\\$/p& haha,扩展后得到的结果即\\$.
因此对于语句类似:
$Comfilename=&/home/evan/sandbox/Main/&
1. echo $Comfilename | sed 's#\/#\\\/#g'
2. echo $Comfilename | sed &s#\/#\\\/#g&
第一个的结果是:\/home\/evan\/sandbox\/Main\/
而第二个还是:/home/evan/sandbox/Main/&因为双引号会将“\/“解释为”/“,所以sed
&s#\/#\\\/#g&被Shell解释成了sed s#/#\/#g&到sed里执行时又把”\/“转义为”/“了,这样相当于进行了了两次解释,就得不到想要的结果了。
这个例子告诉我当没必要用双引号的的时候就不要用,要不然说不定什么时候你就会很郁闷。当然单引号效率要比双引号高也是不要滥用双引号的原因之一。
言归正传,如何在sed的变量里使用那些特殊的需要转义的字符呢?
网上提出的一种方法是将sed里表示替换用的s后面的表示分隔用的字符换成别的变量里没有的字符这样就相当于变量里没有要转义的字符了。
sed –i &s# $Comfilename#/Root/#& filename.list
这是一个好办法。但很不幸我需要的是删除“d”不是替换“s“。当我把同样的方法用于删除时似乎没有起到作用:sed
–i &# $Comfilename#d& filename.list
于是只能自己手工先改写变量
$Comfilename=&/home/evan/sandbox/Main/&
Tempname=` echo $Comfilename | sed 's#\/#\\\/#g'`&&(这里把反单引号执行的结果给临时变量,同样的方法可以改写其他需要转义的符号。)
sed –i &# $ Tempname #d& filename.list
感谢关注 Ithao123Shell频道,是专门为互联网人打造的学习交流平台,全面满足互联网人工作与学习需求,更多互联网资讯尽在 IThao123!
Laravel是一套简洁、优雅的PHP Web开发框架(PHP Web Framework)。它可以让你从面条一样杂乱的代码中解脱出来;它可以帮你构建一个完美的网络APP,而且每行代码都可以简洁、富于表达力。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
产品设计是互联网产品经理的核心能力,一个好的产品经理一定在产品设计方面有扎实的功底,本专题将从互联网产品设计的几个方面谈谈产品设计
随着国内互联网的发展,产品经理岗位需求大幅增加,在国内,从事产品工作的大部分岗位为产品经理,其实现实中,很多从事产品工作的岗位是不能称为产品经理,主要原因是对产品经理的职责不明确,那产品经理的职责有哪些,本专题将详细介绍产品经理的主要职责
IThao123周刊shell中sed用法 - 长颈鹿Giraffe - 博客园
今天有个同学问我一个问题: 用shell命令将test.log文件中第3-5行的第2个&filter&替换成&haha&
其实我对各种shell命令也不是特别熟,于是又现学了一个强大的sed命令。
sed简单的介绍:sed命令可实现删除(delete)、改变(change)、添加(append)、插入(insert)、合并、交换文件中的资料行,或读入其它档的资料到文件中,也可替换(substuite)它们其中的字串、或转换(tranfer)其中的字母等等。例如将文件中的连续空白行删成一行、"local"字串替换成"remote"、"t"字母转换成"T"、将第10行资料与第11资料合并等。另外有两点比较重要的(1)sed总是以行对输入进行处理;(2)sed处理的不是原文件而是原文件的拷贝。
sed 编辑指令的格式如下 :
sed option [address1[,address2]]function[argument]
其中 , option比较常用的有-e,-i,-f,-n他们的含义如下:
-e:执行命令行中的指令,例如:sed -e 'command' file(s)
-f:执行一个sed脚本文件中的指令,例如: sed -f&&scriptfile file(s)
-i:与-e的区别在于:当使用-e时,sed执行指令并不会修改原输入文件的内容,只会显示在bash中,而使用-i选项时,sed执行的指令会直接修改原输入文件。
-n:读取下一行到pattern space。 这个选项具体可以参考该文章:《linux:sed高级命令之n、N》&
位址参数 address1 、address2 为行数或 regular expression 字串 , 表示所执行编辑的资料行; 函数参数 function[argument] 为 sed 的内定函数 , 表示执行的编辑动作。
下面两小节 , 将仔细介绍位址参数的表示法与有哪些函数参数供选择。(1)位址(address)参数的表示法实际上 , 位址参数表示法只是将要编辑的资料行 , 用它们的行数或其中的字串来代替表示它们。下面举几个例子说明 :删除档内第 10 行资料 , 则指令为 10d。(d表示删除function,下面的例子中的也是一样)删除含有 "man" 字串的资料行时 , 则指令为 /man/d。删除档内第 10 行到第 200 行资料, 则指令为 10,200d。删除档内第 10 行到含 "man" 字串的资料行 , 则指令为 10,/man/d。接下来 , 以位址参数的内容与其个数两点 , 完整说明指令中位址参数的表示法(同样也以函数参数 d 为例)。位址参数的内容:位址为十进位数字 : 此数字表示行数。当指令执行时 , 将对符合此行数的资料执行函数参数指示的编辑动作。例如 ,删除资料档中的第 15 行资料 , 则指令为 15d。其余类推 ,如删除输入文件中的第 m 行, 则指令为 md 。位址为 regular expression时:当资料行中有符合 regular expression 所表示的字串时 , 则执行函数参数指示的编辑动作。
另外 , 在regular expression 前後必须加上 "/"。例如指令为 /t.*t/d , 表示删除所有含两 "t" 字母的资料行。其中 , "."表示任意字元; "*" 表示其前字元可重任意次 , 它们结合 ".*" 表示两 "t" 字母间的任意字串。位址参数的个数 : 在指令中 , 当没有位址参数时 , 表示全部资料行执行函数参数所指示的编辑动作; 当只有一位址参数时 , 表示只有符合位址的资料行才编辑 ; 当有两个位址参数 , 如 address1,address2 时 , 表示对资料区执行编辑 , address1 代表起始资料行 , address2 代表结束资料行。
(2)有哪些函数(function)参数下面介绍所有 sed 的函数参数的功能。
= &印出资料行数( line number )。a & 添加使用者输入的资料。b & label 将执行的指令跳至由 : 建立的参考位置。c & 以使用者输入的资料取代资料。d &删除资料。D &删除 pattern space 内第一个 newline 字母 前的资料。g & 拷贝资料从 hold space。G &添加资料从 hold space 至 pattern space 。h &拷贝资料从 pattern space 至 hold space 。H &添加资料从 pattern space 至 hold space 。l & 印出 l 资料中的 nonprinting character 用 ASCII 码。i & 插入添加使用者输入的资料行。n &读入下一笔资料。N &添加下一笔资料到 pattern space。p &印出资料。P &印出 pattern space 内第一个 newline 字母 前的资料。q &跳出 sed 编辑。r &读入它档内容。s &替换字串。w &写资料到它档内。x &交换 hold space 与 pattern space 内容。y &转换(transform)字元。
虽然 , sed 只有上表所述几个拥有基本编辑功能的函数 , 但由指令中位址参数和指令与指令间的配合 , 也能使sed 完成大部份的编辑任务。
下面是一些实例说明:
删除:d命令$ sed '2d' example-----删除example文件的第二行。$ sed '2,$d' example-----删除example文件的第二行到末尾所有行。$ sed '$d' example-----删除example文件的最后一行。$ sed '/test/'d example-----删除example文件所有包含test的行。&&&&&&&
替换:s命令$ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记,则只有每行第一个匹配的test被替换成mytest。$ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印它。$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost,变成192.168.0.1localhost。$ sed -n 's/\(love\)able/\1rs/p' example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。$ sed 's#10#100#g' example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,&#&在这里是分隔符,代替了默认的&/&分隔符。表示把所有10替换成100。
选定行的范围:逗号$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。$ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换。&&&&&&&&
多点编辑:e命令$ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。$ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。从文件读入:r命令$ sed '/test/r file' example-----file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。写入文件:w命令$ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。追加命令:a命令&$ sed '/^test/a\\---&this is a example' example&-----'this is a example'被追加到以test开头的行后面,sed要求命令a后面有一个反斜杠。插入:i命令$ sed '/test/i\\new line-------------------------' example如果test被匹配,则把反斜杠后面的文本插入到匹配行的前面。下一个:n命令&$ sed '/test/{ s/aa/bb/; }' example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。变形:y命令$ sed '1,10y/abcde/ABCDE/' example-----把1--10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令。退出:q命令$ sed '10q' example-----打印完第10行后,退出sed。保持和获取:h命令和G命令$ sed -e '/test/h' -e '$G example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将 打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保 持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中 的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。保持和互换:h命令和x命令&$ sed -e '/test/h' -e '/check/x' example -----互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。
还有更多实例可以该文章参考:《收集整理比较全 shell sed 命令与实例教程》
最后,回到最初提到的那个问题:用shell命令将test.log文件中第3-5行的第2个&filter&替换成&haha&
学习过上面的之后很容易就知道一行命令就能解决:
sed -i '3,5s/filter/haha/2' test.log

我要回帖

更多关于 shell sed 参数 的文章

 

随机推荐