• Bash的24个陷阱分析
    时间:2010-11-25   作者:佚名   出处:互联网

    今天想分析的是这篇Bash Pitfalls, 介绍了一些bash编程中的经典错误。fcicq说可能不适合初学者,而我认为,正是bash编程的初学者才应该好好阅读一下这篇文章。 下面就逐个分析一下这篇文章中提到的错误。不是完全的翻译,有些没用的话就略过了,有些地方则加了些注释。

    1. for i in `ls *.mp3`

    常见的错误写法:

    for i in `ls *.mp3`; do     # Wrong!

    为什么错误呢?因为for...in语句是按照空白来分词的,包含空格的文件名会被拆 成多个词。如遇到 01 - Don't Eat the Yellow Snow.mp3 时,i的值会依次取 01,-,Don't,等等。

    用双引号也不行,它会将ls *.mp3的全部结果当成一个词来处理。

    for i in "`ls *.mp3`"; do   # Wrong!

    正确的写法是

    for i in *.mp3; do

    2. cp $file $target

    这句话基本上正确,但同样有空格 分词的问题。所以应当用双引号:

    cp "$file" "$target"

    但是如果凑巧文件名以 - 开头,这个文件名会被 cp 当作命令行选项来处理,依旧很头疼。可以试试下面这个。

    cp -- "$file" "$target"

    运气差点的再碰上一个不支持 -- 选项的系统,那只能用下面的方法了:使每个变量都以目录开头。

    for i in ./*.mp3; do  cp "$i" /target  ...

    3. [ $foo = "bar" ]

    当$foo为空时,上面的命令就变成了

    [ = "bar" ]

    类似地,当$foo包 含空格时:

    [ multiple words here = "bar" ]

    两者都会出错。所以应当用双引号将变量括起来:

    [ "$foo" = bar ]      # 几乎完美了。

    但是!当$foo以 - 开头时依然会有问题。在较新的bash中你可以用下面的方法来代替,[[ 关键字能正确处理空白、空格、带横线等问题。

    [[ $foo = bar ]]      # 正确

    旧版本bash中可以用这个技巧(虽然不好理解):

    [ x"$foo" = xbar ]    # 正确

    或者干脆把变量放在右边,因为 [ 命令的等号右边即使是空白或是横线开头,依然能正常工作。(Java编程风格中也有类似的做法,虽然目的不一样。)

    [ bar = "$foo" ]      # 正确

    4. cd `dirname "$f"`

    同样也存在空格问题。那么加上引号吧。

    cd "`dirname "$f"`"

    问题来了,是不是写错了?由于双引号的嵌套,你会认为`dirname 是第一个字符串,`是第二个字符串。错了,那是C语言。在bash中,命令替换(反引号``中的内容)里面的双引号会被正确地匹配到一起,不用特意去转 义。

    $()语法也相同,如下面的写法是正确的。

    cd "$(dirname "$f")"

    5. [ "$foo" = bar && "$bar" = foo ]

    [ 中不能使用 && 符号!因为 [ 的实质是 test 命令,&& 会把这一行分成两个命令的。应该用以下的写法。

    [ bar = "$foo" -a foo = "$bar" ]       # Right![ bar = "$foo" ] && [ foo = "$bar" ]   # Also right![[ $foo = bar && $bar = foo ]]         # Also right!

    6. [[ $foo > 7 ]]

    很可惜 [[ 只适用于字符串,不能做数字比较。数字比较应当这样写:

    (( $foo > 7 ))

    或者用经典的写法:

    [ $foo -gt 7 ]

    但上述使用 -gt 的写法有个问题,那就是当 $foo 不是数字时就会出错。你必须做好类型检验。

    这样写也行。

    [[ $foo -gt 7 ]]

    7. grep foo bar | while read line; do ((count++) ); done

    由于格式问题,标题中我多加了一个空格。实际的代码应该是这 样的:

    grep foo bar | while read line; do ((count++)); done         # 错误!

    这行代码数出bar文件中包含foo的行数,虽然很麻烦(等同于grep -c foo bar或者 grep foo bar | wc -l)。乍一看没有问题,但执行之后count变量却没有值。因为管道中的每个命令都放到一个新的子shell中执行,所以子shell中定义的 count变量无法传递出来。

    8. if [grep foo myfile]

    初学者常犯的错误,就是将 if 语句后面的 [ 当作if语法的一部分。实际上它是一个命令,相当于 test 命令,而不是 if 语法。这一点C程序员特别应当注意。

    if 会将 if 到 then 之间的所有命令的返回值当作判断条件。因此上面的语句应当写成

    if grep foo myfile > /dev/null; then

    9. if [bar="$foo"]

    同样,[ 是个命令,不是 if 语句的一部分,所以要注意空格。

    if [ bar = "$foo" ]

    10. if [ [ a = b ] && [ c = d ] ]

    同样的问题,[ 不是 if 语句的一部分,当然也不是改变逻辑判断的括号。它是一个命令。可能C程序员比较容易犯这个错误?

    if [ a = b ] && [ c = d ]        # 正确

    11. cat file | sed s/foo/bar/ > file

    不能在同一条管道操作中同时读写一个文 件。根据管道的实现方式,file要么被截断成0字节,要么会无限增长直到填满整个硬盘。如果想改变原文件的内容,只能先将输出写到临时文件中再用mv命 令。

    sed 's/foo/bar/g' file > tmpfile && mv tmpfile file

    12. echo $foo

    这句话还有什么错误码?一般来说是正确的,但下面的例子就有问题了。

    MSG="Please enter a file name of the form *.zip"echo $MSG         # 错误!

    如果恰巧当前目录下有zip文件,就会显示成

    Please enter a file name of the form freenfss.zip lw35nfss.zip

    所以即使是echo也别忘记给变量加引号。

    13. $foo=bar

    变 量赋值时无需加 $ 符号——这不是Perl或PHP。

    14. foo = bar

    变量赋值时等号两侧不能加空格——这不是C语言。

    15. echo <<EOF

    here document是个好东西,它可以输出成段的文字而不用加引号也不用考虑换行符的处理问题。不过here document输出时应当使用cat而不是echo。

    # This is wrong:echo <<EOFHello worldEOF# This is right:cat <<EOFHello worldEOF

    16. su -c 'some command'

    原文的意思是,这条基本上正确,但使用者的目的是要将 -c 'some command' 传给shell。而恰好 su 有个 -c 参数,所以su 只会将 'some command' 传给shell。所以应该这么写:

    su root -c 'some command'

    但是在我的平台上,man su 的结果中关于 -c 的解释为

    -c, --commmand=COMMAND            pass a single COMMAND to the shell with -c

    也就是说,-c 'some command' 同样会将 -c 'some command' 这样一个字符串传递给shell,和这条就不符合了。不管怎样,先将这一条写在这里吧。

    17. cd /foo; bar

    cd 有可能会出错,出错后 bar 命令就会在你预想不到的目录里执行了。所以一定要记得判断cd的返回值。

    cd /foo && bar

    如果你要根据cd的返回值执行多条命令,可以用 ||。

    cd /foo || exit 1;barbaz

    关于目录的一点题外话,假设你要在shell程序中频繁变换工作目录,如下面的 代码:

    find ... -type d | while read subdir; do  cd "$subdir" && whatever && ... && cd -done

    不如这样写:

    find ... -type d | while read subdir; do  (cd "$subdir" && whatever && ...)done

    括号会强制启动一个子shell,这样在这个子shell中改变工作目录不会影 响父shell(执行这个脚本的shell),就可以省掉cd - 的麻烦。

    你 也可以灵活运用 pushd、popd、dirs 等命令来控制工作目录。

    18. [ bar == "$foo" ]

    [ 命令中不能用 ==,应当写成

    [ bar = "$foo" ] && echo yes[[ bar == $foo ]] && echo yes

    19. for i in {1..10}; do ./something &; done

    & 后面不应该再放 ; ,因为 & 已经起到了语句分隔符的作用,无需再用;。

    for i in {1..10}; do ./something & done

    20. cmd1 && cmd2 || cmd3

    有人喜欢用这种格式来代替 if...then...else 结构,但其实并不完全一样。如果cmd2返回一个非真值,那么cmd3则会被执行。所以还是老老实实地用 if cmd1; then cmd2; else cmd3 为好。

    21. UTF-8的BOM(Byte-Order Marks)问题

    UTF- 8编码可以在文件开头用几个字节来表示编码的字节顺序,这几个字节称为BOM。但Unix格式的UTF-8编码不需要BOM。多余的BOM会影响 shell解析,特别是开头的 #!/bin/sh 之类的指令将会无法识别。

    MS-DOS格式的换行符(CRLF)也存在同样的问题。如果你将shell程序保存成DOS格式,脚本就无法执行了。

    $ ./dos-bash: ./dos: /bin/sh^M: bad interpreter: No such file or directory

    22. echo "Hello World!"

    交互执行这条命令会产生以下的错误:

    -bash: !": event not found

    因为 !" 会被当作命令行历史替换的符号来处理。不过在shell脚本中没有这样的问题。

    不幸的是,你无法使用转义符来转义!:

    $ echo "hi\!"hi\!

    解决方案之一,使用单引号,即

    $ echo 'Hello, world!'

    如果你必须使用双引号,可以试试通过 set +H 来取消命令行历史替换。

    set +Hecho "Hello, world!"

    23. for arg in $*

    $*表示所 有命令行参数,所以你可能想这样写来逐个处理参数,但参数中包含空格时就会失败。如:

    #!/bin/bash# Incorrect versionfor x in $*; do  echo "parameter: '$x'"done$ ./myscript 'arg 1' arg2 arg3parameter: 'arg'parameter: '1'parameter: 'arg2'parameter: 'arg3'

    正确的方法是使用 "$@"。

    #!/bin/bash# Correct versionfor x in "$@"; do  echo "parameter: '$x'"done$ ./myscript 'arg 1' arg2 arg3parameter: 'arg 1'parameter: 'arg2'parameter: 'arg3'

    在 bash 的手册中对 $* 和 $@ 的说明如下:

    *    Expands to the positional parameters, starting from one.       When the expansion occurs within double quotes, it      expands to a single word with the value of each parameter      separated by the first character of the IFS special variable.       That is, "$*" is equivalent to "$1c$2c...",@    Expands to the positional parameters, starting from one.      When the expansion occurs within double quotes, each      parameter expands to a separate word.  That  is,  "$@"       is equivalent to "$1" "$2" ...

    可见,不加引号时 $* 和 $@ 是相同的,但"$*" 会被扩展成一个字符串,而 "$@" 会被扩展成每一个参数。

    24. function foo()

    在bash中没有问题,但其他 shell中有可能出错。不要把 function 和括号一起使用。最为保险的做法是使用括号,即

    foo() {  ...}

    原帖:

       http://tech.idv2.com/2008/01/09/bash-pitfalls/

    感谢fcicq,他的new 30 days系列为我们带来了不少好文章。

    今天想分析 的是这篇Bash Pitfalls, 介绍了一些bash编程中的经典错误。fcicq说可能不适合初学者,而我认为,正是bash编程的初学者才应该好好阅读一下这篇文章。

    下 面就逐个分析一下这篇文章中提到的错误。不是完全的翻译,有些没用的话就略过了,有些地方则加了些注释。

    1. for i in `ls *.mp3`

    常见的错误写法:

    for i in `ls *.mp3`; do     # Wrong!

    为 什么错误呢?因为for...in语句是按照空白来分词的,包含空格的文件名会被拆成多个词。如遇到 01 - Don't Eat the Yellow Snow.mp3 时,i的值会依次取 01,-,Don't,等等。

    用双引号也不行,它会将ls *.mp3的全部结果当成一个词来处理。

    for i in "`ls *.mp3`"; do   # Wrong!

    正 确的写法是

    for i in *.mp3; do

    2. cp $file $target

    这句话 基本上正确,但同样有空格分词的问题。所以应当用双引号:

    cp "$file" "$target"

    但是如果凑巧文 件名以 - 开头,这个文件名会被 cp 当作命令行选项来处理,依旧很头疼。可以试试下面这个。

    cp -- "$file" "$target"

    运 气差点的再碰上一个不支持 -- 选项的系统,那只能用下面的方法了:使每个变量都以目录开头。

    for i in ./*.mp3; do  cp "$i" /target  ...

    3. [ $foo = "bar" ]

    当$foo为空时,上面的命令就变成了

    [ = "bar" ]

    类 似地,当$foo包含空格时:

    [ multiple words here = "bar" ]

    两者都会出错。所以 应当用双引号将变量括起来:

    [ "$foo" = bar ]      # 几乎完美了。

    但是!当$foo以 - 开头时依然会有问题。在较新的bash中你可以用下面的方法来代替,[[ 关键字能正确处理空白、空格、带横线等问题。

    [[ $foo = bar ]]      # 正确

    旧 版本bash中可以用这个技巧(虽然不好理解):

    [ x"$foo" = xbar ]    # 正确

    或者干脆把 变量放在右边,因为 [ 命令的等号右边即使是空白或是横线开头,依然能正常工作。(Java编程风格中也有类似的做法,虽然目的不一样。)

    [ bar = "$foo" ]      # 正确

    4. cd `dirname "$f"`

    同样也存在空格问题。那么加上引号吧。

    cd "`dirname "$f"`"

    问 题来了,是不是写错了?由于双引号的嵌套,你会认为`dirname 是第一个字符串,`是第二个字符串。错了,那是C语言。在bash中,命令替换(反引号``中的内容)里面的双引号会被正确地匹配到一起,不用特意去转 义。

    $()语法也相同,如下面的写法是正确的。

    cd "$(dirname "$f")"

    5. [ "$foo" = bar && "$bar" = foo ]

    [ 中不能使用 && 符号!因为 [ 的实质是 test 命令,&& 会把这一行分成两个命令的。应该用以下的写法。

    [ bar = "$foo" -a foo = "$bar" ]       # Right![ bar = "$foo" ] && [ foo = "$bar" ]   # Also right![[ $foo = bar && $bar = foo ]]         # Also right!

    6. [[ $foo > 7 ]]

    很可惜 [[ 只适用于字符串,不能做数字比较。数字比较应当这样写:

    (( $foo > 7 ))

    或 者用经典的写法:

    [ $foo -gt 7 ]

    但上述使用 -gt 的写法有个问题,那就是当 $foo 不是数字时就会出错。你必须做好类型检验。

    这样写也行。

    [[ $foo -gt 7 ]]

    7. grep foo bar | while read line; do ((count++) ); done

    由于格式问题,标题中我 多加了一个空格。实际的代码应该是这样的:

    grep foo bar | while read line; do ((count++)); done         # 错误!

    这 行代码数出bar文件中包含foo的行数,虽然很麻烦(等同于grep -c foo bar或者 grep foo bar | wc -l)。乍一看没有问题,但执行之后count变量却没有值。因为管道中的每个命令都放到一个新的子shell中执行,所以子shell中定义的 count变量无法传递出来。

    8. if [grep foo myfile]

    初学者常犯的错误,就是将 if 语句后面的 [ 当作if语法的一部分。实际上它是一个命令,相当于 test 命令,而不是 if 语法。这一点C程序员特别应当注意。

    if 会将 if 到 then 之间的所有命令的返回值当作判断条件。因此上面的语句应当写成

    if grep foo myfile > /dev/null; then

    9. if [bar="$foo"]

    同样,[ 是个命令,不是 if 语句的一部分,所以要注意空格。

    if [ bar = "$foo" ]

    10. if [ [ a = b ] && [ c = d ] ]

    同样的问题,[ 不是 if 语句的一部分,当然也不是改变逻辑判断的括号。它是一个命令。可能C程序员比较容易犯这个错误?

    if [ a = b ] && [ c = d ]        # 正确

    11. cat file | sed s/foo/bar/ > file

    不能在同一条管道操作 中同时读写一个文件。根据管道的实现方式,file要么被截断成0字节,要么会无限增长直到填满整个硬盘。如果想改变原文件的内容,只能先将输出写到临时 文件中再用mv命令。

    sed 's/foo/bar/g' file > tmpfile && mv tmpfile file

    12. echo $foo

    这句话还有什么错误码?一般来说是正确的,但下面的例子就有问题了。

    MSG="Please enter a file name of the form *.zip"echo $MSG         # 错误!

    如 果恰巧当前目录下有zip文件,就会显示成

    Please enter a file name of the form freenfss.zip lw35nfss.zip

    所 以即使是echo也别忘记给变量加引号。

    13. $foo=bar

    变量赋值时无需加 $ 符号——这不是Perl或PHP。

    14. foo = bar

    变量赋值时等号两侧不能加空格——这不是C语言。

    15. echo <<EOF

    here document是个好东西,它可以输出成段的文字而不用加引号也不用考虑换行符的处理问题。不过here document输出时应当使用cat而不是echo。

    # This is wrong:echo <<EOFHello worldEOF# This is right:cat <<EOFHello worldEOF

    16. su -c 'some command'

    原文的意思是,这条基本上正确,但使用者的目的是要将 -c 'some command' 传给shell。而恰好 su 有个 -c 参数,所以su 只会将 'some command' 传给shell。所以应该这么写:

    su root -c 'some command'

    但 是在我的平台上,man su 的结果中关于 -c 的解释为

    -c, --commmand=COMMAND            pass a single COMMAND to the shell with -c

    也 就是说,-c 'some command' 同样会将 -c 'some command' 这样一个字符串传递给shell,和这条就不符合了。不管怎样,先将这一条写在这里吧。

    17. cd /foo; bar

    cd 有可能会出错,出错后 bar 命令就会在你预想不到的目录里执行了。所以一定要记得判断cd的返回值。

    cd /foo && bar

    如 果你要根据cd的返回值执行多条命令,可以用 ||。

    cd /foo || exit 1;barbaz

    关于目录的 一点题外话,假设你要在shell程序中频繁变换工作目录,如下面的代码:

    find ... -type d | while read subdir; do  cd "$subdir" && whatever && ... && cd -done

    不 如这样写:

    find ... -type d | while read subdir; do  (cd "$subdir" && whatever && ...)done

    括 号会强制启动一个子shell,这样在这个子shell中改变工作目录不会影响父shell(执行这个脚本的shell),就可以省掉cd - 的麻烦。

    你 也可以灵活运用 pushd、popd、dirs 等命令来控制工作目录。

    18. [ bar == "$foo" ]

    [ 命令中不能用 ==,应当写成

    [ bar = "$foo" ] && echo yes[[ bar == $foo ]] && echo yes

    19. for i in {1..10}; do ./something &; done

    & 后面不应该再放 ; ,因为 & 已经起到了语句分隔符的作用,无需再用;。

    for i in {1..10}; do ./something & done

    20. cmd1 && cmd2 || cmd3

    有人喜欢用这种格式来代替 if...then...else 结构,但其实并不完全一样。如果cmd2返回一个非真值,那么cmd3则会被执行。所以还是老老实实地用 if cmd1; then cmd2; else cmd3 为好。

    21. UTF-8的BOM(Byte-Order Marks)问题

    UTF-8编码可以在 文件开头用几个字节来表示编码的字节顺序,这几个字节称为BOM。但Unix格式的UTF-8编码不需要BOM。多余的BOM会影响shell解析,特别 是开头的 #!/bin/sh 之类的指令将会无法识别。

    MS-DOS格式的换行符(CRLF)也存在同样的问题。如果你将shell程序 保存成DOS格式,脚本就无法执行了。

    $ ./dos-bash: ./dos: /bin/sh^M: bad interpreter: No such file or directory

    22. echo "Hello World!"

    交互执行这条命令会产生以下的错误:

    -bash: !": event not found

    因 为 !" 会被当作命令行历史替换的符号来处理。不过在shell脚本中没有这样的问题。

    不幸的是,你无法使用转义符来转义!:

    $ echo "hi\!"hi\!

    解 决方案之一,使用单引号,即

    $ echo 'Hello, world!'

    如果你必须使用双引号,可以试试通过 set +H 来取消命令行历史替换。

    set +Hecho "Hello, world!"

    23. for arg in $*

    $*表示所有命令行参数,所以你可能想这样写来逐个处理参数,但参数中包含空格时就会失败。如:

    #!/bin/bash# Incorrect versionfor x in $*; do  echo "parameter: '$x'"done$ ./myscript 'arg 1' arg2 arg3parameter: 'arg'parameter: '1'parameter: 'arg2'parameter: 'arg3'

    正 确的方法是使用 "$@"。

    #!/bin/bash# Correct versionfor x in "$@"; do  echo "parameter: '$x'"done$ ./myscript 'arg 1' arg2 arg3parameter: 'arg 1'parameter: 'arg2'parameter: 'arg3'

    在 bash 的手册中对 $* 和 $@ 的说明如下:

    *    Expands to the positional parameters, starting from one.       When the expansion occurs within double quotes, it      expands to a single word with the value of each parameter      separated by the first character of the IFS special variable.       That is, "$*" is equivalent to "$1c$2c...",@    Expands to the positional parameters, starting from one.      When the expansion occurs within double quotes, each      parameter expands to a separate word.  That  is,  "$@"       is equivalent to "$1" "$2" ...

    可 见,不加引号时 $* 和 $@ 是相同的,但"$*" 会被扩展成一个字符串,而 "$@" 会被扩展成每一个参数。

    24. function foo()

    在bash中没有问题,但其他shell中有可能出错。不要把 function 和括号一起使用。最为保险的做法是使用括号,即

    foo() {  ...}

    网友留言/评论

    我要留言/评论