Chinaunix

标题: 如何提高计算的效率 [打印本页]

作者: radarruan 时间: 2008-07-27 21:24
标题: 如何提高计算的效率
我用shell来计算一个文本的数据，文本大概有6万行，文本放在/root/shell/shuju.txt
我写了一个相加的小脚本
#!/bin/sh
sum=0

while read line
do
let sum=sum+line
done</root/shell/shuju.txt
echo $sum
但是运行的效率很低，每个数字相加，都会显示出相加结果，我怎么修改才能显示最后的相加结果啊，中间的相加结果我不需要显示

作者: 爱知 时间: 2008-07-27 21:38
$cat b.sh
#!/bin/bash
while read line
do
let sum=sum+line
done</root/shell/shuju.txt>/dev/null
echo "sum=$sum"
exit
用nice调整优先级运行

作者: 爱知 时间: 2008-07-27 21:42

原帖由 radarruan 于 2008-7-27 21:24 发表
每个数字相加，都会显示出相加结果

我运行你的脚本的时候并不显示每个数字相加的结果

作者: walkerxk 时间: 2008-07-27 21:43
我这不会每次都显示，你可以试试cat /root/shell/shuju.txt|tr '\n' '+'|sed 's/+\?$/\n/'|bc

作者: radarruan 时间: 2008-07-27 21:48
标题: 回复 #4 walkerxk 的帖子
谢谢各位，我试下

作者: q1208c 时间: 2008-07-27 21:51
换成perl吧. 会快些.

作者: jinl 时间: 2008-07-27 21:52
awk '{sum+=$1} END{print sum}' /root/shell/shuju.txt

作者: 爱知 时间: 2008-07-27 22:04
怎么提高效率

作者: 爱知 时间: 2008-07-27 22:06

原帖由 walkerxk 于 2008-7-27 21:43 发表
cat /root/shell/shuju.txt|tr '\n' '+'|sed 's/+\?$/\n/'|bc

独到
但
$cat a
1
12
13
34

$cat a|tr '\n' '+'|sed 's/+\?$/\n/'|bc
(standard_in) 2: parse error
$
怎么出现错误了
还没学bc呢
是否语法错误

[ 本帖最后由爱知于 2008-7-27 22:12 编辑 ]

作者: jinl 时间: 2008-07-27 22:11

原帖由 walkerxk 于 2008-7-27 21:43 发表
我这不会每次都显示，你可以试试cat /root/shell/shuju.txt|tr '\n' '+'|sed 's/+\?$/\n/'|bc

多次管道会增加系统调用的开销,个人觉得这种方法降低了效率

作者: 无声无息 时间: 2008-07-27 22:12

原帖由爱知于 2008-7-27 21:42 发表

我运行你的脚本的时候并不显示每个数字相加的结果

因为echo在done之后

作者: 爱知 时间: 2008-07-27 22:15

原帖由 无声无息 于 2008-7-27 22:12 发表

因为echo在done之后

但版主运行时，出现了

作者: 无声无息 时间: 2008-07-27 22:15
标题: 回复 #7 jinl 的帖子
支持用awk来做

作者: liaosnet 时间: 2008-07-27 22:18
awk一下就好了

awk '{s += $1}END{print s}' ufile

作者: 爱知 时间: 2008-07-27 22:19
怎么才算提高效率？

作者: jinl 时间: 2008-07-27 22:25

原帖由爱知于 2008-7-27 22:19 发表
怎么才算提高效率？

达到同样的结果,用的时间更少,我认为这个就算提高了效率

作者: forlorngenius 时间: 2008-07-27 22:39
#!/usr/bin/perl -w
use strict;

open FH_IN, "/root/shell/shuju.txt";
my $sum=0;
while (<FH_IN>)
{
chomp;
$sum += $_;
}

print $sum,"\n";

作者: forlorngenius 时间: 2008-07-27 22:40
标题: 回复 #14 liaosnet 的帖子
好简洁

作者: walkerxk 时间: 2008-07-27 22:55

原帖由 jinl 于 2008-7-27 22:11 发表

多次管道会增加系统调用的开销,个人觉得这种方法降低了效率

果然，谢谢提醒，测试了一下，好像都没有比LZ的方法快多少。

作者: walkerxk 时间: 2008-07-27 22:57

原帖由爱知于 2008-7-27 22:06 发表

独到
但
$cat a
1
12
13
34

$cat a|tr '\n' '+'|sed 's/+\?$/\n/'|bc
(standard_in) 2: parse error
$
怎么出现错误了
还没学bc呢
是否语法错误

cat /root/shell/shuju.txt|tr '\n' '+'|sed 's/+\?$/\n/'看看结果。

作者: 爱知 时间: 2008-07-27 22:58

原帖由 jinl 于 2008-7-27 22:25 发表

达到同样的结果,用的时间更少,我认为这个就算提高了效率

提高效率的原则是什么？
shell中

作者: 爱知 时间: 2008-07-27 23:01

原帖由 walkerxk 于 2008-7-27 22:57 发表

cat /root/shell/shuju.txt|tr '\n' '+'|sed 's/+\?$/\n/'看看结果。

是
$cat a|tr '\n' '+'|sed 's/+\?$/\n/'
1+12+13+34+
$
a file最后一行是空格

[ 本帖最后由爱知于 2008-7-27 23:02 编辑 ]

作者: eeeef 时间: 2008-07-27 23:02
标题: 回复 #21 爱知的帖子
shell似乎不太关心效率问题。
这个很少考虑

作者: walkerxk 时间: 2008-07-27 23:08
把\?改成*就行了，我没有考虑两个\n的情况。

作者: jinl 时间: 2008-07-27 23:09

原帖由爱知于 2008-7-27 22:58 发表

提高效率的原则是什么？
shell中

针对shell 脚本,如果你考虑优化,提高效率,我认为主要是减少文件i/o的次数和系统调用的次数
最简单的例子就是 cat file|grep "***" 这样的语句完全可以利用grep "***" file来取代

作者: 爱知 时间: 2008-07-27 23:11

原帖由 walkerxk 于 2008-7-27 23:08 发表
把\?改成*就行了，我没有考虑两个\n的情况。

$cat a|tr '\n' '+'|sed 's/+\*$/\n/'|bc
(standard_in) 1: parse error
$
still failure

作者: 爱知 时间: 2008-07-27 23:14
$cat a|tr '\n' '+'|sed 's/+\+$/\n/'|bc
60
$
改成＋正确执行

作者: walkerxk 时间: 2008-07-27 23:39
改成*不是\*，如果你用\+的话，如果对方的shuju.txt没有\n结尾，那么bc也会报错。

作者: 寂寞烈火 时间: 2008-07-28 02:07
管道过多会影响效率! awk/perl应该是最好选择!

作者: walkerxk 时间: 2008-07-28 09:51
其实shell的特点是简单，如果追求效率，应该用perl或者是c，当然，如果用shell处理大文件的时候还是要注意一下效率的问题的。

作者: 7717060 时间: 2008-07-28 09:53
cat fileurl | wc -l 可以用time测试一下

作者: Shell_HAT 时间: 2008-07-28 15:16
标题: 回复 #14 liaosnet 的帖子
还是awk简洁

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)