怎么控制每次只连接100个地址

1soft

/etc/a.sh里的内容

#!/bin/sh
cat /tmp/url.txt | grep -v '^#' | while read line
do
chameleon=`echo $line | awk -F ',' '{print $1}'`
bx=$(lynx -mime_header -accept_all_cookies -head $chameleon |
grep 'Content-Length:')
echo "$chameleon $bx" >>/tmp/url_done.txt
done


/tmp/url.txt里的内容
http://www.abc.com/1.exe
http://www.abc.com/2.exe
http://www.abc.com/3.exe

url.txt里如果内容太多，比如10000个就会出现错误，
怎么让每次只连接100个地址，连接完成后，再连接100

rdcwayx

大概的意思是这样的，

i=1
sed '$i,$i+100' url.txt
i=$i+101

自己做个循环。

1soft

看不懂,能不能根据我上面的代码，帮我修改进去

或根据这代码修改
for url in `cat /tmp/url.txt`
do
{
echo " $url"
bx=$(lynx -mime_header -accept_all_cookies -head $url | grep 'Content-Length:')
echo $bx
}
done

[ 本帖最后由 1soft 于 2007-5-4 11:10 编辑 ]

rdcwayx

for url in `sed '1,100'p /tmp/url.txt`
do
{
echo " $url"
bx=$(lynx -mime_header -accept_all_cookies -head $url | grep 'Content-Length:')
echo $bx
}
done

这个例子就只执行前一百行,你自己在加个循环,就可以了.

1soft

没有执行到100，全执行完了
500个地址全被一次连接了

fangdingj

原帖由 rdcwayx 于 2007-5-4 12:40 发表
for url in `sed '1,100'p /tmp/url.txt`

sed -n '1,100p' /tmp/url.txt

1soft

这样可以
检查100个就停止了，我想让它继续检查全部，
每次100个，一直到完成url.txt里全部的地址
每个地址延时10秒，就当废弃地址，自动跳过去，要怎么写呢




可能是我没说清楚
比如url.txt里有10000个地址
如果一下检查全部地址，系统会出错
只好每次检查一部分，分段的把全部的地址检查完毕这样

[ 本帖最后由 1soft 于 2007-5-4 15:41 编辑 ]

fangdingj

你的文件超大不要用cat
在while read line;do 里面区配^#应该不会出错

1soft

#!/bin/sh
while read line
do
chameleon=`echo $line | awk -F ',' '{print $1}'`
bx=$(lynx -mime_header -accept_all_cookies -head $chameleon | grep 'Content-Le
ngth:')
echo "$chameleon $bx" >>/tmp/done.txt
done</tmp/url.txt

这样一次读一行，怎么修改让一次读100行呢

[ 本帖最后由 1soft 于 2007-5-4 17:43 编辑 ]