论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2015-08-14 12:52 |只看该作者 |倒序浏览

本帖最后由 Piaomiao139 于 2015-08-14 12:55 编辑

想写一个爬网站的脚本
现在的思路是
1）.获取指定网站的类容
2）.根据指定网站获取随后网站的类容（也就是这个网站有多少url 根据相应的url在去爬其他网站）
现在问题来了。
#!/bin/bash
# this function is get url in html

filename=$1
lineinfonumber=
while read 'Line'
do

if [[ $Line == *[hH]ttp* ]]
then

lineinfonumber=`echo "$Line"|awk -F '"' '{print NF-1}'`
((printline= $lineinfonumber/2))
printstr=
for(( i=1;i<=$printline;i++))
do
   ((printnumber=$i*2))
   printstr=$printstr"$"$printnumber
done
echo $printstr
printin='$1$2'
echo "$Line" |awk -F '"' '{print '$printin'}'
echo "$Line" |awk -F '"' '{print '$printstr'}'
fi
done < $filename

在这：
echo $printstr
printin='$1$2'
echo "$Line" |awk -F '"' '{print '$printin'}'
echo "$Line" |awk -F '"' '{print '$printstr'}'
的时候根本无法使用这个变量    $printstr 反而直接定义的可以使用写了半天了完全没反应

有什么方法？
或者更简单的方法？

文库|博客

haooooaaa

大富大贵

论坛徽章:: 54

2楼 [报告]

发表于 2015-08-14 12:53 |只看该作者

awk -v ....

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Piaomiao139

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2015-08-14 12:53 |只看该作者

用while 是因为还要对每句的文本处理

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Piaomiao139

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2015-08-14 12:54 |只看该作者

回复 2# haooooaaa

不是awk -v
是为什么呢？
因为这样也可以使用变量的你试试哇

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Piaomiao139

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2015-08-14 12:56 |只看该作者

可以试试在print的时候是可以使用变量的
但是我在这里不可以就不知道为什么了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ly5066113

巨富豪门

论坛徽章:: 23

6楼 [报告]

发表于 2015-08-14 12:59 |只看该作者

回复 1# Piaomiao139

我这里是可以的：

$ printin='$1$2'
$ echo '1"2"3' | awk -F '"' '{print '$printin'}'
12

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Piaomiao139

白手起家

论坛徽章:: 0

7楼 [报告]

发表于 2015-08-14 13:04 |只看该作者

回复 6# ly5066113

对这样是可以但是你之前的是个变量就不可以了。完全不知道为什么。
Line='<!DOCTYPE html><html><head><meta http-equiv="X-UA-Compatible" content="IE=Edge" /><meta charset="utf-8" />'
lineinfonumber=`echo "$Line"|awk -F '"' '{print NF-1}'`
((printline= $lineinfonumber/2))
printstr=
for(( i=1;i<=$printline;i++))
do
   ((printnumber=$i*2))
   printstr=$printstr"$"$printnumber
done
echo $printstr
printin=`echo "$printstr"|sed 's/','$//g' `

printin='$1$2'
echo $printstr
echo $printin
echo "$Line" |awk -F '"' '{print '$printin'}'
echo "$Line" |awk -F '"' '{print '$printstr'}'
这样你试试哇

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

tuyajie

家境小康

论坛徽章:: 7

8楼 [报告]

发表于 2015-08-14 13:16 |只看该作者

本帖最后由 tuyajie 于 2015-08-14 13:21 编辑

[unar@Prod-UNAR-M1 s02_signals.cm_flight.cm_flight]$ a='$1,$2'
[unar@Prod-UNAR-M1 s02_signals.cm_flight.cm_flight]$ echo "1\"2" | awk -F'"' '{OFS=",";print '$a'}'
1,2
[jay.liu@aliCloud chinaUnix]$ awk --version
GNU Awk 4.0.1

复制代码

我解释不来了。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ly5066113

巨富豪门

论坛徽章:: 23

9楼 [报告]

发表于 2015-08-14 13:37 |只看该作者

回复 7# Piaomiao139

没发现什么问题，不是很正常么？

$ test.sh
$2$4$6
$2$4$6
$1$2
<!DOCTYPE html><html><head><meta http-equiv=X-UA-Compatible
X-UA-CompatibleIE=Edgeutf-8
$ cat test.sh
#! /bin/bash
Line='<!DOCTYPE html><html><head><meta http-equiv="X-UA-Compatible" content="IE=Edge" /><meta charset="utf-8" />'
lineinfonumber=`echo "$Line"|awk -F '"' '{print NF-1}'`
((printline= $lineinfonumber/2))
printstr=
for(( i=1;i<=$printline;i++))
do
((printnumber=$i*2))
printstr=$printstr"$"$printnumber
done
echo $printstr
printin=`echo "$printstr"|sed 's/','$//g' `
printin='$1$2'
echo $printstr
echo $printin
echo "$Line" |awk -F '"' '{print '$printin'}'
echo "$Line" |awk -F '"' '{print '$printstr'}'

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Piaomiao139

白手起家

论坛徽章:: 0

10楼 [报告]

发表于 2015-08-14 13:51 |只看该作者

回复 9# ly5066113

我的有问题不知道为什么换个环境正常。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › awk 使用变量以及更简单的方法

[文本处理] awk 使用变量 以及更简单的方法 [复制链接]

[文本处理] awk 使用变量以及更简单的方法 [复制链接]