免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3035 | 回复: 4
打印 上一主题 下一主题

[文本处理] 从网页中取出指定文字 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-11-08 19:13 |只看该作者 |倒序浏览
例如:
有一个网页:
    ....
   <dd><a  href="/2323.html">中国人</a></dd>
    <dd><a  href="/2323.html">中国人</a></dd>
<dd><a  href="/2323.html">中国人</a></dd>
    ...


需要结果:
...
/2323.html          中国人
/2323.html          中国人
/2323.html          中国人
...
)
不知道为什么我的pattern单独是正确的,用在sed   grep 等里面就不行了(声明:我的终端cat的文件是乱码的,vim打开却不是,求解决方法,:wink:

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
2 [报告]
发表于 2013-11-08 19:21 |只看该作者
  1. [root@localhost ~]# cat j
  2.    <dd><a  href="/2323.html">中国人</a></dd>
  3.     <dd><a  href="/2323.html">中国人</a></dd>
  4. <dd><a  href="/2323.html">中国人</a></dd>
  5. [root@localhost ~]# sed -r 's/.*href="([^"]*)">([^<]*).*/\1\t\2/' j
  6. /2323.html      中国人
  7. /2323.html      中国人
  8. /2323.html      中国人
  9. [root@localhost ~]#
复制代码

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
3 [报告]
发表于 2013-11-08 19:26 |只看该作者
  1. sed -r '/href/!d;s/.*href="([^"]+)">([^<]+)<.*/\1\t\2/g'
复制代码

论坛徽章:
0
4 [报告]
发表于 2013-11-08 19:27 |只看该作者
回复 2# yestreenstars


    谢了,我明白了  是编码的问题。

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
5 [报告]
发表于 2013-11-08 19:47 |只看该作者
  1. sed -rn 's#.*href="([^"]+).*>([^<]+).*#\1 \2#p' a.txt   

  2. 第二个awk有点小问题,求大神指点。

  3. awk -F'[<>]' '{sub(".*href="," ",$4);print $4,$5}' a.txt
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP