免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 8241 | 回复: 17
打印 上一主题 下一主题

[文本处理] 寻找一个天外飞仙级的shell命令 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-07-31 17:22 |只看该作者 |倒序浏览
20可用积分

目录有8G大小
目录下还有子目录
子目录下放着网页源码文件

需要从该目录下把所有域名提取出来
比如说http://www.baidu.com这样的
把baidu.com这部分提取出来就可以

内存只有512,求一个效率比较高的shell命令,谢谢

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
2 [报告]
发表于 2013-07-31 17:43 |只看该作者
  1. grep -Proh '(?<=http://www.)([\d\w][.]?)+'  $urdir
复制代码
姑且试试

论坛徽章:
0
3 [报告]
发表于 2013-07-31 19:06 |只看该作者
回复 2# reyleon

这个命令遇到像http://music.baidu.com这样的就提取不了了
还有没有加强版的


   

论坛徽章:
0
4 [报告]
发表于 2013-07-31 21:49 |只看该作者
grep -Por "\..*\.*" | sed "s/^.//g" $urdir

试试这个

论坛徽章:
0
5 [报告]
发表于 2013-07-31 21:49 |只看该作者
grep -Por "\..*\.*" | sed "s/^.//g" $urdir

试试这个

论坛徽章:
13
双鱼座
日期:2013-10-23 09:30:05数据库技术版块每日发帖之星
日期:2016-04-20 06:20:00程序设计版块每日发帖之星
日期:2016-03-09 06:20:002015亚冠之塔什干火车头
日期:2015-11-02 10:07:452015亚冠之德黑兰石油
日期:2015-08-30 10:07:07数据库技术版块每日发帖之星
日期:2015-08-28 06:20:00数据库技术版块每日发帖之星
日期:2015-08-05 06:20:002015年迎新春徽章
日期:2015-03-04 09:57:09辰龙
日期:2014-12-03 14:45:52酉鸡
日期:2014-07-23 09:46:23亥猪
日期:2014-03-13 08:46:22金牛座
日期:2014-02-11 09:36:21
6 [报告]
发表于 2013-08-01 08:36 |只看该作者
echo http://music.baidu.com | sed 's/^[^\.]*\.\(.*\)/\1/'

论坛徽章:
13
双鱼座
日期:2013-10-23 09:30:05数据库技术版块每日发帖之星
日期:2016-04-20 06:20:00程序设计版块每日发帖之星
日期:2016-03-09 06:20:002015亚冠之塔什干火车头
日期:2015-11-02 10:07:452015亚冠之德黑兰石油
日期:2015-08-30 10:07:07数据库技术版块每日发帖之星
日期:2015-08-28 06:20:00数据库技术版块每日发帖之星
日期:2015-08-05 06:20:002015年迎新春徽章
日期:2015-03-04 09:57:09辰龙
日期:2014-12-03 14:45:52酉鸡
日期:2014-07-23 09:46:23亥猪
日期:2014-03-13 08:46:22金牛座
日期:2014-02-11 09:36:21
7 [报告]
发表于 2013-08-01 08:40 |只看该作者
echo http://www.xx.baidu.com | grep -oP '(?<=\.).*'

echo http://www.xx.baidu.com | cut -d'.' -f 2-

echo http://www.xx.baidu.com | awk -vFS='.' '{for(i=2;i<NF;i++){printf $i FS};printf $NF}'

论坛徽章:
0
8 [报告]
发表于 2013-08-01 10:50 |只看该作者
perl应该更高效,不过我不会。

论坛徽章:
1
技术图书徽章
日期:2013-08-30 10:47:12
9 [报告]
发表于 2013-08-01 15:14 |只看该作者
awk -F "." '{print$2"."$3}'
要那个字段就截取那个呗

论坛徽章:
2
2015年亚洲杯之巴勒斯坦
日期:2015-02-15 12:11:292015年辞旧岁徽章
日期:2015-03-03 16:54:15
10 [报告]
发表于 2013-08-01 15:19 |只看该作者
LZ 没有说清楚,是要解析文件里面的内容呢?还是文件名?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP