免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1999 | 回复: 8
打印 上一主题 下一主题

[文本处理] shell如何读取一个文本文件里面的随机一行(要求是:取出的这一行字节数要大于10个... [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-08-21 22:35 |只看该作者 |倒序浏览
shell如何读取一个文本文件里面的随机一行?(要求是:取出的这一行字节数要大于10个字符,小于20个字符,且这一行里面不能含有英文字母)

用shuf可以随机去除行,但怎么去匹配规则弄不好。

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
2 [报告]
发表于 2016-08-21 23:08 |只看该作者
数据文件大吗?大概多少行?

论坛徽章:
0
3 [报告]
发表于 2016-08-21 23:29 |只看该作者
本帖最后由 sofs 于 2016-08-21 23:34 编辑

文件不大,都是小于100k的。
大概300到700行左右。
主要是中文,有些行夹杂着英文字母和数字。

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
4 [报告]
发表于 2016-08-22 00:01 |只看该作者
可以将 字节数要大于10个字符,小于20个字符,且这一行里面不能含有英文字母 的行放在一个数组 或 文件中
然后用shuf的值去取其中一行就行了

有数据吗

论坛徽章:
0
5 [报告]
发表于 2016-08-22 09:19 |只看该作者
用这个测试吧。

吉日兮辰良,穆将愉兮上皇;
抚玉珥,璆锵鸣兮琳琅;
瑶盍将把兮琼芳;
蕙兰藉,奠桂酒兮椒浆;
扬鼓,疏缓节兮安歌;
陈浩倡;
灵fff兮满堂;
五繁会,君欣欣兮乐康。


浴沐芳,华采衣兮若英;
灵既留,烂昭昭兮未央;
謇寿ffdsf兮齐光;
龙服ffdsf周章;
灵既ffdsf兮云中;
览有ffdsf兮焉穷;
思夫君兮太ffdsf兮忡忡;

湘君
君不行兮夷犹,蹇谁留兮中洲;
美要眇兮宜修,沛吾乘
令沅湘兮无波,使江水
望夫君兮未来,吹参差
驾飞龙兮fds23邅吾道
薜荔柏兮fds23荪桡兮
望涔阳兮fds23横大江
扬灵兮未fds23婵媛兮
横流涕兮fds23隐思君
桂棹兮兰fds23冰兮积
采薜荔兮fds23搴芙蓉
心不同兮fds23恩不甚
石濑兮浅浅ddd翩翩;
交不忠兮怨长,期不信;
朝骋骛兮江皋,夕弭节
鸟次兮屋上,水周兮堂
捐余玦兮江中,遗余佩
采芳洲兮杜若,将以遗
时不可兮再得,聊逍遥

湘夫人
帝子降兮北渚,目眇眇兮愁予;
袅袅兮秋风,洞庭波下;
登白薠兮骋望,与
鸟何萃兮苹中,罾通:蘋)
沅有茝兮醴有兰,
荒忽兮远望,观流
麋何tre兮庭中,蛟
朝驰tre马兮江皋,
闻佳tre兮召余,将
筑室tre水中,葺之
荪壁tre紫坛,播芳
桂栋兮兰橑,辛夷
罔薜荔兮aaa蕙櫋
白玉兮为镇,疏石
芷葺兮荷屋,缭之
合百草兮实庭,建
九嶷缤兮并迎,灵
捐余袂兮江中,遗
搴汀洲兮杜若,将
时不可兮骤得,聊逍遥兮容与!

大司命
广开兮天门,纷吾乘兮玄云;
令飘风兮先驱,使涷雨兮洒尘;
君回翔兮以下,逾空桑兮从女;
纷总总兮九州,何寿夭兮在予;
高飞兮安cc气兮御阴
吾与君兮齐速,导帝
灵衣兮被被,玉佩兮
一阴兮一阳,众莫知
折疏麻兮瑶华,将以
老冉冉兮既极,不寖
乘龙兮ccc兮冲天;
结桂枝兮延伫,羌愈
愁人兮奈何,愿若今
固人命兮有当,孰离

少司命
秋兰兮麋芜,罗生兮
绿叶兮素华,芳菲菲
夫人兮自有美子,荪
秋兰兮青青,绿叶兮

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
6 [报告]
发表于 2016-08-22 10:11 |只看该作者

$ awk 'function chk(){if(length<10)next}{chk();s=$0;if(gsub("[A-Z0-9a-z]",""))next;gsub("[,;!:)。]","");chk();a[c++]=s}END{srand();print a[int(rand()*c)]}' FILE
时不可兮骤得,聊逍遥兮容与!

$ awk 'function chk(){if(length<10)next}{chk();s=$0;if(gsub("[A-Z0-9a-z]",""))next;gsub("[,;!:)。]","");chk();a[c++]=s}END{srand();print a[int(rand()*c)]}' FILE
令飘风兮先驱,使涷雨兮洒尘;

$ awk 'function chk(){if(length<10)next}{chk();s=$0;if(gsub("[A-Z0-9a-z]",""))next;gsub("[,;!:)。]","");chk();a[c++]=s}END{srand();print a[int(rand()*c)]}' FILE
君回翔兮以下,逾空桑兮从女;

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2016-08-22 11:04 |只看该作者
  1. awk 'length($0)>10 && length($0)<20 && !/[A-Za-z]/{print|"shuf|tail -1"}' 1.txt
复制代码

?

论坛徽章:
4
程序设计版块每日发帖之星
日期:2016-08-11 06:20:00数据库技术版块每日发帖之星
日期:2016-08-13 06:20:00程序设计版块每日发帖之星
日期:2016-08-14 06:20:00数据库技术版块每日发帖之星
日期:2016-08-14 06:20:00
8 [报告]
发表于 2016-08-22 16:51 |只看该作者
  1. root@localhost:~# cat file | egrep -v "[a-zA-Z]" | egrep '.{10,20}' | awk '{a[NR]=$0}END{srand();i=int(rand()*NR+1);print a[i]}'
  2. 令飘风兮先驱,使涷雨兮洒尘;
复制代码

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
9 [报告]
发表于 2016-08-22 17:24 |只看该作者
本帖最后由 sunzhiguolu 于 2016-08-22 17:36 编辑
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;
  4. use utf8;

  5. binmode (STDIN, ':encoding(utf8)');
  6. binmode (STDOUT, ':encoding(utf8)');

  7. my @aData;
  8. while (<>){
  9.     chomp;
  10.     (my $str = $_) =~ s/[\p{P})]//g;
  11.     next if (length ($str) < 10 or length ($str) > 20);
  12.     next if ($str =~ /[a-z]/i);
  13.     push (@aData, $_);
  14. }
  15. print $aData[int (rand @aData)], "\n";
复制代码

cat f|perl abc.pl
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP