免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1162 | 回复: 4

[文本处理] 10000的文件如何1000行1000行的操作 [复制链接]

论坛徽章:
0
发表于 2016-11-23 18:16 |显示全部楼层
大家好,我有个10000行的A文件,想1000行1000行的来读取,每1000行和另外一个B文件的行内容查询是否一致。请问能否实现最后输出10个数,分别表示读取A文件10次(每次读取1000行,按顺序读),在另外一个文件B里查询到的个数。我简单的写了一下,实现不了
cat 1.txt |for (i=1;i<=10000;i+1000){sed -n 'i,(i+1000)p'} |awk 'NR==FNR{x[$1]=$0}NR>FNR{if(x[$1])print x[$1]}' - LB.id
请各位高手帮忙指教。

论坛徽章:
1
15-16赛季CBA联赛之江苏
日期:2016-10-26 16:19:04
发表于 2016-11-23 18:40 |显示全部楼层
#!/bin/bash
#
for((i=0;i<=100000;i=i+1000))
do
sed -n '$i,$i+999p' |awk 'NR==FNR{a[$0]=$0;next}a[$0]{print $0}' file1 file2
done
不知道可以不

论坛徽章:
154
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5720周年集字徽章-年
日期:2022-10-26 16:44:2015-16赛季CBA联赛之深圳
日期:2022-11-02 14:02:4515-16赛季CBA联赛之八一
日期:2022-11-28 12:07:4820周年集字徽章-20	
日期:2023-07-19 08:49:4515-16赛季CBA联赛之八一
日期:2023-11-04 19:23:5115-16赛季CBA联赛之广夏
日期:2023-12-13 18:09:34
发表于 2016-11-24 09:05 |显示全部楼层
sed -n '$i,$i+999p' |awk 'NR==FNR{a[$0]=$0;next}a[$0]{print $0}' file1 file2


ok

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-11-24 10:57 |显示全部楼层

最终要实现什么效果? 有样例数据吗?

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-11-24 16:30 |显示全部楼层
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;
  4. use Tie::File;

  5. tie (my @aA, 'Tie::File', shift);
  6. tie (my @aB, 'Tie::File', shift);

  7. for (my $n = 999; $n < scalar (@aA); $n += 1000){
  8.     #your codes is here
  9. }

  10. untie (@aA);
  11. untie (@aB);
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP