免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 46355 | 回复: 18

[文本处理] 超大txt文本,复制50份,复制的txt依次将第一行放在最后一行。 [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-12 18:08 |显示全部楼层
超大txt文本(千万行数据),utf-8格式,复制50份,复制的txt依次将第一行放在最后一行。假如文本文件a.txt内容只有10行,第一行到第10行为1,2,3,4,5,6,7,8,9,10,复制一个文本文件b.txt内容变为2,3,4,5,6,7,8,9,10,1,再复制一个文本文件c.txt内容变为3,4,5,6,7,8,9,10,1,2,再复制一个文本文件d.txt内容变为4,5,6,7,8,9,10,1,2,3,依次内推,需要将超大txt文本复制50次(次数可调,一般为10次,20次,最多50次),请大神解决,win7操作系统。

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2016-08-12 20:01 |显示全部楼层
回复 1# wenjun3000

$ awk -vcp=3 '{if(NF<=cp)a[NR]=$0;for(n=1;n<=cp;++n)if(NR>n)print > "a"n".txt"}END{for(nr=1;nr<=cp;++nr)for(n=1;n<=cp;++n)if(nr<=n)print a[nr] > "a"n".txt"}' a.txt

$ head -n2 a[1-3].txt
==> a1.txt <==
2
3

==> a2.txt <==
3
4

==> a3.txt <==
4
5

$ tail -n4 a[1-3].txt
==> a1.txt <==
8
9
10
1

==> a2.txt <==
9
10
1
2

==> a3.txt <==
10
1
2
3

   

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-08-12 21:45 |显示全部楼层
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;
  4. use Tie::File;

  5. my ($oFile, $num, @aData) = ('a');
  6. tie (@aData, 'Tie::File', $oFile);
  7. $, = "\n";
  8. while (++$num < @aData){
  9.     my $nFile = $oFile . $num;
  10.     open (my $fhW, '>', $nFile);
  11.     print $fhW @aData[$num .. $#aData], "";
  12.     print $fhW @aData[0 .. $num - 1];
  13.     close ($fhW);
  14. }
复制代码
perl cc.pl
tail -n4 a[1-4]
-------------------------------------------------------------------------------
$ tail -n4 a[1-4]
==> a1 <==
8
9
10
1
==> a2 <==
9
10
1
2
==> a3 <==
10
1
2
3
==> a4 <==
1
2
3
4

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-12 21:56 |显示全部楼层
more 1.sh
  1. #!/bin/bash

  2. #注:
  3. #1.该脚本跟原始文件同目录
  4. #2.使用方法: ./1.sh 10 #表示复制10次
  5. num="$1"  #复制的次数
  6. srcFile="file" #原始文件名,此处假设原始文件名为file

  7. if [[ $# -ne 1 ]]; then
  8.     echo "Uage: ./`basename $0` 3"
  9.     exit
  10. fi

  11. for i in `seq "$num"`; do
  12.     cp "$srcFile" "$i".txt
  13.     # echo "$i"
  14.     if [[ $i -ne 1 ]]; then
  15.         j=$((i-1))
  16.         # echo "j=>$j"
  17.         sed -i -e '1,'"$j"'{w '"$j"'.bak' -e';d;q}'  "$i".txt
  18.         cat "$j".bak >> "$i".txt
  19.         rm "$j".bak
  20.     fi
  21. done
复制代码
  1. ./1.sh 3
  2. more *txt
复制代码
::::::::::::::
1.txt
::::::::::::::
1
2
3
4
5
6
7
8
9
10
::::::::::::::
2.txt
::::::::::::::
2
3
4
5
6
7
8
9
10
1
::::::::::::::
3.txt
::::::::::::::
3
4
5
6
7
8
9
10
1
2

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 12:35 |显示全部楼层
大神们,win7操作系统,linux不会操作啊,能否用 python或powershell等

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-14 13:40 |显示全部楼层

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 13:51 |显示全部楼层
多谢,我试试

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 15:53 |显示全部楼层
请问moperyblue,能否写下如何操作啊

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 16:32 |显示全部楼层
出现如下错误
QQ截图20160814163200.jpg

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-08-14 18:27 |显示全部楼层
回复 9# wenjun3000


    好像缺少more命令
重新双击 setup-x86_64.exe 安装所需命令, 百度查一下如何安装新的命令.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP