忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 42740 | 回复: 18

[文本处理] 超大txt文本,复制50份,复制的txt依次将第一行放在最后一行。 [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-12 18:08 |显示全部楼层
超大txt文本(千万行数据),utf-8格式,复制50份,复制的txt依次将第一行放在最后一行。假如文本文件a.txt内容只有10行,第一行到第10行为1,2,3,4,5,6,7,8,9,10,复制一个文本文件b.txt内容变为2,3,4,5,6,7,8,9,10,1,再复制一个文本文件c.txt内容变为3,4,5,6,7,8,9,10,1,2,再复制一个文本文件d.txt内容变为4,5,6,7,8,9,10,1,2,3,依次内推,需要将超大txt文本复制50次(次数可调,一般为10次,20次,最多50次),请大神解决,win7操作系统。

论坛徽章:
108
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2016-08-12 20:01 |显示全部楼层
回复 1# wenjun3000

$ awk -vcp=3 '{if(NF<=cp)a[NR]=$0;for(n=1;n<=cp;++n)if(NR>n)print > "a"n".txt"}END{for(nr=1;nr<=cp;++nr)for(n=1;n<=cp;++n)if(nr<=n)print a[nr] > "a"n".txt"}' a.txt

$ head -n2 a[1-3].txt
==> a1.txt <==
2
3

==> a2.txt <==
3
4

==> a3.txt <==
4
5

$ tail -n4 a[1-3].txt
==> a1.txt <==
8
9
10
1

==> a2.txt <==
9
10
1
2

==> a3.txt <==
10
1
2
3

   

论坛徽章:
299
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-08-12 21:45 |显示全部楼层
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;
  4. use Tie::File;

  5. my ($oFile, $num, @aData) = ('a');
  6. tie (@aData, 'Tie::File', $oFile);
  7. $, = "\n";
  8. while (++$num < @aData){
  9.     my $nFile = $oFile . $num;
  10.     open (my $fhW, '>', $nFile);
  11.     print $fhW @aData[$num .. $#aData], "";
  12.     print $fhW @aData[0 .. $num - 1];
  13.     close ($fhW);
  14. }
复制代码
perl cc.pl
tail -n4 a[1-4]
-------------------------------------------------------------------------------
$ tail -n4 a[1-4]
==> a1 <==
8
9
10
1
==> a2 <==
9
10
1
2
==> a3 <==
10
1
2
3
==> a4 <==
1
2
3
4

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2016-08-12 21:56 |显示全部楼层
more 1.sh
  1. #!/bin/bash

  2. #注:
  3. #1.该脚本跟原始文件同目录
  4. #2.使用方法: ./1.sh 10 #表示复制10次
  5. num="$1"  #复制的次数
  6. srcFile="file" #原始文件名,此处假设原始文件名为file

  7. if [[ $# -ne 1 ]]; then
  8.     echo "Uage: ./`basename $0` 3"
  9.     exit
  10. fi

  11. for i in `seq "$num"`; do
  12.     cp "$srcFile" "$i".txt
  13.     # echo "$i"
  14.     if [[ $i -ne 1 ]]; then
  15.         j=$((i-1))
  16.         # echo "j=>$j"
  17.         sed -i -e '1,'"$j"'{w '"$j"'.bak' -e';d;q}'  "$i".txt
  18.         cat "$j".bak >> "$i".txt
  19.         rm "$j".bak
  20.     fi
  21. done
复制代码
  1. ./1.sh 3
  2. more *txt
复制代码
::::::::::::::
1.txt
::::::::::::::
1
2
3
4
5
6
7
8
9
10
::::::::::::::
2.txt
::::::::::::::
2
3
4
5
6
7
8
9
10
1
::::::::::::::
3.txt
::::::::::::::
3
4
5
6
7
8
9
10
1
2

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 12:35 |显示全部楼层
大神们,win7操作系统,linux不会操作啊,能否用 python或powershell等

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2016-08-14 13:40 |显示全部楼层

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 13:51 |显示全部楼层
多谢,我试试

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 15:53 |显示全部楼层
请问moperyblue,能否写下如何操作啊

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-08-14 16:32 |显示全部楼层
出现如下错误
QQ截图20160814163200.jpg

论坛徽章:
26
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之青岛
日期:2016-11-26 17:00:4615-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54
发表于 2016-08-14 18:27 |显示全部楼层
回复 9# wenjun3000


    好像缺少more命令
重新双击 setup-x86_64.exe 安装所需命令, 百度查一下如何安装新的命令.
您需要登录后才可以回帖 登录 | 注册

本版积分规则

【有奖调查】AI时代如何迎接未知挑战?

人工智能一直在医疗行业扮演着重要角色,最早的专家系统和后来的基因诊断都是人工智能技术在医疗的行业探索。近年来,随着深度学习等技术的进步,人工智能在医疗行业的应用领域不断扩展,医学影像智能诊断、语音电子病历、癌症智能诊断等均已逐渐成为热门发展方向。
而作为人工智能重要推动力的深度学习技术的快速发展却亟需认知系统的强力支撑。
----------------------------------------
活动时间:2017年5月15日-6月5日

调查入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP