忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 683 | 回复: 11

[文本处理] 如何删除大文件的前面几行 [复制链接]

论坛徽章:
0
发表于 2017-06-14 03:07 |显示全部楼层
特大文本文件,接近1亿行

[root@Dev-Mysql clinvar]# cat  ClinVarFullRelease_2017-06.xml | wc -l
95538180
[root@Dev-Mysql clinvar]# sed -i '4,251d' ClinVarFullRelease_2017-06.xml

第二个命令要花两三分钟才返回结果,有什么办法可以加快这种删除动作?

论坛徽章:
0
发表于 2017-06-14 11:31 |显示全部楼层
当然受限于磁盘速度。
powershell + 文件流 + 二进制方式读写可以做到。而且速度不慢。

论坛徽章:
105
ChinaUnix元老
日期:2015-02-02 08:55:39CU十二周年纪念徽章
日期:2015-02-02 08:55:50午马
日期:2014-04-30 10:30:44双子座
日期:2013-08-20 08:22:52双鱼座
日期:2013-08-20 17:47:58丑牛
日期:2013-09-13 13:10:45水瓶座
日期:2013-09-13 21:15:33寅虎
日期:2013-09-25 11:23:51戌狗
日期:2013-09-26 13:21:25丑牛
日期:2013-09-26 14:23:42亥猪
日期:2013-09-27 17:42:00亥猪
日期:2013-09-27 17:45:14
发表于 2017-06-14 14:26 |显示全部楼层
  1. head -n 3 1.txt > 2.txt
  2. tail -n -`echo $((95538180-251))` 1.txt >> 2.txt
复制代码

这样速度如何?

论坛徽章:
0
发表于 2017-06-15 11:08 |显示全部楼层

你好,
在分析一个巨大的文件
[root@Dev-Mysql clinvar]# sed -i '4,251d' ClinVarFullRelease_2017-06.xml

4和251这两个行号是我一个循环中获得的变量。

对于这个巨大的文件,是个xml文件,xml的格式很规范,
我需要将它截断成数万个小文件。
<特定标识>
...
...
</特定标识>

[root@Dev-Mysql clinvar]# cat analyzer.sh
#!/bin/bash
SED=/bin/sed
GREP=/bin/grep
HEAD=/usr/bin/head
OBJ_F=/data/clinvar/ClinVarFullRelease_2017-06.xml
RES_D=/data/clinvar/individual1706/
MID_F=/data/clinvar/individual1706/.mid.txt
${HEAD} -10000 ${OBJ_F} > ${MID_F}
CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
echo $STR_N
echo $END_N
until [ -z ${STR_N} ]
do
       CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
       echo $CVS_ID
       RES_F=${RES_D}${CVS_ID}.xml
       ${SED} -n "${STR_N},${END_N}p"  ${MID_F} > ${RES_F}
       ${SED} -i "${STR_N},${END_N}d" ${OBJ_F}
       ${HEAD} -10000 ${OBJ_F} > ${MID_F}
       STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
       echo $STR_N
       END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
done

论坛徽章:
0
发表于 2017-06-15 11:08 |显示全部楼层

你好,
在分析一个巨大的文件
[root@Dev-Mysql clinvar]# sed -i '4,251d' ClinVarFullRelease_2017-06.xml

4和251这两个行号是我一个循环中获得的变量。

对于这个巨大的文件,是个xml文件,xml的格式很规范,
我需要将它截断成数万个小文件。
<特定标识>
...
...
</特定标识>

[root@Dev-Mysql clinvar]# cat analyzer.sh
#!/bin/bash
SED=/bin/sed
GREP=/bin/grep
HEAD=/usr/bin/head
OBJ_F=/data/clinvar/ClinVarFullRelease_2017-06.xml
RES_D=/data/clinvar/individual1706/
MID_F=/data/clinvar/individual1706/.mid.txt
${HEAD} -10000 ${OBJ_F} > ${MID_F}
CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
echo $STR_N
echo $END_N
until [ -z ${STR_N} ]
do
       CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
       echo $CVS_ID
       RES_F=${RES_D}${CVS_ID}.xml
       ${SED} -n "${STR_N},${END_N}p"  ${MID_F} > ${RES_F}
       ${SED} -i "${STR_N},${END_N}d" ${OBJ_F}
       ${HEAD} -10000 ${OBJ_F} > ${MID_F}
       STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
       echo $STR_N
       END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
done

论坛徽章:
0
发表于 2017-06-15 12:19 |显示全部楼层
1 大文件去头和xml解析是两回事。文件用2进制方法打开,从原理上就比,行打开,快。
2 用shell解析xml是蠢方法。ps,py解析xml比shell简单很多倍。
http://bbs.chinaunix.net/thread-4259293-1-1.html
http://bbs.chinaunix.net/thread-4261462-1-1.html

3我用ps解析过20mb的xml,再大没用过。
3.1我认为如果行数固定,应该线分割,再解析。
3.2分割后,可以用ps的多线程,多进程,来提速解析,抽值。


论坛徽章:
110
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2017-06-15 17:06 |显示全部楼层
回复 4# XQKA

>>对于这个巨大的文件,是个xml文件,xml的格式很规范,
>>我需要将它截断成数万个小文件。

直接说怎么处理


1. input file: XML file
2. procedure rule
3. output file: lot of file

don't forget to give us a small example ...

论坛徽章:
0
发表于 2017-06-16 09:44 |显示全部楼层
本友会机友会摄友会 发表于 2017-06-15 12:19
1 大文件去头和xml解析是两回事。文件用2进制方法打开,从原理上就比,行打开,快。
2 用shell解析xml是蠢 ...

不是大文件去头,而是我用shell脚本去 顺序截取xlm文件里的有规律的数据。
我的脚本是用一个循环来处理此事,
每一轮循环截取一段有规律的数据,从整个过程来看,这样的截取是按xml顺序的。
每一轮循环中,我需要对被当轮截取过的源文件变更持久化,用到以下代码:
sed -i '4,251d' ClinVarFullRelease_2017-06.xml
shell脚本慢就慢在这里,

于是,我将问题简化为“如何删除大文件的前几行”

1.ps,Python不会,shell略懂
2.并发的方法我想过,人为的将源文件拆成10个,10个对应的脚本一起跑,我的源文件有5Gb,拆成10个500Mb也是慢的。
当前脚本是3分钟拆1个
-rw-r--r-- 1 root root   8943 Jun 16 09:20 18489192.xml
-rw-r--r-- 1 root root  10911 Jun 16 09:23 18489193.xml
-rw-r--r-- 1 root root  10759 Jun 16 09:27 18489194.xml
-rw-r--r-- 1 root root 103368 Jun 16 09:30 18489195.xml
-rw-r--r-- 1 root root   8363 Jun 16 09:33 18489196.xml

论坛徽章:
0
发表于 2017-06-16 12:16 |显示全部楼层
楼主你好,我又来讨论了。你的问题我又思考了。
1 xml的最大有点是:装载结构复杂数据,树形数据。吊打json,吊打yaml,无数据结构能代替。
2最大的缺点是,太大无法存储,查改也不方便。因此人们开发出了各种存储方法。
2。1 关系型数据库,存储查询。sqlserver,oracle12。
2。2xml数据库。Berkeley DB XML,basex等。basex和其他几个是java的我不喜欢。看来只能暂时用Berkeley DB XML。支持256tb。支持xpath查改。具体请看:
http://www.oracle.com/technetwork/cn/database/berkeleydb/index-091787-zhs.html

3嗯,各种shell是散兵游勇+土匪。还是用上面的2种正规军靠谱。  此能尽解你的问题吗?

论坛徽章:
0
发表于 2017-06-16 14:45 |显示全部楼层
本友会机友会摄友会 发表于 2017-06-16 12:16
楼主你好,我又来讨论了。你的问题我又思考了。
1 xml的最大有点是:装载结构复杂数据,树形数据。吊打jso ...

没有,谢谢

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP