如何删除大文件的前面几行

XQKA

特大文本文件，接近1亿行

[root@Dev-Mysql clinvar]# cat  ClinVarFullRelease_2017-06.xml | wc -l
95538180
[root@Dev-Mysql clinvar]# sed -i '4,251d' ClinVarFullRelease_2017-06.xml

第二个命令要花两三分钟才返回结果，有什么办法可以加快这种删除动作？

Shell_HAT

1. head -n 3 1.txt > 2.txt
   
2. tail -n -`echo $((95538180-251))` 1.txt >> 2.txt

复制代码

这样速度如何？

XQKA

Shell_HAT 发表于 2017-06-14 14:26
这样速度如何？

你好，
在分析一个巨大的文件
[root@Dev-Mysql clinvar]# sed -i '4,251d' ClinVarFullRelease_2017-06.xml

4和251这两个行号是我一个循环中获得的变量。

对于这个巨大的文件，是个xml文件，xml的格式很规范，
我需要将它截断成数万个小文件。
<特定标识>
...
...
</特定标识>

[root@Dev-Mysql clinvar]# cat analyzer.sh
#!/bin/bash
SED=/bin/sed
GREP=/bin/grep
HEAD=/usr/bin/head
OBJ_F=/data/clinvar/ClinVarFullRelease_2017-06.xml
RES_D=/data/clinvar/individual1706/
MID_F=/data/clinvar/individual1706/.mid.txt
${HEAD} -10000 ${OBJ_F} > ${MID_F}
CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
echo $STR_N
echo $END_N
until [ -z ${STR_N} ]
do
       CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
       echo $CVS_ID
       RES_F=${RES_D}${CVS_ID}.xml
       ${SED} -n "${STR_N},${END_N}p"  ${MID_F} > ${RES_F}
       ${SED} -i "${STR_N},${END_N}d" ${OBJ_F}
       ${HEAD} -10000 ${OBJ_F} > ${MID_F}
       STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
       echo $STR_N
       END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
done

XQKA

Shell_HAT 发表于 2017-06-14 14:26
这样速度如何？

你好，
在分析一个巨大的文件
[root@Dev-Mysql clinvar]# sed -i '4,251d' ClinVarFullRelease_2017-06.xml

4和251这两个行号是我一个循环中获得的变量。

对于这个巨大的文件，是个xml文件，xml的格式很规范，
我需要将它截断成数万个小文件。
<特定标识>
...
...
</特定标识>

[root@Dev-Mysql clinvar]# cat analyzer.sh
#!/bin/bash
SED=/bin/sed
GREP=/bin/grep
HEAD=/usr/bin/head
OBJ_F=/data/clinvar/ClinVarFullRelease_2017-06.xml
RES_D=/data/clinvar/individual1706/
MID_F=/data/clinvar/individual1706/.mid.txt
${HEAD} -10000 ${OBJ_F} > ${MID_F}
CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
echo $STR_N
echo $END_N
until [ -z ${STR_N} ]
do
       CVS_ID=`${GREP} "<ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} 's/^.*=//' | ${SED} 's/"//g' | ${SED} 's/>//'`
       echo $CVS_ID
       RES_F=${RES_D}${CVS_ID}.xml
       ${SED} -n "${STR_N},${END_N}p"  ${MID_F} > ${RES_F}
       ${SED} -i "${STR_N},${END_N}d" ${OBJ_F}
       ${HEAD} -10000 ${OBJ_F} > ${MID_F}
       STR_N=`${GREP} -n "<ClinVarSet" ${MID_F}  | ${HEAD} -1 | ${SED} s/:.*$//`
       echo $STR_N
       END_N=`${GREP} -n "</ClinVarSet" ${MID_F} | ${HEAD} -1 | ${SED} s/:.*$//`
done

jason680

回复 4# XQKA

>>对于这个巨大的文件，是个xml文件，xml的格式很规范，
>>我需要将它截断成数万个小文件。

直接说怎么处理


1. input file: XML file
2. procedure rule
3. output file: lot of file

don't forget to give us a small example ...

XQKA

本友会机友会摄友会 发表于 2017-06-15 12:19
1 大文件去头和xml解析是两回事。文件用2进制方法打开，从原理上就比，行打开，快。
2 用shell解析xml是蠢 ...

不是大文件去头，而是我用shell脚本去 顺序截取xlm文件里的有规律的数据。
我的脚本是用一个循环来处理此事，
每一轮循环截取一段有规律的数据，从整个过程来看，这样的截取是按xml顺序的。
每一轮循环中，我需要对被当轮截取过的源文件变更持久化，用到以下代码：
sed -i '4,251d' ClinVarFullRelease_2017-06.xml
shell脚本慢就慢在这里，

于是，我将问题简化为“如何删除大文件的前几行”

1.ps，Python不会，shell略懂
2.并发的方法我想过，人为的将源文件拆成10个，10个对应的脚本一起跑，我的源文件有5Gb，拆成10个500Mb也是慢的。
当前脚本是3分钟拆1个
-rw-r--r-- 1 root root   8943 Jun 16 09:20 18489192.xml
-rw-r--r-- 1 root root  10911 Jun 16 09:23 18489193.xml
-rw-r--r-- 1 root root  10759 Jun 16 09:27 18489194.xml
-rw-r--r-- 1 root root 103368 Jun 16 09:30 18489195.xml
-rw-r--r-- 1 root root   8363 Jun 16 09:33 18489196.xml

XQKA

本友会机友会摄友会 发表于 2017-06-16 12:16
楼主你好，我又来讨论了。你的问题我又思考了。
1 xml的最大有点是：装载结构复杂数据，树形数据。吊打jso ...

没有，谢谢