免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
1234下一页
最近访问板块 发新帖
查看: 44975 | 回复: 39

[文本处理] 137G超大txt文件,utf-8格式,共10961771行,请高手们帮忙! [复制链接]

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-07-29 12:09 |显示全部楼层
win7操作系统,137G超大txt文件,utf-8格式,共10961771行,每行皆为utf-8的html完整代码,部分行代码超长,要求按顺序每50000行代码放入一个文件夹,文件夹按顺序为1到220,然后将50000行代码分割为一行一个txt文件,最后将所有txt文件改为html文件。写的比较复杂,请谅解,重复一下,就是10961771行html代码放在220个文件中,每个文件夹50000个html代码,少于50000的放入最后一个文件夹,请高手们帮忙解答,多谢!

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-07-29 12:11 |显示全部楼层
尝试或vbs分割,速度快,但结果全部是乱码,有可能是代码不能分割utf-8的文本,vbs 代码如下:
Set fs =CreateObject("scripting.filesystemobject")
Set gs =CreateObject("scripting.filesystemobject")
Set f=fs.opentextfile("Test.txt",1,true)
n=0
do while f.atendofstream<>true
n=n+1
data=""
Set g=gs.opentextfile(CStr(n)+".txt",2, true)
if f.atendofstream<>true then
for a=1 to 500000
data=f.readline
g.writeline data
next
end if
loop
f.close
g.close

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2016-07-29 12:24 |显示全部楼层
回复 2# wenjun3000

try xx.CharSet = "utf-8"

fs.CharSet = "utf-8"
gs.CharSet = "utf-8"

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-07-29 12:25 |显示全部楼层
请问上面代码加在什么位置

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-07-29 12:28 |显示全部楼层
能给出完整代码吗

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-07-29 15:02 |显示全部楼层
是不是天太热,高手都去睡午觉了啊

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-07-29 15:24 |显示全部楼层
wenjun3000 发表于 2016-07-29 15:02
是不是天太热,高手都去睡午觉了啊

论坛徽章:
0
发表于 2016-07-29 16:52 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
5
金牛座
日期:2013-10-14 14:40:422015年亚洲杯之伊朗
日期:2015-03-26 10:37:012015亚冠之浦和红钻
日期:2015-10-12 17:47:4115-16赛季CBA联赛之山东
日期:2016-01-20 16:43:1215-16赛季CBA联赛之辽宁
日期:2016-03-29 16:43:59
发表于 2016-07-29 17:54 |显示全部楼层
把文件往linux上一扯,在用awk手起刀落,整个世界就清静了

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-08-17 06:20:00每日论坛发贴之星
日期:2016-08-17 06:20:00
发表于 2016-07-29 23:40 |显示全部楼层
高手都是简明扼要,可惜小白看不懂,win7系统,awk没用过。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP