137G超大txt文件，utf-8格式，共10961771行，请高手们帮忙！

wenjun3000

感谢goofool，用python测试毫无压力，电脑也不卡，只是你没有仔细看我的要求，可能我描述的太复杂。我重新描述，希望goofool你能看到并帮我解答，简单来说，有10961771行代码（以后代码行数更多，每行代码超长），utf-8格式，要按行拆分，拆分后保证每行代码完整，将10961771行代码拆分到220个文件夹下，每个文件夹下50000个文件，每个文件一行代码，每个txt文件后缀改为html（文件内容不变，只改后缀）。

电脑配置如下：
CPU：英特尔 酷睿 i7-4790 CPU @ 3.60GHz (四核8线程)
主板： 华硕 Z87-K (英特尔 Z87 (Lynx Point))
内存： 16 GB , DDR3 , 双通道
显卡： GeForce GTX 750 Ti , 2GB
硬盘： 希捷 ST2000DM001-1CH164 , 7200 转 , 2000 GB
显示器： LG [Unknown Model: GSM5AB8]
网卡： 瑞昱 Semiconductor RTL8168/8111 PCI-E 千兆以太网 NIC
声卡： nVIDIA, Device ID: 0FBC

win7 64位操作系统，昨晚安装了python27
另外测试过很多批处理方法，但总是出现下面错误，只能放弃，
问题签名:
  问题事件名称:        APPCRASH
  应用程序名:        cmd.exe
  应用程序版本:        6.1.7601.17514
  应用程序时间戳:        4ce798e5
  故障模块名称:        cmd.exe
  故障模块版本:        6.1.7601.17514
  故障模块时间戳:        4ce798e5
  异常代码:        c0000005
  异常偏移:        0000000000006ea8
  OS 版本:        6.1.7601.2.1.0.256.1
  区域设置 ID:        2052
  其他信息 1:        189b
  其他信息 2:        189b79bd94a4872b863d627df1a41231
  其他信息 3:        f768
  其他信息 4:        f768182954011548f6597958cd8eaeb7

vbs拆分也可以，但总是乱码，
linux awk等命令在win7无法运行，安装gnuwin32太复杂（担心安装后不会使用，不过安装python，用goofool写的代码，使用很简单）

所以高手们，希望你们帮我看看，能否用python,vbs等win7（64位）能直接运行的完整代码帮我解答，万分感谢！

wenjun3000

昨晚尝试用goofool写的python代码，改成按一行分割，也就是一个文件夹下生成10961771个文件，但没有成功，生成9,247,827 个文件后，python出错停止运行，出错代码请看附件图片。

wenjun3000

感谢本友会机友会摄友会，虽然137G的数据没有压缩成功，但我刚刚整理了测试数据，原理一样，就是按行分割，一行一个文件，按顺序放在220个文件夹下（如果数据量更大，文件夹就更多），每个文件夹50000个文件。
其他高手也可帮忙测试，数据放在百度网盘。没有权限发链接，只能把网盘地址盒密码放在附件图片中。

wenjun3000

太感谢本友会机友会摄友会，正在运行程序，已经生成220个文件夹了，文件正在生成，不知道要多少时间，全部生成后，还要请你继续帮忙。

wenjun3000

还要麻烦"本友会机友会摄友会"，我把要求重新完整描述，共有3个txt文件，分别为wzsj.txt(10961771行代码)，wjj.txt（220个文件夹），wjm.txt(10961771行文件名)，能否按wjj.txt里面的顺序生成220个文件夹，然后按wjm.txt里面的文件名顺序生成html文件，还是每个文件夹放50000个文件，每个文件一行代码，少于50000个文件的放在最后一个文件夹里面，测试数据放在百度网盘。

wenjun3000

放在网盘里面的测试数据，我用中文命名的，实际上三个txt文件名分别为，wzsj.txt(10961771行代码)，wjj.txt（220个文件夹），wjm.txt(10961771行文件名)

goofool

Intel(R) Celeron(R) CPU G1610T @ 2.30GHz
4G内存
大约28分钟

1. try:
   
2.     import queue as queue
   
3. except ImportError:
   
4.     import Queue as queue
   
5. import codecs
   
6. import os
   
7. import time
   
8. import threading
   
9. 
   
10. 
    
11. start = time.clock()
    
12. f = codecs.open('data.txt', encoding='utf-8')
    
13. _task_queue = queue.Queue(maxsize=1000)
    
14. NUM_WORKERS = 100
    
15. 
    
16. 
    
17. def _task_queue_consumer(dir_name, f_name, q):
    
18.     data = q.get()
    
19.     # print(f_name)
    
20.     with codecs.open('./{}/{}.html'.format(dir_name, f_name), 'w+', encoding='utf-8') as f_tmp:
    
21.         f_tmp.write(data)
    
22. 
    
23. tmp = 0
    
24. while True:
    
25.     tmp += 1
    
26.     print(">>>Task {} Starting...".format(tmp))
    
27.     dir_name = str(tmp)
    
28.     if not os.path.exists(str(dir_name)):
    
29.         os.mkdir(str(dir_name))
    
30. 
    
31.     fname = 0
    
32.     try:
    
33.         for j in range(50):
    
34.             try:
    
35.                 for i in range(1000):
    
36.                     _task_queue.put(next(f))
    
37.             except StopIteration:
    
38.                 pass
    
39. 
    
40.             if not _task_queue.qsize():
    
41.                 raise Exception
    
42.             while True:
    
43.                 threads = []
    
44.                 for i in range(NUM_WORKERS):
    
45.                     fname += 1
    
46.                     t = threading.Thread(
    
47.                         target=_task_queue_consumer,
    
48.                         args=(dir_name, str(fname), _task_queue))
    
49.                     threads.append(t)
    
50.                     t.start()
    
51.                 for t in threads:
    
52.                     t.join()
    
53.                 if _task_queue.empty():
    
54.                     break
    
55.     except Exception:
    
56.         break
    
57.     print(">>>Task {} Finish...".format(tmp))
    
58. 
    
59. print(">>>Finished.")
    
60. end = time.clock()
    
61. print(">>>Used: {} sec".format(end - start))
    

复制代码

wenjun3000

回复 28# goofool


还要麻烦"goofool"，我把要求重新完整描述，共有3个txt文件，分别为wzsj.txt(10961771行代码)，wjj.txt（220个文件夹），wjm.txt(10961771行文件名)，能否按wjj.txt里面的顺序生成220个文件夹，然后按wjm.txt里面的文件名顺序生成html文件，还是每个文件夹放50000个文件，每个文件一行代码，少于50000个文件的放在最后一个文件夹里面，测试数据放在百度网盘。
放在网盘里面的测试数据，我用中文命名的，实际上三个txt文件名分别为，wzsj.txt(10961771行代码)，wjj.txt（220个文件夹），wjm.txt(10961771行文件名)

wenjun3000

回复 28# goofool

生成速度很慢