137G超大txt文件，utf-8格式，共10961771行，请高手们帮忙！

wenjun3000

如果用PowerShell工具脚本，如何实现按顺序每50000行代码放入一个文件夹，文件夹按顺序为1到220,然后将50000行代码分割为一行一个txt文件，最后将所有txt文件改为html文件。

wenjun3000

希望高手或大神能给出完整的解决方案，多谢！

xdsnet

这个文件是在win7下产生的？
其实你需要考虑如下的问题，考虑清楚了，自己就可以处理好（给你一些建议）：
1. 如何流式读取大文件
2. 如何计数行数
3. 如何计数输出文件名
4. 所谓的txt转换成html到底是什么样的操作（标准）
---------------------------如下是建议--------------------------------
1. 因为的你源文件太大了，普通的文本处理肯定是不行的，所以可能需要用到.Net里面的StreamReader来流式读取，此外StreaReader默认就是以utf8来处理，大致的应用为:

1. $file = new-object System.IO.StreamReader("需要读取的大文件路径")
   
2. try {
   
3.     while (($line = $file.ReadLine()) -ne $null) {
   
4.        # 需要对每行做的处理,  $line 中放置的是当前读到的一行内容
   
5.     }
   
6. }
   
7. finally {
   
8.     $file.Close()
   
9. }

复制代码

2. 行计数其实结合前面的内容很容易实现，自己定义一个变量每行+1即可

3. 文件计数其实也很简单，就是行计数整除50000后再+1 即可

4. 文本转换成html不知道你的具体要求，所以不好说了。

wenjun3000

txt转html，只是文件改名而已，里面每行都是完整的html代码

wenjun3000

用powershell，半小时过去了，还是显示“警告：读取大文件开始”

wenjun3000

而且powershell狂耗内存，半小时后电脑很卡

goofool

用Python，不占内存，也不会很卡，耗时你得试试。

1. f = open('test.txt')
   
2. 
   
3. tmp = 0
   
4. print('>>>Starting...')
   
5. while True:
   
6.         tmp += 1
   
7.         f_tmp = open('{}.html'.format(tmp), 'w+')
   
8.         try:
   
9.                 for i in range(50000):
   
10.                         f_tmp.write(next(f))
    
11.         except StopIteration:
    
12.                 break
    
13.         finally:
    
14.                 f_tmp.close()
    
15.         f_tmp.close()
    
16. 
    
17. print(">>>Finished.")
    

复制代码

wenjun3000

多谢各位帮忙，测试过了，通过7z+lzma2格式压缩，半小时后cpu占用率60%，电脑卡死，只能放弃压缩了。