超级新手咨询：python处理大文件速度问题

荼蘼爱学习

小女子是计算机超级新手，由于工作所迫，被迫学习python.
这个问题说来话长，都不知道怎么描述，可能有说的不清楚的地方，还请前辈们多多指导。。。。。。。
简单的说，就是我执行下面的脚本的时候，处理一个大概2个G的文件，速度特别特别特别慢，不知道是哪一步导致速度这么慢？

主要是遍历每一行，识别中文，存到数据库，就这样。。。
代码好长，不要见笑。。。。

荼蘼爱学习

我自己都看晕了，怎么这么长。。。。。。。。。。。。。。。 疯了

substr函数

晕了[]，
怎么这么长[]

荼蘼爱学习

substr函数

回复 4# 荼蘼爱学习


    爱学习 [ ]

通过本书学习Python。
《简明 Python 教程》

无论您刚接触电脑还是一个有经验的程序员，本书都将有助您学习使用Python语言。

顺便提醒你，Python将很快成为你最喜欢的编程语言！[ ]

yinan11088

1. file = MySQLCo.MysqlQuery().query_fetchname('select id,file_name,is_dump from file_dump_table where is_dump = 1')
名字烂，不要叫file了， 跟函数file重名，不好认，

2. DIR_B = AppConf.DIR_B
    def ExtractAndMark(self,DIR_B)
局部变量和全局变量重名，改一下，最好给个初始值。

3. 请将控制循环 和 文件操作分两个函数写 还有很多可以写成小函数。。。

太多了，不吐槽了。。。。

荼蘼爱学习

非常感谢~~~
希望我能爱上这个折磨人的坏家伙。。。。
回复 5# substr函数


   

荼蘼爱学习

高手~~~ 感谢前辈，我研究研究去~~~
回复 6# yinan11088