python读取1500万行数据,快速取余.

zhangheng311

hi
    请教一个python问题: 我有一个1500万行的数据:

18527308
18527309
18527310
18527311
18527312
18527313
18527314
18527315
18527316
18527317

都是一些数字,现在想通过python来读取这个文件内容然后对所有行数字取余,并且输出成类似:

18527308   08
18527309   09
18527310   10
18527311   11
18527312   12
18527313   13
18527314   14
18527315   15
18527316   16
18527317   17

然后重定向到一个新的日志文件.之前用shell for循环跑太慢.我想知道如果python能同时对多行操作的话会不会快一些.
有具体实现方法吗? 多谢大家..

ssfjhh

1. fa = open('a.txt')
   
2. fb = open('b.txt','w')
   
3. for l in fa.readlines():
   
4.     fb.write(l[:-1] + ' ' + l[-3:])
   
5. 
   
6. fa.close()
   
7. fb.close()

复制代码

zhangheng311

谢谢, 如果是读取每行数字然后 %100呢?   比如:18527308 % 100 回复 2# ssfjhh


   

ssfjhh

回复 3# zhangheng311

1. 
   
2. fa = open('a.txt')
   
3. fb = open('b.txt','w')
   
4. for l in fa.readlines():
   
5.     fb.write(l[:-1] + ' ' + str(int(l[:-1])%100) + '\n')
   
6. 
   
7. fa.close()
   
8. fb.close()
   

复制代码

如果只是简单的求一个数字的10**n的余数，用切片不是更方便吗，为什么非要先转成数字再求余？
   

zhangheng311

谢谢回答哈, 我已经用 awk 搞定了, 10秒钟左右完成. 回复 4# ssfjhh


   

ssfjhh

回复 5# zhangheng311


    我这里没有数据，也不给个结果，python要多久呀。

jk409

lz,发下awk  处理过程啊，，，

oddstar78

awk '{print $1,$1 % 100}' test.txt

zhangheng311

python另一个同事测试的, 2分钟左右.回复 6# ssfjhh


   

zhangheng311

awk '{print $0,$0 % 100}'  test.log回复 7# jk409