python 按列名提取多列

小风0000

1. dat='''
   
2. SNPID A702Y A704Y A706Y A708Y A710Y
   
3. ARS-BFGL-BAC-10172 CC CC CC CC CC
   
4. ARS-BFGL-BAC-1020 CC CC CT CC CC
   
5. '''
   
6. 
   
7. names=["SNPID","A702Y","A710Y"]

复制代码

由于数据比较大，有4万行，7000列，要提出800列的数据，大家有什么好的办法吗？

1. 
   
2. script,originalFN,targetFN = sys.argv
   
3. originalInds = open(originalFN).readline().strip().split()
   
4. targetInds = [line.strip() for line in open(targetFN)]
   
5. targetF=open("targetInds.txt","w")
   
6. 
   
7. #find index
   
8. idx = [ originalInds.index(ind) for ind in targetInds if ind in originalInds ]
   
9. idx.insert(0,0)
   
10. 
    
11. #output
    
12. for num,line in enumerate(open(originalFN)):
    
13.     print num
    
14.     tmp = [line.strip().split()[i] for i in idx]
    
15.     targetF.write(" ".join(tmp)+"\n")
    
16. 
    
17. targetF.close()
    

复制代码

这是我写的代码，先取出列名的下标，再在大文件一行行弄出来，有点慢，求助！

吃瓜群众

你可以用pandas库，都有封装

小风0000

回复 2# 吃瓜群众

不行啊，直接报错，out of memory。文件太大了，有没有什么更好的办法？

   

吃瓜群众

回复 3# 小风0000
你可以把大文件分成小文件处理，最后再归并。

   

小风0000

回复 4# 吃瓜群众

不应该啊，我用python就想着处理大文件方便，要是分成小文件，我还不如用R处理。
肯定有更简单，高效地写法吧！

   

bskay

对于这样的情况,一定要用到mmap才行

Northland

#output
num = 0
for line in open(originalFN).xreadlines() :
    num += 1
    print num
    tmp = [line.strip().split()[i] for i in idx]
    targetF.write(" ".join(tmp)+"\n")