文本信息处理，新手求助

jiangling_0103

大家好，Python 新手，遇到下面的数据处理问题，还请大牛帮忙指点下如何处理比较合适

基础数据如下的：

每次提交的修改信息，会按照下面的形式来进行保存， 一个 repo 下可能会带上多个 commit 记录信息

我是想有什么好的方式，可以先将每个 repo 分成一个信息集合，然后再按照单个 repo 信息集合，把每个 commit 分成一个子集合，再对每个 commit 抽取相应的字段信息(如：Author，Date等) ， 还请大牛们帮忙指点下思路的，多谢了


repo: device/sprd
commit 775ffdbcbd3e506b38fc5b57debc181e57d52654
Author: xxxx <xxxx>
Date:   Sun Feb 21 13:33:53 2016 +0800

    Bug #532015 xxxx
   
    [root cause  ] new features
    [changes     ] let EngineerMode can to write to /sys/class/net/seth_lte0/queues/rx-0/rps_cpus
    [side effects] no
    [self test   ] <9832><follow bug steps,test 5 times,pass>
    [reviewers   ] xxxx
    [change_type ] feature
    [tag_product ] common
   
    Change-Id: Icaa1e5ec8f3eea7b7912bf59595e4b0884bf65e3

scx35l/init.sc8830_base.rc |   18 ++++++++++++++++++
1 file changed, 18 insertions(+)

repo: kernel
commit fc82a44b8965994fa2340832770169ce0242656f
Author: xxxx <xxxx>
Date:   Mon Feb 22 19:02:45 2016 +0800

    Bug #524747  add otg function for sp9832a board
   
    [root cause  ] add  otg function for iea board
    [changes     ] arch/arm/boot/dts/
    [change_type ] bringup --> sprd_chip_support
    [tag_product ] common
    [side effects] no
    [self test   ] <sp9832a><adb pull/push ok, USB keypad OK>
    [reviewers   ] xxxx
   
    Change-Id: Ie054e5e3c9c4c770a40eccf4b43500a666663023

.../boot/dts/sprd-scx35l_sp9832a_3h10_5mvolte.dts  |    6 +++---
arch/arm/configs/sp9832a_3h10_5mvolte_defconfig    |    6 +++---
2 files changed, 6 insertions(+), 6 deletions(-)

commit 35450fb6f5720b1f84698fc80d9df28035725a9d
Author: xxxx <xxxx>
Date:   Sun Feb 21 15:31:38 2016 +0800

    Bug #532015 [new feature] EngineerMode add a SethRps switch
   
    [root cause  ] new features
    [changes     ] EngineerMode add a SethRps switch
    [side effects] no
    [self test   ] <9832><follow bug steps,test 5 times,pass>
    [reviewers   ] xxxx
    [change_type ] feature
    [tag_product ] common
   
    Change-Id: I6fe8bb0e158617d8e1efefaed3b6d53b43eeef5e

res/values/strings.xml                             |    1 +
res/xml/pref_telephonytab.xml                      |    4 ++++
.../sprd/engineermode/BootCompletedReceiver.java   |    1 +
.../engineermode/telephony/TelephonyFragment.java  |   21 ++++++++++++++++++++
4 files changed, 27 insertions(+)

jiangling_0103

大牛们还请帮忙啊

jiangling_0103

顶一个再~~

423497786

你要啥结果

jiangling_0103

类似附件中的，将各部分的数据保存在字典中的

bskay

re正则表达式去看看

stanley_tam

这样行不行？

1. #!python
   
2. # -*- coding:utf-8 -*-
   
3. 
   
4. import pprint
   
5. 
   
6. file_name = 'a.txt'
   
7. data      = dict()
   
8. 
   
9. with open(file_name, 'r') as fh:
   
10. 
    
11.     repo_name      = str()
    
12.     space          = ' '
    
13.     is_in_bug      = False
    
14.     is_in_change   = False
    
15. 
    
16.     for line in fh:
    
17.         line = line.strip()
    
18.         if not line: continue
    
19. 
    
20.         if line.startswith('repo:'):
    
21.             (__, repo_name) = line.split(sep=space, maxsplit=1)
    
22.             data[repo_name] = dict()
    
23.             is_in_change    = False
    
24. 
    
25.         elif line.startswith('commit'):
    
26.             (__, commit)            = line.split(sep=space, maxsplit=1)
    
27.             data[repo_name][commit] = dict()
    
28.             is_in_change            = False
    
29. 
    
30.         elif line.startswith('Author:'):
    
31.             (__, author)                      = line.split(sep=space, maxsplit=1)
    
32.             data[repo_name][commit]['author'] = author
    
33.         
    
34.         elif line.startswith('Date:'):
    
35.             (__, date) = line.split(sep=space, maxsplit=1)
    
36.             data[repo_name][commit]['date'] = date
    
37.         
    
38.         elif line.startswith('Bug'):
    
39.             (__, bug_id, bug_content)              = line.split(sep=space, maxsplit=2)
    
40.             data[repo_name][commit]['bug_id']      = bug_id
    
41.             data[repo_name][commit]['bug_content'] = bug_content + "\n"
    
42.             is_in_bug                              = True
    
43. 
    
44.         elif line.startswith('Change-Id:'):
    
45.             (__, change_id)                           = line.split(sep=space, maxsplit=1)
    
46.             data[repo_name][commit]['change_id']      = change_id
    
47.             data[repo_name][commit]['change_content'] = str()
    
48.             is_in_change                              = True
    
49.             is_in_bug                                 = False
    
50.         
    
51.         else:
    
52.             if is_in_bug: data[repo_name][commit]['bug_content'] += "{0}\n".format(line)
    
53. 
    
54.             if is_in_change: data[repo_name][commit]['change_content'] += "{0}\n".format(line)
    
55.    
    
56.     pprint.pprint(data, width=200)

复制代码