请教python分析groovy代码文件的写法

GhostFromHeaven

回复 9# abcfy2

switch不同case里的save不会被重复计数，但会把switch各分支中最多的save数加到函数里面。

打印格式为：文件名:行号:内容

可以处理多个文件。

1. #-*- coding:utf-8 -*-
   
2. import os
   
3. import re
   
4. import string
   
5. 
   
6. pattern_func_def = re.compile('''(?<!\S)def\s+.*?\s+\{\s*''')
   
7. pattern_save = re.compile('''\.save\s*\(.*?\)''')
   
8. 
   
9. pattern_switch = re.compile('''(?<!\S)switch\s*\(.*?\)\s*{''')
   
10. pattern_case = re.compile('''(?<!\S)(case\s+\S+)|(default)\s*:''')
    
11. pattern_break = re.compile('''(?<!\S)break(?!\S)''')
    
12. 
    
13. pattern_left_brace = re.compile('''.*?\{.*?''')
    
14. pattern_right_brace = re.compile('''.*?\}.*?''')
    
15. 
    
16. class GroovyParser(object):
    
17.     def __init__(self):
    
18.         self.current_file_name = ""
    
19.         self.current_file_handler = None
    
20.         self.current_line = ""
    
21.         self.current_line_index = 0
    
22.         
    
23.     def _get_line(self):
    
24.         for self.current_line in open(self.current_file_name, "r"):
    
25.             self.current_line_index += 1
    
26.             self.current_line = self.current_line.strip('\n')
    
27.             yield "%s" % self.current_line
    
28.    
    
29.     def print_line(self):
    
30.         print "%10s:%04d:%s" % (os.path.basename(self.current_file_name),
    
31.                                 self.current_line_index,
    
32.                                 self.current_line)
    
33.    
    
34.     # 处理{}
    
35.     def _handle_brace(self, line):
    
36.         # 假设每行最多一个{
    
37.         _brace_count = 0
    
38.         if pattern_left_brace.search(line):
    
39.             _brace_count -= 1
    
40. 
    
41.         # 假设每行最多一个}
    
42.         if pattern_right_brace.search(line):
    
43.             _brace_count += 1
    
44.         return _brace_count
    
45.    
    
46.     # 处理xx.save(yy)
    
47.     def _handle_save(self, line, save_count):
    
48.         _save_count_in_1_function = save_count
    
49.         # 假设每行最多一个.save()
    
50.         if pattern_save.search(line):
    
51.             _save_count_in_1_function += 1
    
52.             # 如果有多个save，则打印出来
    
53.             if _save_count_in_1_function > 1:
    
54.                 self.print_line()
    
55.             return 1
    
56.         return 0
    
57.         
    
58.     def parse_func_def(self):
    
59.         _brace_count = -1
    
60.         _save_count_in_1_function = 0
    
61.         for line in self.line_reader:
    
62.             #line = self.get_line()
    
63.             if not line:
    
64.                 break
    
65. 
    
66.             # function
    
67.             if pattern_func_def.search(line):
    
68.                 self.parse_func_def()
    
69.             
    
70.             # switch
    
71.             if pattern_switch.search(line):
    
72.                _save_count_in_1_function = self.parse_switch_def(_save_count_in_1_function)
    
73.             
    
74.             # {}
    
75.             _brace_count += self._handle_brace(line)
    
76.             
    
77.             # xx.save(yy)
    
78.             _save_count_in_1_function += self._handle_save(line, _save_count_in_1_function)
    
79.             
    
80.             # 函数定义结束
    
81.             if _brace_count == 0:
    
82.                 return
    
83. 
    
84.     def parse_switch_def(self, save_count):
    
85.         _brace_count = -1
    
86.         _save_count_in_1_function = save_count
    
87.         _max_save_count = save_count
    
88.         _all_save_count = save_count
    
89.         for line in self.line_reader:
    
90.             if not line:
    
91.                 break
    
92.             # switch
    
93.             if pattern_switch.search(line):
    
94.                 _all_save_count = self.parse_switch_def(_save_count_in_1_function)
    
95.             
    
96.             if pattern_case.search(line):
    
97.                 _get_brace_count, _all_save_count = self.parse_case_def(_save_count_in_1_function)
    
98.                 _brace_count += _get_brace_count
    
99.             
    
100.             if _max_save_count < _all_save_count:
     
101.                _max_save_count = _all_save_count
     
102.             
     
103.             # {}
     
104.             _brace_count += self._handle_brace(line)
     
105.             
     
106.             # xx.save(yy)
     
107.             #_save_count_in_1_function += self._handle_save(line, _save_count_in_1_function)
     
108.             # 定义结束
     
109.             if _brace_count == 0:
     
110.                 break
     
111.         return _max_save_count
     
112.    
     
113.     def parse_case_def(self, save_count):
     
114.         _brace_count = 0
     
115.         _save_count_in_1_function = save_count
     
116.         for line in self.line_reader:
     
117.             if not line:
     
118.                 break
     
119.             
     
120.             # xx.save(yy)
     
121.             _save_count_in_1_function += self._handle_save(line, _save_count_in_1_function)
     
122.             
     
123.             # break
     
124.             if pattern_break.search(line):
     
125.                 break
     
126. 
     
127.             # {}
     
128.             _brace_count = self._handle_brace(line)
     
129.             if _brace_count == -1:
     
130.                 break
     
131.         return (_brace_count, _save_count_in_1_function)
     
132. 
     
133.     def parse(self, file_list):
     
134.         for self.current_file_name in file_list:
     
135.             self.line_reader = self._get_line()
     
136.             self.current_line_index = 0
     
137.             for line in self.line_reader:
     
138.                 if not line:
     
139.                     break
     
140.                 if pattern_func_def.search(line):
     
141.                     self.parse_func_def()
     
142.         
     
143. if __name__ == "__main__":
     
144.     file_list = [r'C:\Users\fgl\Desktop\test\to_parse_2.groovy']#, 'to_parse_1.groovy']
     
145.     gp = GroovyParser()
     
146.     gp.parse(file_list)
     
147. 
     
148.         
     
149.         
     

复制代码

to_parse_2.zip (534 Bytes, 下载次数: 1)

2013-05-24 22:45 上传

点击文件名下载附件

   

abcfy2

回复 11# GhostFromHeaven


    需求是BOSS口头提出来的，并未形成统一的文档，所以暂时没有需求文档。
我将这个脚本整合到了系统的定时计划中，每天定时扫描所有的代码库，然后将结果以邮件的形式发送，发现哪里 有问题就改哪里。

上次我将你这个脚本改了一下，大致的邮件格式是这样的：

*Controller.groovy同时保存多domain class扫描结果：
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:58:                                result=systemCodeInstance.save(flush: true)
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:62:                                result=systemCodeInstance.save(flush: true)
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:67:                                result=systemCodeInstance.save(flush: true)
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:71:                                result=systemCodeInstance.save(flush: true)
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/support/AlarmCodeController.groovy:63:                                result=alarmCodeInstance.save(flush: true)
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/support/AlarmCodeController.groovy:70:                                result=alarmCodeInstance.save(flush: true)
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/knowledge/RuleController.groovy:112:                if (ruleInstance.save(flush: true)) {
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/knowledge/RuleController.groovy:189:                        if(ruleInstance .validate() && ruleInstance .save()) {
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/service/ServicePlanController.groovy:295:                if (!serviceRequest.save(flush: true)) {
CISJOB/workspace/cis/grails-app/controllers/com/si/ciots/crm/ContractCompressorController.groovy:189:        if(contractCompressor.save()){
CISJOB/workspace/cis/grails-app/controllers/com/si/c2/business/DeliveryAddressController.groovy:44:                if (deliveryAddressInstance.save(flush: true)){
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/compressor/CompressorController.groovy:1474:            if(compressor .validate() && compressor .save()) {
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/compressor/CompressorController.groovy:1485:            if(compressor .validate() && compressor .save()) {
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/compressor/SamplerController.groovy:131:            if(sampler.validate() && sampler.save()) {
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:57:                                result=systemCodeInstance.save(flush: true)
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:61:                                result=systemCodeInstance.save(flush: true)
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:66:                                result=systemCodeInstance.save(flush: true)
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/support/SystemCodeController.groovy:70:                                result=systemCodeInstance.save(flush: true)
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/support/AlarmCodeController.groovy:63:                                result=alarmCodeInstance.save(flush: true)
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/support/AlarmCodeController.groovy:70:                                result=alarmCodeInstance.save(flush: true)
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/knowledge/RuleController.groovy:112:                if (ruleInstance.save(flush: true)) {
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/knowledge/RuleController.groovy:189:                        if(ruleInstance .validate() && ruleInstance .save()) {
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/service/ServicePlanController.groovy:292:                if (!serviceRequest.save(flush: true)) {
KaishanCis/workspace/lgcis/grails-app/controllers/com/si/ciots/crm/ContractCompressorController.groovy:190:        if(contractCompressor.save()){
c2/workspace/grails-app/controllers/com/si/c2/business/PayRecordController.groovy:50:                    if(payRecordInstance.save()){

目前发现的问题是这样，那几个result实际上是switch-case语句中的，不应该被筛选出来，还有就是if中的save()方法如果是空参也不筛选出来。

GhostFromHeaven

回复 12# abcfy2
1、switch的问题已经解决了，昨天就猜到if应该也要处理。你可以用最新的脚本试试。

2、你的意思是如果是if(xx.save && yy.save())这样的save都不算进去吗？

3、if (xx) {
          xx.save(yyy)
   } else {
         zzz.save(aaa)
   }

这样的怎么计算？
   

abcfy2

回复 13# GhostFromHeaven


    所以程序还需要慢慢修，因为groovy代码我懂的也不是很多，可以说几乎不懂。
BOSS是为了要代码可读性更高，提出来的一类需求，然后用脚本去扫描代码，所以不一定要尽善尽美，反正扫描出来还是需要人为去修改的。
BOSS的意思也就是说先扫描，然后让程序猿们去改，发现扫描结果不对再反馈。至于第二种if情况暂不考虑，先把比较明显的扫描问题先解决了就行了。
比如switch-case语句和if(xxxx.save())语句。至于if-else语句，暂时不清楚BOSS怎么算的，这个等我跟BOSS沟通一下吧。

GhostFromHeaven

回复 14# abcfy2
1、已经可以判断一行有多个save，多个{}

2、if的问题的解决了。
    思路是如果找到save(m个)就判断是否是if语句，如果是if语句就搜索.save()(n个)，如果m>n就找到新的需要计数的save，否则不算。

1. def fuction4 = {
   
2.     dosomething
   
3.     something.save(abc1).save(dxy)
   
4.     something.save(def2)
   
5.     if (xx.save() && yy.save())
   
6.     {
   
7.         xxa.save()
   
8.     }
   
9.    
   
10.     if(xx.save() && yy.save())
    
11.     {
    
12.         xxa.save()
    
13.     }
    
14.    
    
15.     if(xx.save(xx) && yy.save())
    
16.     {
    
17.         xxa.save()
    
18.     }
    
19.    
    
20.     if(xx.save(xx) && yy.save(yy))
    
21.     {
    
22.         xxa.save()
    
23.     }
    
24. }
    

复制代码

parse_groovy.zip (22.12 KB, 下载次数: 4)

2013-05-26 17:29 上传

点击文件名下载附件

   

abcfy2

回复 15# GhostFromHeaven


    多谢给出参考。这个脚本是在linux服务器运行的，你这个是在windows下写的，换行符不一样，一开始执行不了，我已经用dos2unix转换换行符了，执行没有问题，稍微修改了一下，如下。
开头加上了命令解释器
#!/usr/bin/python

最后改成了

def help():
    print """用法:
    sys.argv[0] dir1 [dir2] [dir3] ..."""

if __name__ == "__main__":
    if len(sys.argv) <= 1:
        help()
        exit(1)
    else:
        for dir in sys.argv[1:]:
            filelist = os.popen('find '+ dir + ' -type f -name *Controller.groovy').read().rstrip('\n').split('\n')
        if filelist != ['']:
            gp = GroovyParser()
            gp.parse(filelist)
调用系统中的find命令查找这一类文件，find将查找到的结果以\n为分隔符换行显示在终端上，转换为列表递给程序，执行起来基本没什么问题，感谢辛苦了

abcfy2

回复 11# GhostFromHeaven


    结果还是有点问题啊，原本筛选出那么多，这次一个都筛选不出来了。
我在你那个测试样例加了下面一段：

1.   def handlePayFinish(String tradeNo, String orderNo, double totalFee, String alipayAccount){
   
2.         log.debug("handlerAlipayReturn: tradeNo= ${tradeNo}, orderNo= ${orderNo}, totalFee= ${totalFee}, alipayAccount= ${alipayAccount}")
   
3.         if(!PayRecord.countByAlipayTradeNo(tradeNo)){
   
4.         log.info("handlerAlipayReturn: begin add PayRecord")
   
5.                def goodsOrder = GoodsOrder.findByOrderNo(orderNo)
   
6.                      def payRecord = new PayRecord(alipayAccount:alipayAccount
   
7.                                                     ,  goodsOrder:goodsOrder
   
8.                                                     ,  alipayTradeNo:tradeNo
   
9.                                                     ,  amount:totalFee
   
10.                                                     ,  payDate:new Date()
    
11.                                                     ,  type:PayType.findByCodeNum('JSDZ'))
    
12.                    payRecord.save(flush:true)
    
13.                    goodsOrder.orderStatus = OrderStatus.findByCodeNum("YFK")
    
14.                    goodsOrder.payDate = payRecord.payDate
    
15.                    goodsOrder.save(flush: true)
    
16.                    log.info("handlerAlipayReturn: finish add PayRecord")
    
17.          }else{
    
18.       log.debug("the payRecord which tradeNo is ${tradeNo} already exists !")
    
19.       }   

复制代码

明显在def payRecord = 这段中有两个save方法 payRecord.save(flush:true)和goodsOrder.save(flush: true)，但是没有被筛选出来。

GhostFromHeaven

回复 17# abcfy2

1、函数定义的模式匹配要修改一下，\s+要求函数名和{直接必须有空白字符，改成：
pattern_func_def = re.compile('''(?<!\S)def\s+.*?\s*\{\s*''')
或
pattern_func_def = re.compile('''(?<!\S)def\s+.*?\{\s*''')


2、还有下面这样的语句都删掉：

                if not line:
                    break

abcfy2

回复 18# GhostFromHeaven


    还是有一些问题
发现扫出来的结果中有vulcan/javadoc/vulcan/grails-app/controllers/com/si/vulcan/ProjectController.groovy:1355:                !projectInstance.save(flush: true)?renderMsg('放弃连杆校验，请联系管理员！'):renderSuccess()
打开了一下代码文件，这段代码块是这样的，只有一个save()方法，为什么会被扫出来？

1.    def giveUpConnectingRod(){
   
2.         withPersonalProject{projectInstance->
   
3.             try {
   
4.                 ConnectingRod rod=projectInstance.connectingRod
   
5.                 if (rod) {
   
6.                     projectInstance.connectingRod=null
   
7.                     rod.delete()
   
8.                 }   
   
9.                 projectInstance.rodStep=0
   
10.                 !projectInstance.save(flush: true)?renderMsg('放弃连杆校验，请联系管理员！'):renderSuccess()
    
11.             }catch (VulcanCustomeException e) {
    
12.                 renderMsg('放弃连杆失败，请联系管理员！')
    
13.             }   
    
14.         }   
    
15.     }   
    

复制代码

GhostFromHeaven

回复 19# abcfy2

我试了下，没有扫出来。你再确认下。