一个关键词分组的问题

GoGo闯

现有一组关键词表，如下：

会计一个月工资多少钱
挖掘机一个月工资多少钱
化妆师一个月工资多少钱
美容师工资多少钱
育婴师工资多少钱
化妆师工资多少钱
咖啡师工资多少钱
理财工资分配
会计工资分配
银行工资分配
如何进行工资分配
......

同类关键词的最长后缀是一样的，想根据关键词后缀来进行分组，最终效果如下：

会计一个月工资多少钱 >> 一个月工资多少钱
挖掘机一个月工资多少钱 >> 一个月工资多少钱
化妆师一个月工资多少钱 >> 一个月工资多少钱
美容师工资多少钱 >> 工资多少钱
育婴师工资多少钱 >> 工资多少钱
化妆师工资多少钱 >> 工资多少钱
咖啡师工资多少钱 >> 工资多少钱
理财工资分配 >> 工资分配
会计工资分配 >> 工资分配
银行工资分配 >> 工资分配
如何进行工资分配 >> 工资分配
......


关键词总共有4w个，咋实现...

ssfjhh

1. 会计工资分配 >> 工资分配
   
2. 银行工资分配 >> 工资分配

复制代码

要是再来个“工商银行工资分配”，该怎么算呢？

substr函数

回复 1# GoGo闯


育婴师工资多少钱
化妆师工资多少钱
咖啡师工资多少钱

最长后缀是

师工资多少钱

sxcong

分词都是要先有词典的
代码相对容易，可以参考开源的ik之类
分词的工具，一般直接用elasticsearch

icymirror

如果确定是词后缀的话，也许可以通过逆序数据后建立一个树来进行分类．
比如：
会计一个月工资多少钱　＝＞　钱少多资工月个一计会
然后，
一个字一个节点建立树，每个节点上加一个本节点被访问几次．
钱少多资工月个一计会
钱少多资工月个一机掘挖
这两个数据建立的结构就是：
从"钱"到"一"的访问次数都是２，后面的是１．
然后，在叶子结点上把原始字符串记录上．
这样，把所有数据都加入进这个树之后，就可以设定一个阈值来进行划分了．
比如：可以设定为当一个节点访问５次以上才作为共同结点，这时候，下级的所有叶子可以在这一个结点合并在一起．
然后，当所有节点过滤完成之后，把内容输出就可以了．
因为排出路径的同时，数据也已经是按照对应的词分组了．

bskay

哈哈,这个问题我一般这样做的,
先造一个词库,然后把这好几万数据都处理一下,如果有的条目没有找到后缀,就把后缀打印出来,手工(活自动)加到词库
然后再跑一次,直到没有例外

人脑加电脑.手动加自动,不全自动也不全手动

icymirror

我的解决方案对应的代码如下：
其中，假定所有词保存在"data.txt"文件中，并且，每个词一行。
然后，在main中调用时，以长度3(可以直接把3更换成需要的次数)作为关键词出现的最低标准。

1. def addWordToTree(word, statistics):
   
2.     """
   
3.     Add a word element into statistics tree
   
4.     """
   
5.     sequence = word[::-1]
   
6.     start = statistics
   
7.     for item in sequence:
   
8.         if start.has_key(item):
   
9.             start[item][0] += 1
   
10.         else:
    
11.             start[item] = [1, {}]
    
12.         start = start[item][1]
    
13. 
    
14. def readData(filename):
    
15.     """
    
16.     Read data from specified data file
    
17.     """
    
18.     result = {}
    
19.     with open(filename, "r") as handle:
    
20.         for line in handle.readlines():
    
21.             line = line.strip()
    
22.             addWordToTree(line.decode("utf-8"), result)
    
23.     return result
    
24. 
    
25. def filterData(data, key, status, bar = 4):
    
26.     """
    
27.     Filter built words tree with expected bar
    
28.     """
    
29.     for item in data.keys():
    
30.         if data[item][0] < bar:
    
31.             for subItem in data[item][1]:
    
32.                 buildResult(data[item][1][subItem][1], key, status, item + subItem)
    
33.         else:
    
34.             filterData(data[item][1], key + item, status, bar)
    
35.     return status
    
36. 
    
37. def buildResult(data, key, status, content):
    
38.     """
    
39.     Build filtered result, [::-1] is used to ensure key and value in correct direction
    
40.     """
    
41.     if len(data) == 0:
    
42.         if status.has_key(key[::-1]):
    
43.             status[key[::-1]].append(content[::-1])
    
44.         else:
    
45.             status[key[::-1]] = [content[::-1]]
    
46.     else:
    
47.         for item in data.keys():
    
48.             buildResult(data[item][1], key, status, content + item)
    
49. 
    
50. def main():
    
51.     data = readData("data.txt")
    
52.    
    
53.     result = {}
    
54.     filterData(data, "", result, 3)
    
55.     for key, value in result.iteritems():
    
56.         print "=" * 80
    
57.         print key.encode("utf-8")
    
58.         print "-" * 60
    
59.         for item in value:
    
60.             print item.encode("utf-8")
    
61. 
    
62. if __name__=="__main__":
    
63.     main()

复制代码