求数据处理大牛指教...

parrot18

之前一直在用awk处理数据库文件里的数据
现在处理出的文件是这样：
商品名         属性        属性值
commodity1    A               a
commodity1    A               b
commodity1    A               c
commodity1    B               a
commodity1    B               b
commodity1    B               c
commodity1    C               a
commodity1    C               b
commodity1    C               c

要做的工作是 把属性值取值类似的属性名 合并（因为有些属性只是描述方式不同，取值还是一样的，所以需要合并，比如产地和特产产地）
也就是说 对上面文件中  commodity1的A\B\C属性因为取值相似（都含有a、b、c）所以最终把ABC三种属性合并为A 取值就是a、b、c

我现在的问题是 不知道怎么把握“相似”这个概念
比如 数据是这样：
豆浆机  大全豆浆机型号   8015
豆浆机  大全豆浆机型号   DQ-8011
豆浆机  大全豆浆机型号   DQ-8018
豆浆机  大全豆浆机型号   DQ-8020
豆浆机  东菱豆浆机型号   BL-9233
豆浆机  东菱豆浆机型号   BL-9240A
豆浆机  东菱豆浆机型号   BL-9240C
豆浆机  东菱豆浆机型号   DN-168
豆浆机  东菱豆浆机型号   XB-9186A
豆浆机  东菱豆浆机型号   XB-9186BH
豆浆机  东菱豆浆机型号   XB-9186C
豆浆机  东菱豆浆机型号   XB-9186H
豆浆机  东菱豆浆机型号   XB-9186T
豆浆机  东菱豆浆机型号   XB-9186h(银)

按照要求 我应该要把这些XX豆浆机型号全部合并为型号  这该怎么做呢？。。用awk可以吗？请大家帮忙 给点灵感...

mpstat

不好意思没看懂。。。

liion631818

这样？
豆浆机  大全豆浆机型号   8015 DQ-8011 DQ-8018 ...

parrot18

回复 3# liion631818


    恩对的  这个问题我自己没什么思路 想得千头万绪的 所以描述得不清楚  谢谢你耐心看完没说风凉话 呵呵呵

parrot18

回复 3# liion631818


    难点就是  豆浆这个商品 还有别的属性 比如净含量、卫生许可编号、产地等等，这些属性的取值肯定跟型号不同了，那么怎么区别呢。。怎么在豆浆的各种属性值里面，把“XX豆浆机型号”这些属性值描述相似的属性都筛选出来。如果光对豆浆处理还好说，“XX豆浆机型号”的取值都是字母、数字中间还有“-”，但是数据库里还有别的商品，想一种通用的、适用其他商品办法，很难啊。。

liion631818

回复  liion631818


    恩对的  这个问题我自己没什么思路 想得千头万绪的 所以描述得不清楚  谢谢你 ...
parrot18 发表于 2011-09-14 16:55

    这个没事啦，大家只是开个玩笑，当放松的，呵呵，你需求清楚了，大家会很乐意帮你的

parrot18

回复 7# liion631818


    呵呵 大概还是得做一下数据调研才能确定方案 谢了哈

liion631818

回复 8# parrot18

大概是这样的，你把的数据选有代表的贴几段出来，然后把你想要的结果也贴出来，这样大神们就会动手帮你解决了，至于
你提到的各种问题怎样解决那不就是他们的事了么，你等结果就好了。问题解决后自己在学习下

1. 
   
2. awk '{a[$1" "$2]=a[$1" "$2]" "$3}END{for(i in a)print i, a[i]}'
   
3. 
   
4. 豆浆机 东菱豆浆机型号  BL-9233 BL-9240A BL-9240C DN-168 XB-9186A XB-9186BH XB-9186C XB-9186H XB-9186T XB-9186h(银)
   
5. 
   
6. 豆浆机 大全豆浆机型号  8015 DQ-8011 DQ-8018 DQ-8020
   

复制代码

parrot18

回复 9# liion631818


    呵呵  好的