东风何处是人间（ruby版）

三里屯摇滚

东风何处是人间（ruby版）

近期这个帖子大火啊，也终于抽出时间写ruby版的了。
个人水平有限，程序写的很糟糕，至少比原文的看着复杂多了，不知道是否能有ruby高手给大家写个示例。

数据：《全宋词》文本

Ruby代码

1. #coding: utf-8   
   
2. require "iconv"  
   
3.   
   
4. s1 = Iconv.conv 'gbk','utf-8',"，"  
   
5. s2 = Iconv.conv 'gbk','utf-8',"。"  
   
6. s3 = Iconv.conv 'gbk','utf-8',"！"  
   
7. s4 = Iconv.conv 'gbk','utf-8',"？"  
   
8. s5 = Iconv.conv 'gbk','utf-8',"、"  
   
9.   
   
10. NUM1 = 2  #分词长度   
    
11. NUM2 =500  #显示大于多少的记录   
    
12.   
    
13. def splitword(s,l)    #分词，x是字符串，l是字符分词长度   
    
14.   lt  = s.length   
    
15.   k = Array.new  
    
16.   0.upto(lt-l) do |i|   
    
17.     k<<s[i..i+l-1]   
    
18.   end  
    
19.   return k   
    
20. end  
    
21.   
    
22. x = Array.new     #记录分词结果的数组   
    
23.   
    
24. File.open("ci.txt","r") do |file|   
    
25.   file.each do |line|   
    
26.     if line.length<500 and line.length>10   
    
27.       line.gsub!(s2,s1)     #把标点都替换为"，"，再统一进行分割   
    
28.       line.gsub!(s3,s1)   
    
29.       line.gsub!(s4,s1)   
    
30.       line.gsub!(s5,s1)   
    
31.       line.chomp!   
    
32.       column = line.split(s1)       #用逗号分割   
    
33.       column.delete_if {|i| i.length >10 } #去除大于10个字的语句   
    
34.       column.each do |col|   
    
35.         splitword(col,NUM1).each{|i| x<<i}  if col.length>=NUM1 # 分词   
    
36.       end     
    
37.     end  
    
38.   end   
    
39. end   
    
40.   
    
41. h = Hash.new  
    
42. h = x.inject(Hash.new(0)){|hash,x| hash[x] += 1; hash} #把数组内容进行计数为hash   
    
43. h.delete_if {|key, value| value <NUM2}               #去除hash中小于指定数值的部分   
    
44.   
    
45. y = Array.new  
    
46. y  = h.sort {|a,b| b[1]<=>a[1]}                      # 从大到小排序   
    
47. y.each_index {|i| puts "#{i+1} #{y[i][0]} = #{y[i][1]}" }  

复制代码

如果有一天21

学习了..谢谢分享了

gr33n

ruby高手啊

2gua

Ruby的花样就是多，可惜这一段转移技术了。

2gua

东风何处是人间，人间Ruby独风情。

qqrrm

其实主要是因为我在windows下做的，缺省编码是GBK，在dos下运行的时候，不如此处理，就会都是乱码。
下面的是utf-8版本的，在dos下运行的时候，需要chcp 65001。
改写为utf-8版后，计数和上面gbk版的不同了，gbk版的，和原文的计数一致，utf-8版的，一是计数多了，二是很多后面的也提到了前面，不知道为什么，也许是gbk->utf-8转换的时候，一些文字出现问题了吧。

1. #coding: utf-8
   
2. require "iconv"
   
3. 
   
4. NUM1 = 2 #分词长度
   
5. NUM2 =500  #显示大于多少的记录
   
6. 
   
7. def splitword(s,l)    #分词，s是字符串，l是字符分词长度
   
8.   lt  = s.length
   
9.   k = Array.new
   
10.   0.upto(lt-l) do |i|
    
11.     k<<s[i..i+l-1]
    
12.   end
    
13.   return k
    
14. end
    
15. 
    
16. x = Array.new     #记录分词结果的数组
    
17. File.open("ci.txt", "r")  do |file|
    
18.   file.each do |line|   
    
19.     line = Iconv.conv("UTF-8//IGNORE","GBK", line)   
    
20.     line.chomp!
    
21.     column = line.split(/，|。|！|？|、/)          #使用标点分割
    
22.     column.delete_if {|i| i.length >10 }    #去除大于10个字的语句
    
23.     column.each do |col|
    
24.       splitword(col,NUM1).each{|i| x<<i} if col.length>NUM1 # 分词
    
25.     end
    
26.   end
    
27. end
    
28. 
    
29. h = Hash.new
    
30. h = x.inject(Hash.new(0)){|hash,x| hash[x] += 1; hash} #把数组内容进行计数为hash
    
31. h.delete_if {|key, value| value <NUM2}               #去除hash中小于指定数值的部分
    
32. 
    
33. y = Array.new
    
34. y  = h.sort {|a,b| b[1]<=>a[1]}                      # 从大到小排序
    
35. y.each_index {|i| puts "#{i+1} #{y[i][0]} = #{y[i][1]}" }

复制代码

2gua

中文尽量用GBK。