awk处理数据提问

sundful

有一个txt的文档，里面的内容如下：

1. 78787878|0
   
2. 12121211|4
   
3. 32323232|3
   
4. 43432432|7
   
5. 43434343|4
   
6. 45454545|16
   
7. 65656556|2
   
8. 43344344|1
   
9. 66666666|2
   

复制代码

以“|”分割，第一个参数是号码，第二个参数是访问量，数据量超过2千万，已经去过重复了，现在想做如下处理：
修改一部分访问量小于等于2的记录，把访问量修改成2到100的随机数，但不是把所有的小于等于2的记录都修改，最后要把小于等于2的记录数控制在75万以内。
比如这个文件中有100万条记录的访问量小于等于2，那就只需要修改25万左右的数据即可！

rdcwayx

先做第一步，找出小于等于2的记录数 ， 并除以4

TotalChange=$(awk -F \| '$2<=2{a++}END{print int(a/4)}' infile)

接下来,是不是只要将上面的得到的数量的记录依次修改就可以,还是需要随机修改?

sundful

回复 2# rdcwayx
随机修改，改成大于2小于100的数，然后把剩下的小于等于2的数量控制在75万以内！

一棵菠菜

楼主的头像很给力啊

rdcwayx

回复  rdcwayx
随机修改，改成大于2小于100的数，然后把剩下的小于等于2的数量控制在75万以内！
sundful 发表于 2011-08-23 11:50

可能我没有问清楚。

如你给的sample， 我需要修改一条符合记录,那么是不是就从上而下,找到第一个符合条件的纪录 "78787878|0" 中的 0 改成 2~100随机数就可以了，还是需要随机找符合条件的纪录，再随机修改其记录？

waker

1. 
   
2. awk 'BEGIN{FS=OFS="|";srand()}{$2=(($2<=2)&&(rand()<0.25))?int(rand()*100):$2}1' urfile
   

复制代码

sundful

回复 5# rdcwayx
可以顺序修改，也可以随机修改，最好随机修改，然后剩下的小于等于2的数据在75万左右即可！

sundful

回复 4# 一棵菠菜
谢谢，自己的照片，呵呵

sundful

回复 6# waker

求解释，这样能控制在75万以内么？老大

rdcwayx

顺序修改的话要简单些,结合我的第一步, waker 给的第二步，加个max 判断就可以了。

代码没试过，你看看是否有结果。

1. Total=$(awk -F \| '$2<=2{a++}END{print int(a/4)}' infile)
   
2. awk -v max=$Total 'BEGIN{FS=OFS="|";srand()}
   
3.            {if (($2<=2)&&(rand()<0.25)&&(s<=max)) {$2=int(rand()*100);s++}}1' infile

复制代码