
平台论坛博客文库

› 论坛 › 程序设计 › Shell › 文本按列记录分类处理

12 / 2 页下一页

[文本处理] 文本按列记录分类处理 [复制链接]

zBS

白手起家

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-10-31 09:12 |只看该作者 |倒序浏览

我现在有这样文本，本身只有第一列，为了方便处理，我添加了第二列，要求是按照第2列数字每个记录取一行，分批取出来，每次取出的记录第2列记录不能重复，我只会用awk '!a[$2]++'单次来取，请问有办法shell一次完成吗？或者把第一列如果第13和14个字符相同的整成横向排列，这样很非常好处理，非常感谢大家帮忙！

ibm_ds8x000_0006 00
ibm_ds8x000_0007 00
ibm_ds8x000_0008 00
ibm_ds8x000_0009 00
ibm_ds8x000_000a 00
ibm_ds8x000_000b 00
ibm_ds8x000_0106 01
ibm_ds8x000_0107 01
ibm_ds8x000_0108 01
ibm_ds8x000_0109 01
ibm_ds8x000_010a 01
ibm_ds8x000_010b 01
ibm_ds8x000_0206 02
ibm_ds8x000_0207 02
ibm_ds8x000_0208 02
ibm_ds8x000_0209 02
ibm_ds8x000_020a 02
ibm_ds8x000_020b 02
ibm_ds8x000_0306 03
ibm_ds8x000_0307 03
ibm_ds8x000_0308 03
ibm_ds8x000_0309 03
ibm_ds8x000_030a 03
ibm_ds8x000_030b 03
ibm_ds8x000_0406 04
ibm_ds8x000_0407 04
ibm_ds8x000_0408 04
ibm_ds8x000_0409 04
ibm_ds8x000_040a 04
ibm_ds8x000_040b 04
ibm_ds8x000_040c 04
ibm_ds8x000_040d 04
ibm_ds8x000_0506 05
ibm_ds8x000_0507 05
ibm_ds8x000_0508 05
ibm_ds8x000_0509 05
ibm_ds8x000_050a 05
ibm_ds8x000_050b 05
ibm_ds8x000_050c 05
ibm_ds8x000_050d 05
ibm_ds8x000_0606 06
ibm_ds8x000_0607 06
ibm_ds8x000_0608 06
ibm_ds8x000_0609 06
ibm_ds8x000_060a 06
ibm_ds8x000_060b 06
ibm_ds8x000_060c 06
ibm_ds8x000_060d 06
ibm_ds8x000_0706 07
ibm_ds8x000_0707 07
ibm_ds8x000_0708 07
ibm_ds8x000_0709 07
ibm_ds8x000_070a 07
ibm_ds8x000_070b 07
ibm_ds8x000_070c 07
ibm_ds8x000_070d 07
ibm_ds8x000_0806 08
ibm_ds8x000_0807 08
ibm_ds8x000_0808 08
ibm_ds8x000_0809 08
ibm_ds8x000_080a 08
ibm_ds8x000_080b 08
ibm_ds8x000_0906 09
ibm_ds8x000_0907 09
ibm_ds8x000_0908 09
ibm_ds8x000_0909 09
ibm_ds8x000_090a 09
ibm_ds8x000_090b 09
ibm_ds8x000_1006 10
ibm_ds8x000_1007 10
ibm_ds8x000_1008 10
ibm_ds8x000_1009 10
ibm_ds8x000_100a 10
ibm_ds8x000_100b 10
ibm_ds8x000_1106 11
ibm_ds8x000_1107 11
ibm_ds8x000_1108 11
ibm_ds8x000_1109 11
ibm_ds8x000_110a 11
ibm_ds8x000_110b 11
ibm_ds8x000_1206 12
ibm_ds8x000_1207 12
ibm_ds8x000_1208 12
ibm_ds8x000_1209 12
ibm_ds8x000_120a 12
ibm_ds8x000_120b 12
ibm_ds8x000_120c 12
ibm_ds8x000_120d 12
ibm_ds8x000_1306 13
ibm_ds8x000_1307 13
ibm_ds8x000_1308 13
ibm_ds8x000_1309 13
ibm_ds8x000_130a 13
ibm_ds8x000_130b 13
ibm_ds8x000_130c 13
ibm_ds8x000_130d 13
ibm_ds8x000_1406 14
ibm_ds8x000_1407 14
ibm_ds8x000_1408 14
ibm_ds8x000_1409 14
ibm_ds8x000_140a 14
ibm_ds8x000_140b 14
ibm_ds8x000_140c 14
ibm_ds8x000_140d 14
ibm_ds8x000_1506 15
ibm_ds8x000_1507 15
ibm_ds8x000_1508 15
ibm_ds8x000_1509 15
ibm_ds8x000_150a 15
ibm_ds8x000_150b 15
ibm_ds8x000_150c 15
ibm_ds8x000_150d 15
ibm_ds8x000_1606 16
ibm_ds8x000_1607 16
ibm_ds8x000_1608 16
ibm_ds8x000_1609 16
ibm_ds8x000_160a 16
ibm_ds8x000_160b 16
ibm_ds8x000_1706 17
ibm_ds8x000_1707 17
ibm_ds8x000_1708 17
ibm_ds8x000_1709 17
ibm_ds8x000_170a 17
ibm_ds8x000_170b 17
ibm_ds8x000_1806 18
ibm_ds8x000_1807 18
ibm_ds8x000_1808 18
ibm_ds8x000_1809 18
ibm_ds8x000_180a 18
ibm_ds8x000_180b 18
ibm_ds8x000_1906 19
ibm_ds8x000_1907 19
ibm_ds8x000_1908 19
ibm_ds8x000_1909 19
ibm_ds8x000_190a 19
ibm_ds8x000_190b 19
ibm_ds8x000_2006 20
ibm_ds8x000_2007 20
ibm_ds8x000_2008 20
ibm_ds8x000_2009 20
ibm_ds8x000_200a 20
ibm_ds8x000_200b 20
ibm_ds8x000_200c 20
ibm_ds8x000_200d 20
ibm_ds8x000_2106 21
ibm_ds8x000_2107 21
ibm_ds8x000_2108 21
ibm_ds8x000_2109 21
ibm_ds8x000_210a 21
ibm_ds8x000_210b 21
ibm_ds8x000_210c 21
ibm_ds8x000_210d 21
ibm_ds8x000_2206 22
ibm_ds8x000_2207 22
ibm_ds8x000_2208 22
ibm_ds8x000_2209 22
ibm_ds8x000_220a 22
ibm_ds8x000_220b 22
ibm_ds8x000_220c 22
ibm_ds8x000_220d 22
ibm_ds8x000_2306 23
ibm_ds8x000_2307 23
ibm_ds8x000_2308 23
ibm_ds8x000_2309 23
ibm_ds8x000_230a 23
ibm_ds8x000_230b 23
ibm_ds8x000_230c 23
ibm_ds8x000_230d 23
ibm_ds8x000_2406 24
ibm_ds8x000_2407 24
ibm_ds8x000_2408 24
ibm_ds8x000_2409 24
ibm_ds8x000_240a 24
ibm_ds8x000_240b 24
ibm_ds8x000_2506 25
ibm_ds8x000_2507 25
ibm_ds8x000_2508 25
ibm_ds8x000_2509 25
ibm_ds8x000_250a 25
ibm_ds8x000_250b 25
ibm_ds8x000_2606 26
ibm_ds8x000_2607 26
ibm_ds8x000_2608 26
ibm_ds8x000_2609 26
ibm_ds8x000_260a 26
ibm_ds8x000_260b 26
ibm_ds8x000_2706 27
ibm_ds8x000_2707 27
ibm_ds8x000_2708 27
ibm_ds8x000_2709 27
ibm_ds8x000_270a 27
ibm_ds8x000_270b 27
ibm_ds8x000_2806 28
ibm_ds8x000_2807 28
ibm_ds8x000_2808 28
ibm_ds8x000_2809 28
ibm_ds8x000_280a 28
ibm_ds8x000_280b 28
ibm_ds8x000_280c 28
ibm_ds8x000_280d 28
ibm_ds8x000_2906 29
ibm_ds8x000_2907 29
ibm_ds8x000_2908 29
ibm_ds8x000_2909 29
ibm_ds8x000_290a 29
ibm_ds8x000_290b 29
ibm_ds8x000_290c 29
ibm_ds8x000_290d 29
ibm_ds8x000_3006 30
ibm_ds8x000_3007 30
ibm_ds8x000_3008 30
ibm_ds8x000_3009 30
ibm_ds8x000_300a 30
ibm_ds8x000_300b 30
ibm_ds8x000_300c 30
ibm_ds8x000_300d 30
ibm_ds8x000_3106 31
ibm_ds8x000_3107 31
ibm_ds8x000_3108 31
ibm_ds8x000_3109 31
ibm_ds8x000_310a 31
ibm_ds8x000_310b 31
ibm_ds8x000_310c 31
ibm_ds8x000_310d 31
ibm_ds8x000_3206 32
ibm_ds8x000_3207 32
ibm_ds8x000_3208 32
ibm_ds8x000_3209 32
ibm_ds8x000_320a 32
ibm_ds8x000_320b 32
ibm_ds8x000_3306 33
ibm_ds8x000_3307 33
ibm_ds8x000_3308 33
ibm_ds8x000_3309 33
ibm_ds8x000_330a 33
ibm_ds8x000_330b 33
ibm_ds8x000_3406 34
ibm_ds8x000_3407 34
ibm_ds8x000_3408 34
ibm_ds8x000_3409 34
ibm_ds8x000_340a 34
ibm_ds8x000_340b 34
ibm_ds8x000_3506 35
ibm_ds8x000_3507 35
ibm_ds8x000_3508 35
ibm_ds8x000_3509 35
ibm_ds8x000_350a 35
ibm_ds8x000_350b 35
ibm_ds8x000_3606 36
ibm_ds8x000_3607 36
ibm_ds8x000_3608 36
ibm_ds8x000_3609 36
ibm_ds8x000_360a 36
ibm_ds8x000_360b 36
ibm_ds8x000_360c 36
ibm_ds8x000_360d 36
ibm_ds8x000_3706 37
ibm_ds8x000_3707 37
ibm_ds8x000_3708 37
ibm_ds8x000_3709 37
ibm_ds8x000_370a 37
ibm_ds8x000_370b 37
ibm_ds8x000_370c 37
ibm_ds8x000_370d 37
ibm_ds8x000_3806 38
ibm_ds8x000_3807 38
ibm_ds8x000_3808 38
ibm_ds8x000_3809 38
ibm_ds8x000_380a 38
ibm_ds8x000_380b 38
ibm_ds8x000_380c 38
ibm_ds8x000_380d 38
ibm_ds8x000_3906 39
ibm_ds8x000_3907 39
ibm_ds8x000_3908 39
ibm_ds8x000_3909 39
ibm_ds8x000_390a 39
ibm_ds8x000_390b 39
ibm_ds8x000_390c 39
ibm_ds8x000_390d 39
ibm_ds8x000_4006 40
ibm_ds8x000_4007 40
ibm_ds8x000_4008 40
ibm_ds8x000_4009 40
ibm_ds8x000_400a 40
ibm_ds8x000_400b 40
ibm_ds8x000_4105 41
ibm_ds8x000_4106 41
ibm_ds8x000_4107 41
ibm_ds8x000_4108 41
ibm_ds8x000_4109 41
ibm_ds8x000_410a 41
ibm_ds8x000_410b 41
ibm_ds8x000_4205 42
ibm_ds8x000_4206 42
ibm_ds8x000_4207 42
ibm_ds8x000_4208 42
ibm_ds8x000_4209 42
ibm_ds8x000_420a 42
ibm_ds8x000_420b 42
ibm_ds8x000_4305 43
ibm_ds8x000_4306 43
ibm_ds8x000_4307 43
ibm_ds8x000_4308 43
ibm_ds8x000_4309 43
ibm_ds8x000_430a 43
ibm_ds8x000_430b 43
ibm_ds8x000_4405 44
ibm_ds8x000_4406 44
ibm_ds8x000_4407 44
ibm_ds8x000_4408 44
ibm_ds8x000_4409 44
ibm_ds8x000_440a 44
ibm_ds8x000_440b 44
ibm_ds8x000_440c 44
ibm_ds8x000_440d 44
ibm_ds8x000_4505 45
ibm_ds8x000_4506 45
ibm_ds8x000_4507 45
ibm_ds8x000_4508 45
ibm_ds8x000_4509 45
ibm_ds8x000_450a 45
ibm_ds8x000_450b 45
ibm_ds8x000_450c 45
ibm_ds8x000_450d 45
ibm_ds8x000_4605 46
ibm_ds8x000_4606 46
ibm_ds8x000_4607 46
ibm_ds8x000_4608 46
ibm_ds8x000_4609 46
ibm_ds8x000_460a 46
ibm_ds8x000_460b 46
ibm_ds8x000_460c 46
ibm_ds8x000_460d 46
ibm_ds8x000_4705 47
ibm_ds8x000_4706 47
ibm_ds8x000_4707 47
ibm_ds8x000_4708 47
ibm_ds8x000_4709 47
ibm_ds8x000_470a 47
ibm_ds8x000_470b 47
ibm_ds8x000_470c 47
ibm_ds8x000_470d 47

复制代码

文库|博客

yestreenstars

富甲一方

论坛徽章:: 32

2楼 [报告]

发表于 2012-10-31 09:58 |只看该作者

Try

awk '{a[$2]=a[$2]?a[$2]" "$1:$1}END{for(i in a)print a[i]}' urfile

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jason680

富可敌国

论坛徽章:: 145

3楼 [报告]

发表于 2012-10-31 10:06 |只看该作者

回复 1# zBS

How about this

$ echo 'ibm_ds8x000_000a
ibm_ds8x000_000b
ibm_ds8x000_0106
ibm_ds8x000_0107' | awk '{id=substr($0,13,2);if(last!=""&&id!=last)print "";printf $0" ";last=id}END{print""}'
ibm_ds8x000_000a ibm_ds8x000_000b
ibm_ds8x000_0106 ibm_ds8x000_0107

reyleon

大富大贵

论坛徽章:: 60

4楼 [报告]

发表于 2012-10-31 10:29 |只看该作者

回复 2# yestreenstars

能解释下吗？着实对awk数组一直都不会用，或者有数组这方面比较好的资料推荐看吗？

yestreenstars

富甲一方

论坛徽章:: 32

5楼 [报告]

发表于 2012-10-31 10:57 |只看该作者

本帖最后由 yestreenstars 于 2012-10-31 11:03 编辑

回复 4# reyleon

awk '{a[$2]=a[$2]?a[$2]" "$1:$1}END{for(i in a)print a[i]}' urfile

复制代码

以$2为下标建立数组a，如果a[$2]存在就在原a[$2]的后面添加一个空格和$1，然后赋值给a[$2]，如果a[$2]不存在，就把$1赋值给a[$2]。我刚接触数组时也不是很能理解，后来通过看很多例子，就慢慢理解了，你可以通过这篇精华理解一下，虽然我还没看过，不过应该不错的。

http://bbs.chinaunix.net/thread-2312439-1-1.html

reyleon

大富大贵

论坛徽章:: 60

6楼 [报告]

发表于 2012-10-31 11:04 |只看该作者

回复 5# yestreenstars

谢谢，我再去多学习学习，多练习练习。

nathanielwen

稍有积蓄

论坛徽章:: 1

7楼 [报告]

发表于 2012-10-31 11:29 |只看该作者

小弟学shell没多久，所以不会用awk编，跟3楼的思路是一样的，但是速度慢很多，以后果断好好学awk啊。

#!/bin/bash

before=00
for i in $(cat test.txt);do

now=$(echo $i | cut -c13,14)
if [ $before == $now ]
then
      echo -e "$i \c"
      #输出不换行
else
      echo -e "\n$i \c"
      #换行输出
fi
before=$(echo $i | cut -c13,14)
done
echo ""

——————————————————
test.txt里的内容是没有第二列的文本

zBS

白手起家

论坛徽章:: 0

8楼 [报告]

发表于 2012-10-31 11:31 |只看该作者

回复 3# jason680

行了，非常感谢！另外问一下，能实现我前面说的结果吗？就是重新排序。按照13和14个字符不重复的原则。

jason680

富可敌国

论坛徽章:: 145

9楼 [报告]

发表于 2012-10-31 13:25 |只看该作者

回复 8# zBS

How about this

$ echo 'ibm_ds8x000_0006
ibm_ds8x000_0007
ibm_ds8x000_0108
ibm_ds8x000_0109
ibm_ds8x000_020a
ibm_ds8x000_020b' | awk '{id=substr($0,13,2);if(id!=last){t++;c=0};a[t,++c]=$0;last=id}END{for(n=1;n<=c;n++)for(m=1;m<=t;m++)print a[m,n]}'
ibm_ds8x000_0006
ibm_ds8x000_0108
ibm_ds8x000_020a
ibm_ds8x000_0007
ibm_ds8x000_0109
ibm_ds8x000_020b

zBS

白手起家

论坛徽章:: 0

10楼 [报告]

发表于 2012-10-31 21:40 |只看该作者

回复 9# jason680

再次感谢！我得好好学习下awk了。

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 文本按列记录分类处理