免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 3586 | 回复: 23

[文本处理] 帮助 组合 提高效率 [复制链接]

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 07:14 |显示全部楼层



共有7个字符串
  1. a
  2. 3
  3. y
  4. m
  5. 4
  6. g
  7. 8
复制代码


组合成1-8位上述字符串的行
比如:(只表示其中一部分)
  1. a
  2. a3
  3. a3y
  4. a3ym
  5. a3ym4
  6. a3ym4g
  7. a3ym4g8
  8. aa3ym4g8
复制代码


echo {"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{a,3,y,m,4,g,8}|sed 's/ /\n/g'|awk '!a[$0]++' file

求助:
1、上述命令效率太慢(吃内存10GB左右,运行1个小时后人工停止)
2、请帮助命令效率高一些的


谢谢!




论坛徽章:
1
未羊
日期:2014-06-16 09:14:34
发表于 2017-06-05 09:19 |显示全部楼层
  1. echo -e "a\nb\nc\nd"|awk '{a=a?a","$0:$0;print a}'
  2. a
  3. a,b
  4. a,b,c
  5. a,b,c,d
复制代码


是这个意思??

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 09:26 |显示全部楼层
本帖最后由 bmne 于 2017-06-05 09:33 编辑

回复 2# jimmy14k


谢谢。辛苦

只要全部组合即可。里面不要逗号

另,我一楼的组合后的数据估计在1GB左右(具体到底多少我不会算)

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 12:04 |显示全部楼层

最近大牛来的很少啊

估计应该是能看明白了吧?


论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-12-17 06:20:00
发表于 2017-06-05 13:09 |显示全部楼层
#!/bin/bash
for ((i=1;i<=$#;i++))
do
        eval echo $(echo [url=mailto@|awk]$@|awk[/url] -vOFS=, -vn=$i '{$1=$1;for(i=1;i<=n;i++)printf "{"$0"}"}')|xargs -n1
done




#############

执行 ./test.sh a 3 y m 4 g 8


论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-12-17 06:20:00
发表于 2017-06-05 13:10 |显示全部楼层

#!/bin/bash
for ((i=1;i<=$#;i++))
do
        eval echo $(echo $@|awk -vOFS=, -vn=$i '{$1=$1;for(i=1;i<=n;i++)printf "{"$0"}"}')|xargs -n1
done


###############

执行 ./test.sh a 3 y m 4 g 8

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
发表于 2017-06-05 15:35 |显示全部楼层
你的目的是什么, 如果真是你所说的要全部组合, 本来就是一个穷举的过程, 就别想什么效率了
总共的条目数应该是:    7 + 7^2 +7^3 + 7^4 + 7^5 + 7^6 + 7^7 + 7^8  , 一个等比数列求和
文件总大小(加上换行符)应该是:   7*2 + 7^2*3 +7^3*4 + 7^4*5 + 7^5*6 + 7^6*7 + 7^7*8 + 7^8*9  

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 15:41 |显示全部楼层
回复 7# elu_ligao



谢谢。没办法,来的大牛少了很多现在。打扰了,不好意思


算了,不弄了。就这样吧

我的需求就是要  组合  的总数

太大了,没办法。不弄了。我另想出路去

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2017-06-06 15:23 |显示全部楼层
字典生成器
百度为您找到相关结果约438,000个

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-06 19:36 |显示全部楼层
回复 9# Shell_HAT


谢谢

好多我都用过或试验过。实话,不是很理想。
只是处理简单的还可以。稍复杂的不行。最近的有一个C++写的效率给提高了不少


您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP