忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
123下一页
最近访问板块 发新帖
查看: 1960 | 回复: 23

[文本处理] 帮助 组合 提高效率 [复制链接]

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 07:14 |显示全部楼层



共有7个字符串
  1. a
  2. 3
  3. y
  4. m
  5. 4
  6. g
  7. 8
复制代码


组合成1-8位上述字符串的行
比如:(只表示其中一部分)
  1. a
  2. a3
  3. a3y
  4. a3ym
  5. a3ym4
  6. a3ym4g
  7. a3ym4g8
  8. aa3ym4g8
复制代码


echo {"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{"",a,3,y,m,4,g,8}{a,3,y,m,4,g,8}|sed 's/ /\n/g'|awk '!a[$0]++' file

求助:
1、上述命令效率太慢(吃内存10GB左右,运行1个小时后人工停止)
2、请帮助命令效率高一些的


谢谢!




论坛徽章:
1
未羊
日期:2014-06-16 09:14:34
发表于 2017-06-05 09:19 |显示全部楼层
  1. echo -e "a\nb\nc\nd"|awk '{a=a?a","$0:$0;print a}'
  2. a
  3. a,b
  4. a,b,c
  5. a,b,c,d
复制代码


是这个意思??

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 09:26 |显示全部楼层
本帖最后由 bmne 于 2017-06-05 09:33 编辑

回复 2# jimmy14k


谢谢。辛苦

只要全部组合即可。里面不要逗号

另,我一楼的组合后的数据估计在1GB左右(具体到底多少我不会算)

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 12:04 |显示全部楼层

最近大牛来的很少啊

估计应该是能看明白了吧?


论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-12-17 06:20:00
发表于 2017-06-05 13:09 |显示全部楼层
#!/bin/bash
for ((i=1;i<=$#;i++))
do
        eval echo $(echo [url=mailto@|awk]$@|awk[/url] -vOFS=, -vn=$i '{$1=$1;for(i=1;i<=n;i++)printf "{"$0"}"}')|xargs -n1
done




#############

执行 ./test.sh a 3 y m 4 g 8


论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-12-17 06:20:00
发表于 2017-06-05 13:10 |显示全部楼层

#!/bin/bash
for ((i=1;i<=$#;i++))
do
        eval echo $(echo $@|awk -vOFS=, -vn=$i '{$1=$1;for(i=1;i<=n;i++)printf "{"$0"}"}')|xargs -n1
done


###############

执行 ./test.sh a 3 y m 4 g 8

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
发表于 2017-06-05 15:35 |显示全部楼层
你的目的是什么, 如果真是你所说的要全部组合, 本来就是一个穷举的过程, 就别想什么效率了
总共的条目数应该是:    7 + 7^2 +7^3 + 7^4 + 7^5 + 7^6 + 7^7 + 7^8  , 一个等比数列求和
文件总大小(加上换行符)应该是:   7*2 + 7^2*3 +7^3*4 + 7^4*5 + 7^5*6 + 7^6*7 + 7^7*8 + 7^8*9  

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-05 15:41 |显示全部楼层
回复 7# elu_ligao



谢谢。没办法,来的大牛少了很多现在。打扰了,不好意思


算了,不弄了。就这样吧

我的需求就是要  组合  的总数

太大了,没办法。不弄了。我另想出路去

论坛徽章:
105
ChinaUnix元老
日期:2015-02-02 08:55:39CU十二周年纪念徽章
日期:2015-02-02 08:55:50午马
日期:2014-04-30 10:30:44双子座
日期:2013-08-20 08:22:52双鱼座
日期:2013-08-20 17:47:58丑牛
日期:2013-09-13 13:10:45水瓶座
日期:2013-09-13 21:15:33寅虎
日期:2013-09-25 11:23:51戌狗
日期:2013-09-26 13:21:25丑牛
日期:2013-09-26 14:23:42亥猪
日期:2013-09-27 17:42:00亥猪
日期:2013-09-27 17:45:14
发表于 2017-06-06 15:23 |显示全部楼层
字典生成器
百度为您找到相关结果约438,000个

论坛徽章:
31
程序设计版块每日发帖之星
日期:2016-02-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-20 06:20:00程序设计版块每日发帖之星
日期:2016-07-26 06:20:00每日论坛发贴之星
日期:2016-07-26 06:20:00程序设计版块每日发帖之星
日期:2016-07-27 06:20:00每日论坛发贴之星
日期:2016-07-27 06:20:00程序设计版块每日发帖之星
日期:2016-07-28 06:20:00程序设计版块每日发帖之星
日期:2016-07-29 06:20:00程序设计版块每日发帖之星
日期:2016-08-02 06:20:00程序设计版块每日发帖之星
日期:2016-08-06 06:20:00程序设计版块每日发帖之星
日期:2016-08-08 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00
发表于 2017-06-06 19:36 |显示全部楼层
回复 9# Shell_HAT


谢谢

好多我都用过或试验过。实话,不是很理想。
只是处理简单的还可以。稍复杂的不行。最近的有一个C++写的效率给提高了不少


您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票7.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP