免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › 想不到题目这么难改变一下需求

1 23 / 3 页

最近访问板块

发新帖

楼主: Windows19

上一主题

下一主题

想不到题目这么难改变一下需求 [复制链接]

论坛徽章:: 22

2015年亚洲杯之科威特
日期:2015-04-18 15:27:07

每日论坛发贴之星
日期:2016-01-27 06:20:00

15-16赛季CBA联赛之广夏
日期:2016-03-28 16:20:51

程序设计版块每日发帖之星
日期:2016-04-09 06:20:00

CU十四周年纪念徽章
日期:2016-05-03 09:35:14

15-16赛季CBA联赛之天津
日期:2016-11-18 08:31:31

15-16赛季CBA联赛之山西
日期:2016-12-07 16:29:53

15-16赛季CBA联赛之八一
日期:2017-01-10 11:34:34

15-16赛季CBA联赛之吉林
日期:2017-03-30 22:51:19

15-16赛季CBA联赛之广夏
日期:2017-04-13 20:51:52

程序设计版块每日发帖之星
日期:2016-01-27 06:20:00

每日论坛发贴之星
日期:2015-12-28 06:20:00

21楼 [报告]

发表于 2017-07-08 10:36 |只看该作者

搞得神神秘秘的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 28

15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:42

15-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:04

15-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:29

15-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43

CU十四周年纪念徽章
日期:2016-12-18 13:03:44

15-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:25

15-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:24

15-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:51

2016科比退役纪念章
日期:2017-02-06 17:21:50

黑曼巴
日期:2017-02-10 15:46:12

15-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54

15-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44

22楼 [报告]

发表于 2017-07-10 11:53 |只看该作者

上次给你那脚本还没搞定?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 22

2015年亚洲杯之科威特
日期:2015-04-18 15:27:07

每日论坛发贴之星
日期:2016-01-27 06:20:00

15-16赛季CBA联赛之广夏
日期:2016-03-28 16:20:51

程序设计版块每日发帖之星
日期:2016-04-09 06:20:00

CU十四周年纪念徽章
日期:2016-05-03 09:35:14

15-16赛季CBA联赛之天津
日期:2016-11-18 08:31:31

15-16赛季CBA联赛之山西
日期:2016-12-07 16:29:53

15-16赛季CBA联赛之八一
日期:2017-01-10 11:34:34

15-16赛季CBA联赛之吉林
日期:2017-03-30 22:51:19

15-16赛季CBA联赛之广夏
日期:2017-04-13 20:51:52

程序设计版块每日发帖之星
日期:2016-01-27 06:20:00

每日论坛发贴之星
日期:2015-12-28 06:20:00

23楼 [报告]

发表于 2017-07-10 15:12 来自手机 |只看该作者

moperyblue 发表于 2017-07-10 11:53
上次给你那脚本还没搞定?

谢谢moperyblue老师

用你那个脚本可以搞定，但就是会随着b文件大小而令到时间倍增长

测试a文件100m b文件1m左右需要20分钟左

在这边测试CPU只用了1个核心

如果要做100g b.txt1m大小
那计算出...

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 28

15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:42

15-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:04

15-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:29

15-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43

CU十四周年纪念徽章
日期:2016-12-18 13:03:44

15-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:25

15-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:24

15-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:51

2016科比退役纪念章
日期:2017-02-06 17:21:50

黑曼巴
日期:2017-02-10 15:46:12

15-16赛季CBA联赛之上海
日期:2017-03-18 10:14:54

15-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44

24楼 [报告]

发表于 2017-07-10 15:42 |只看该作者

回复 23# Windows19

可以试试将大文件a.txt 切割为小文件(split命令) 再用b.txt分别比对小文件

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 22

2015年亚洲杯之科威特
日期:2015-04-18 15:27:07

每日论坛发贴之星
日期:2016-01-27 06:20:00

15-16赛季CBA联赛之广夏
日期:2016-03-28 16:20:51

程序设计版块每日发帖之星
日期:2016-04-09 06:20:00

CU十四周年纪念徽章
日期:2016-05-03 09:35:14

15-16赛季CBA联赛之天津
日期:2016-11-18 08:31:31

15-16赛季CBA联赛之山西
日期:2016-12-07 16:29:53

15-16赛季CBA联赛之八一
日期:2017-01-10 11:34:34

15-16赛季CBA联赛之吉林
日期:2017-03-30 22:51:19

15-16赛季CBA联赛之广夏
日期:2017-04-13 20:51:52

程序设计版块每日发帖之星
日期:2016-01-27 06:20:00

每日论坛发贴之星
日期:2015-12-28 06:20:00

25楼 [报告]

发表于 2017-07-10 15:44 来自手机 |只看该作者

moperyblue 发表于 2017-07-10 15:42
回复 23# Windows19

这个想法可以

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 7

戌狗
日期:2013-12-15 20:43:38

技术图书徽章
日期:2014-03-05 01:33:12

技术图书徽章
日期:2014-03-15 20:31:17

未羊
日期:2014-03-25 23:48:20

丑牛
日期:2014-04-07 22:37:44

巳蛇
日期:2014-04-11 21:58:09

15-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13

26楼 [报告]

发表于 2017-07-25 00:05 |只看该作者

本帖最后由 rubyish 于 2017-07-24 20:44 编辑

8l, youyisi, 3Q~~

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

27楼 [报告]

发表于 2017-07-25 14:54 |只看该作者

ffffffffffff

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 13

CU大牛徽章
日期:2013-04-17 11:20:36

15-16赛季CBA联赛之吉林
日期:2017-05-25 16:45:47

15-16赛季CBA联赛之福建
日期:2017-03-13 11:33:44

2017金鸡报晓
日期:2017-02-08 10:39:42

2017金鸡报晓
日期:2017-01-10 15:13:29

IT运维版块每日发帖之星
日期:2016-03-15 06:20:01

IT运维版块每日发帖之星
日期:2015-10-02 06:20:00

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

CU大牛徽章
日期:2013-09-18 15:15:45

CU大牛徽章
日期:2013-09-18 15:15:15

CU大牛徽章
日期:2013-04-17 11:46:39

CU大牛徽章
日期:2013-04-17 11:46:28

28楼 [报告]

发表于 2017-12-04 10:47 |只看该作者

我乱说几句：
这个问题如果是用分布式环境处理，可能效率成倍增加啊，毕竟就是一个简单的匹配过滤问题。
首先把关键字部分排序去重，然后有多少条关键字就建立多少条过滤管道，
管道串连接起来，数据从头到尾走一遍，匹配就旁路出去，不走后面的了。
通过动态调整管道链，可以让经常被匹配的在最前面（动态排序管道位置，当然如果已知管道条件分布比较均衡则不用调整）。
这样只需要对A文件读取一次就可以完成过滤了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

29楼 [报告]

发表于 2017-12-05 15:22 |只看该作者

为啥不用 grep -f

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

1 23 / 3 页

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › 想不到题目这么难改变一下需求

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP