免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 5538 | 回复: 13
打印 上一主题 下一主题

perl多线程内存溢出,段错误 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-11-03 15:03 |只看该作者 |倒序浏览
#!/usr/bin/perl
#
use threads;
use Thread:ueue;
my $q = Thread:ueue->new();
my @array=(1..1000000);
  foreach $t(@array)
      {
             $book{$t}=$t*2;
#             printf("$name produce $book{$t}\n";
       }
foreach $r(sort keys %book)
    {
        $q->enqueue($r);
#       printf("$name produce $r\n";
    }
    $q->end();
sub consume {
open(outfile,">>syslog5";
    while(defined(my $r = $q->dequeue())) {
print outfile (localtime(time)."consume $r   @_.\n";
     }

}
sub consume2 {
  foreach $s(sort keys %book)
      {
              $r=$q->dequeue();
              printf("consume $r @_.\n";
          }
}
my $consumer1 = threads->create(\&consume, "consume1";
my $consumer2 = threads->create(\&consume, "consume2";
  my $consumer3 = threads->create(\&consume, "consume3";

  $consumer1->join();
  $consumer2->join();
    $consumer3->join();

在unix大型机执行了如上代码,机器内存足够大,出现了如下报错
Out of memory!
Segmentation fault (core dumped)
感觉数据量也不是非常大啊,怎么就内存溢出了,求助
walklan 该用户已被删除
2 [报告]
发表于 2014-11-03 15:17 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
46
15-16赛季CBA联赛之四川
日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯
日期:2015-04-11 17:31:45天蝎座
日期:2015-03-25 16:56:49双鱼座
日期:2015-03-25 16:56:30摩羯座
日期:2015-03-25 16:56:09巳蛇
日期:2015-03-25 16:55:30卯兔
日期:2015-03-25 16:54:29子鼠
日期:2015-03-25 16:53:59申猴
日期:2015-03-25 16:53:29寅虎
日期:2015-03-25 16:52:29羊年新春福章
日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼
日期:2015-07-13 10:44:56
3 [报告]
发表于 2014-11-03 15:41 |只看该作者
这里内存不是问题。稍微改一点不和谐的地方,5.20 32位strawberryperl 最多占980M
  1. use strict;
  2. use warnings;

  3. use threads;
  4. use Thread::Queue;

  5. my $q = Thread::Queue->new();
  6. my %book;

  7. my @array=(1..1000000);

  8. for my $t (@array) {
  9.     $book{$t}=$t*2;
  10. }

  11. for my $r (sort keys %book) {
  12.     $q->enqueue($r);
  13. }

  14. $q->end();

  15. sub consume {
  16.     my $i = shift;
  17.     open my $outfile, ">>syslog$i";
  18.     while(defined(my $r = $q->dequeue)) {
  19.         print $outfile (localtime(time)."consume $r   @_.\n");
  20.     }
  21. }

  22. sub consume2 {
  23.     for my $s (sort keys %book) {
  24.         my $r = $q->dequeue;
  25.         printf("consume $r @_.\n");
  26.     }
  27. }
  28. my $consumer1 = threads->create(\&consume,1, "consume1");
  29. my $consumer2 = threads->create(\&consume,2, "consume2");
  30. my $consumer3 = threads->create(\&consume,3, "consume3");

  31. $consumer1->join();
  32. $consumer2->join();
  33. $consumer3->join();
复制代码

论坛徽章:
0
4 [报告]
发表于 2014-11-03 16:11 |只看该作者
你好,你这么做和我那么赋值,有什么区别么回复 2# walklan


   
walklan 该用户已被删除
5 [报告]
发表于 2014-11-03 16:15 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
8
戌狗
日期:2014-09-26 16:39:44水瓶座
日期:2014-10-10 02:06:57金牛座
日期:2014-10-11 23:04:042015亚冠之首尔
日期:2015-06-23 15:37:0015-16赛季CBA联赛之天津
日期:2016-01-22 18:58:2915-16赛季CBA联赛之佛山
日期:2016-05-31 19:18:0815-16赛季CBA联赛之同曦
日期:2016-08-10 16:26:3315-16赛季CBA联赛之辽宁
日期:2018-01-10 11:47:40
6 [报告]
发表于 2014-11-03 16:27 |只看该作者
赞同楼上的,第一种是直接把所有的数据都读取到数组里面,也就是一次性读取到内存,这样数据要是很大的话,你内存不够肯定会出现问题,
第二种是每次读取一个数据,处理完就释放了,当然内存占用就小的多了。

论坛徽章:
1
羊年新春福章
日期:2015-04-28 20:40:58
7 [报告]
发表于 2014-11-03 21:10 |只看该作者
赞同,我也觉得数组特别耗内存~

论坛徽章:
0
8 [报告]
发表于 2014-11-04 09:51 |只看该作者
多谢回复 5# walklan


   

论坛徽章:
0
9 [报告]
发表于 2014-11-04 14:45 |只看该作者
你好,这样修改以后我增加为10个线程,还是报错,内存溢出Out of memory!
Segmentation fault (core dumped)回复 5# walklan


   

论坛徽章:
0
10 [报告]
发表于 2014-11-04 14:45 |只看该作者
你好,这样修改以后我增加为10个线程,还是报错,内存溢出Out of memory!
Segmentation fault (core dumped)回复 3# zhlong8


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP