免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2522 | 回复: 5

請問一下關於file to string的操作 [复制链接]

论坛徽章:
0
发表于 2014-10-16 16:43 |显示全部楼层
我現在手邊有一個大約3G左右的大檔

想使用下面的方法來操作
  1. open(input,"fileName") or die $!;
  2. $fileContent=do{local $/;<input>};
  3. close(input);
复制代码
一次將檔案讀進memory中

然後再進行處理

但是我發現不管是進行字串比對(=~m//)、substr、index等等操作都沒有效

這些操作在檔案比較小的時候是可行的

想請問一下這種方法是不是會受限於檔案的大小

謝謝

论坛徽章:
6
丑牛
日期:2014-03-21 15:42:04子鼠
日期:2014-04-12 11:50:17处女座
日期:2014-09-01 09:25:1115-16赛季CBA联赛之吉林
日期:2015-12-22 14:01:5215-16赛季CBA联赛之广东
日期:2016-03-08 18:49:422016科比退役纪念章
日期:2016-07-06 12:19:55
发表于 2014-10-16 19:04 |显示全部楼层
台湾银?一次读3G额,你内存多大,能读成功?

论坛徽章:
46
15-16赛季CBA联赛之四川
日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯
日期:2015-04-11 17:31:45天蝎座
日期:2015-03-25 16:56:49双鱼座
日期:2015-03-25 16:56:30摩羯座
日期:2015-03-25 16:56:09巳蛇
日期:2015-03-25 16:55:30卯兔
日期:2015-03-25 16:54:29子鼠
日期:2015-03-25 16:53:59申猴
日期:2015-03-25 16:53:29寅虎
日期:2015-03-25 16:52:29羊年新春福章
日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼
日期:2015-07-13 10:44:56
发表于 2014-10-16 19:08 |显示全部楼层
什么叫没有效果?物理内存过小导致操作慢的无法进行还是 bug 了?

5.20 修复了一个bug你看是不是符合你的情况
Fixed a small number of regexp constructions that could either fail to match or crash perl when the string being matched against was allocated above the 2GB line on 32-bit systems. [RT #118175]

论坛徽章:
0
发表于 2014-10-17 11:34 |显示全部楼层
本帖最后由 afukada 于 2014-10-17 11:41 编辑

回复 2# stanley_tam


這麼大的檔案當然是用server去讀取的阿{:3_203:}

server有128G的記憶體

之前就有試過類似的方法

不過那時候檔案比較小

所以才會好奇是不是因為檔案太大的關係

论坛徽章:
0
发表于 2014-10-17 11:39 |显示全部楼层
回复 3# zhlong8


抱歉沒有說清楚

將檔案讀進memory之後

使用substr輸出會是空的

index會輸出負很大的數值

=~m//會找不到pattern(確定pattern是存在的)

但是使用length()可以輸出string的正確長度

---------------------------------------------------
server有128G的memory

所以理論上不會發生memory不夠的情形

不過我剛剛看了一下

有可能是其他使用者也佔用了memory

所以實際上的memory也許是不夠的

我再找找看問題好了

謝謝

论坛徽章:
46
15-16赛季CBA联赛之四川
日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯
日期:2015-04-11 17:31:45天蝎座
日期:2015-03-25 16:56:49双鱼座
日期:2015-03-25 16:56:30摩羯座
日期:2015-03-25 16:56:09巳蛇
日期:2015-03-25 16:55:30卯兔
日期:2015-03-25 16:54:29子鼠
日期:2015-03-25 16:53:59申猴
日期:2015-03-25 16:53:29寅虎
日期:2015-03-25 16:52:29羊年新春福章
日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼
日期:2015-07-13 10:44:56
发表于 2014-10-17 13:06 |显示全部楼层
回复 5# afukada


    按文档 index 返回负数不是-1 就是bug了。可能是返回的值是有符号的32位整数又大于2G变成负数了,升级成新的64位perl试试
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP