免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › C/C++ › 用C++处理一个几个G或者更大的文件，求好办法。
最近访问板块 发新帖
楼主: VIP_fuck
打印 上一主题 下一主题

[算法] 用C++处理一个几个G或者更大的文件，求好办法。 [复制链接]

hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
1楼 [报告]
发表于 2015-04-24 09:41 |显示全部楼层
mmap这个文件，根据IP＋域名建立到文件的hash，然后就这么处理呗
hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
2楼 [报告]
发表于 2015-04-24 10:05 |显示全部楼层
VIP_fuck 发表于 2015-04-24 10:01
回复 2# hellioncu


都可以。根据经验，一般这种场景用hash ／ unordered_map 会比一般的map快一点
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
3楼 [报告]
发表于 2015-04-27 10:07 |显示全部楼层
本帖最后由 hellioncu 于 2015-04-27 10:07 编辑
流氓无产者 发表于 2015-04-27 09:35
基本上应该是db的领域，当然你自己要做db的事情也可以,也许效率更高，但精力花费也更多
就看你的主业是什 ...


那么大的文本文件你要人家导入到数据库再处理？得花多少时间啊，再说SQL的长处也不是处理文本
一般来说首选脚本，对处理时间要求很高就C／C++
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP