免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › C/C++ › 用C++处理一个几个G或者更大的文件，求好办法。
12345下一页
最近访问板块 发新帖
楼主: VIP_fuck
打印 上一主题 下一主题

[算法] 用C++处理一个几个G或者更大的文件，求好办法。 [复制链接]

hanxin83

论坛徽章:
3
2015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:032015年亚洲杯之中国 日期:2015-04-22 15:52:45
21楼 [报告]
发表于 2015-04-24 17:25 |只看该作者
folklore 发表于 2015-04-24 10:30
回复 1# VIP_fuck

自已写， 顺序读文件（行单位？）


楼主, 我做过类似的, 你按妇科老人的这个来吧. 这个绝对是最靠谱的...

unordered map用来做什么? 你的日志本身根本不用存在内存里的, 读一条, 根据map找到它要写到哪个fd里, 写之就是了.

啥?你的LOG不是按时间顺序的所以要存内存等整理有序? 不是时间有序的这也叫log?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
windoze

论坛徽章:
44
15-16赛季CBA联赛之浙江 日期:2021-10-11 02:03:59程序设计版块每日发帖之星 日期:2016-07-02 06:20:0015-16赛季CBA联赛之新疆 日期:2016-04-25 10:55:452016科比退役纪念章 日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东 日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建 日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁 日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建 日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山 日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山 日期:2016-02-04 21:11:3615-16赛季CBA联赛之天津 日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江 日期:2017-01-13 01:31:49
22楼 [报告]
发表于 2015-04-24 17:56 |只看该作者
回复 21# hanxin83

妇科老人


@folklore

:luya: :luya: :luya: :luya: :luya: :luya:
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
VIP_fuck

论坛徽章:
12
2015年辞旧岁徽章 日期:2015-03-03 16:54:1515-16赛季CBA联赛之同曦 日期:2017-03-17 19:13:162016科比退役纪念章 日期:2016-11-07 08:28:12luobin 日期:2016-06-17 17:46:36wusuopu 日期:2016-06-17 17:43:4515-16赛季CBA联赛之福建 日期:2016-01-14 12:49:22程序设计版块每日发帖之星 日期:2015-12-13 06:20:00程序设计版块每日发帖之星 日期:2015-06-08 22:20:00程序设计版块每日发帖之星 日期:2015-06-08 22:20:002015年亚洲杯之科威特 日期:2015-03-24 14:21:272015年迎新春徽章 日期:2015-03-04 09:57:092016科比退役纪念章 日期:2018-04-10 16:20:18
23楼 [报告]
发表于 2015-04-24 17:58 |只看该作者
回复 20# coolmoon_133319


    。。。。
    牛逼。
    需求都不知道呢，半天就搞定。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cokeboL

论坛徽章:
36
子鼠 日期:2013-08-28 22:23:29黄金圣斗士 日期:2015-12-01 11:37:51程序设计版块每日发帖之星 日期:2015-12-14 06:20:00CU十四周年纪念徽章 日期:2015-12-22 16:50:40IT运维版块每日发帖之星 日期:2016-01-25 06:20:0015-16赛季CBA联赛之深圳 日期:2016-01-27 10:31:172016猴年福章徽章 日期:2016-02-18 15:30:3415-16赛季CBA联赛之福建 日期:2016-04-07 11:25:2215-16赛季CBA联赛之青岛 日期:2016-04-29 18:02:5915-16赛季CBA联赛之北控 日期:2016-06-20 17:38:50技术图书徽章 日期:2016-07-19 13:54:03程序设计版块每日发帖之星 日期:2016-08-21 06:20:00
24楼 [报告]
发表于 2015-04-24 21:07 |只看该作者
读一条写一条，这有什么难的吗
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lssliu

论坛徽章:
2
白羊座 日期:2013-09-12 21:13:11酉鸡 日期:2014-12-18 13:56:26
25楼 [报告]
发表于 2015-04-24 22:48 |只看该作者
win下做过类似的，内存映射，之后hash，5个G的文件5分钟左右。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
SeAL80s

论坛徽章:
18
2015年迎新春徽章 日期:2015-03-04 10:16:53操作系统版块每日发帖之星 日期:2016-05-11 06:20:0015-16赛季CBA联赛之佛山 日期:2016-05-06 22:28:4415-16赛季CBA联赛之广夏 日期:2016-04-22 23:24:00操作系统版块每日发帖之星 日期:2016-04-21 06:20:00IT运维版块每周发帖之星 日期:2016-03-07 16:27:44操作系统版块每日发帖之星 日期:2016-02-03 06:20:00IT运维版块每日发帖之星 日期:2016-01-31 06:20:00IT运维版块每日发帖之星 日期:2016-01-30 06:20:00IT运维版块每日发帖之星 日期:2016-01-24 06:20:00IT运维版块每日发帖之星 日期:2016-01-23 06:20:00操作系统版块每日发帖之星 日期:2015-11-26 06:20:00
26楼 [报告]
发表于 2015-04-25 06:03 |只看该作者
我也觉得放数据库比较好
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Unix_C_Linux

论坛徽章:
0
27楼 [报告]
发表于 2015-04-25 15:19 |只看该作者
必须要用C程序吗,用awk可行
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
流氓无产者

论坛徽章:
208
巨蟹座 日期:2013-09-02 09:16:36卯兔 日期:2013-09-02 20:53:59酉鸡 日期:2013-09-05 21:21:45戌狗 日期:2013-10-15 20:51:17寅虎 日期:2013-10-18 21:13:16白羊座 日期:2013-10-23 21:15:19午马 日期:2013-10-25 21:22:48技术图书徽章 日期:2013-11-01 09:11:32双鱼座 日期:2013-11-01 20:29:44丑牛 日期:2013-11-01 20:40:00卯兔 日期:2013-11-11 09:21:32酉鸡 日期:2013-12-04 19:56:39
28楼 [报告]
发表于 2015-04-27 09:35 |只看该作者
VIP_fuck 发表于 2015-04-24 09:34
一个几个G或者更大的文件，里边都是log，基本上是IP，域名这类数据。
现在需要把log按照IP和域名处理，每个 ...

基本上应该是db的领域，当然你自己要做db的事情也可以,也许效率更高，但精力花费也更多
就看你的主业是什么
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
29楼 [报告]
发表于 2015-04-27 10:07 |只看该作者
本帖最后由 hellioncu 于 2015-04-27 10:07 编辑
流氓无产者 发表于 2015-04-27 09:35
基本上应该是db的领域，当然你自己要做db的事情也可以,也许效率更高，但精力花费也更多
就看你的主业是什 ...


那么大的文本文件你要人家导入到数据库再处理？得花多少时间啊，再说SQL的长处也不是处理文本
一般来说首选脚本，对处理时间要求很高就C／C++
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
VIP_fuck

论坛徽章:
12
2015年辞旧岁徽章 日期:2015-03-03 16:54:1515-16赛季CBA联赛之同曦 日期:2017-03-17 19:13:162016科比退役纪念章 日期:2016-11-07 08:28:12luobin 日期:2016-06-17 17:46:36wusuopu 日期:2016-06-17 17:43:4515-16赛季CBA联赛之福建 日期:2016-01-14 12:49:22程序设计版块每日发帖之星 日期:2015-12-13 06:20:00程序设计版块每日发帖之星 日期:2015-06-08 22:20:00程序设计版块每日发帖之星 日期:2015-06-08 22:20:002015年亚洲杯之科威特 日期:2015-03-24 14:21:272015年迎新春徽章 日期:2015-03-04 09:57:092016科比退役纪念章 日期:2018-04-10 16:20:18
30楼 [报告]
发表于 2015-04-27 10:24 |只看该作者
回复 24# cokeboL


    呵呵
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12345下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP