用C++处理一个几个G或者更大的文件，求好办法。

VIP_fuck

一个几个G或者更大的文件，里边都是log，基本上是IP，域名这类数据。
现在需要把log按照IP和域名处理，每个IP+域名的log放到一个单独的文件里。也就是说，会产生很多个小文件。
这是基本的描述吧，有什么好的办法吗？

hellioncu

mmap这个文件，根据IP＋域名建立到文件的hash，然后就这么处理呗

VIP_fuck

回复 2# hellioncu


    用stl map我觉得也行，不过不知道有没有什么开源的东西可以弄。

fender0107401

VIP_fuck 发表于 2015-04-24 09:34
一个几个G或者更大的文件，里边都是log，基本上是IP，域名这类数据。
现在需要把log按照IP和域名处理，每个 ...

C++解析，全都存到数据库里面，之后随便select，可以生成各种形式的。

hellioncu

VIP_fuck 发表于 2015-04-24 10:01
回复 2# hellioncu

都可以。根据经验，一般这种场景用hash ／ unordered_map 会比一般的map快一点

linux_c_py_php

读进来写出去。

VIP_fuck

回复 5# hellioncu


    嗯，对，unorderd_map也许会更好。

VIP_fuck

回复 4# fender0107401


    存数据库基本没可能，太大了，

folklore

回复 1# VIP_fuck

自已写， 顺序读文件（行单位？）
   判断域名+ip, 写到  以域名+ip的文件中（没有则新建）。

大文件这样最可行。

fender0107401

回复 8# VIP_fuck

才几个G，小case。按我的方法，灵活性无敌了。