用perl做大规模数据（千万级）高效处理的孔雀翎

helbreathszw

呵呵，以前记得孔雀翎是可以让一个不会武功的人能迅速PK掉武功高手的武器。
同样在IT世界，perl+mysql就能成为一个高效的孔雀翎。学perl是因为导入mysql数据时候需要一些正则处理，比如去掉不要的，或是做一些变更替换啥的，当然用php,c,java也能做，但是perl比较适合懒惰的人。
哈哈，接下来就是对付千万级的数据分析了，本来应该要学会了算法，cache,多线程才能做的来的事情，现在统统让mysql来处理，我们只要把数据导入到mysql就算大功告成。

于是，一切就变得简单了，当然如果你肯花功夫学一些mysql的性能优化，可以让你产生10多倍的功效。
另外提一下，不要把数据库当作多么高深的东东，其实他就是一个高效算法集一身的文件处理系统。嘎嘎

helbreathszw

MySQL storage engines
One of the big advantages of MySQL is its concept of "pluggable storage engines". This means you can choose the most optimal storage engine for your needs. This also has a disadvantage: You have to know what you are doing...

MySQL provides the following storage engines:

mysql> SHOW ENGINES;

+------------+----------+-------------------------------------------------------+
| Engine     | Support  | Comment                                               |
+------------+----------+-------------------------------------------------------+
| MyISAM     | DEFAULT  | Default engine with great performance                 |
| MEMORY     | YES      | Hash based in memory tables                           |
| InnoDB     | YES      | Transactional storage engine with row-level locking   |
| Falcon     | YES      | Falcon storage engine                                 |
| BerkeleyDB | NO       | Transactional storage engine with page-level locking  |
| BLACKHOLE  | YES      | /dev/null storage engine for replication transmission |
| EXAMPLE    | YES      | Example storage engine                                |
| ARCHIVE    | YES      | Archive storage engine                                |
| CSV        | YES      | CSV storage engine                                    |
| ndbcluster | DISABLED | Clustered, fault-tolerant, memory-based tables        |
| FEDERATED  | YES      | Federated MySQL storage engine (like database links)  |
| MRG_MYISAM | YES      | Collection of identical MyISAM tables (MERGE)         |
| ISAM       | NO       | Obsolete storage engine                               |
+------------+----------+-------------------------------------------------------+



There are also some independent storage engine providers:

solidDB
PrimeBase XT
OpenOLAP
Thinking Networks Storage Engine
RitmarkFS
FS map to mysql
Sphinx Search
mdbtools storage engine
Distributed Data Engine
MemCacheD Storage Engine (by Brian Aker)
RRD Storage engine (insider information, unofficial name, not yet available). A work around you can find here: Round-Robin Database Storage Engine (RRD)
VEMySQL Velocity Storage Engine
NitroEDB
InfoBrigth
FIFO storage engine (Domas)
Amazon S3 storage engine
ScaleDB

helbreathszw

有了上述这些能力，就能让你面对千万级别的数据可以快速PK掉那些对算法，对缓冲，对线程有几年功力的IT高手!

兰花仙子

本帖与Perl有任何关系么？去数据库版炫吧。锁之。