求一个好的思路，效率问题 【已解决】

chenhao392

数据描述:

1. 700万条长短不一的string，每一个都有uniq name。
2. 大多数比较短，有些很长 （1Mb＋）3. 总共 4Gb ＋

   生物信息注释： 一个基因组，很多染色体片段。   sample：


   seq1： AAAAAAAAAAA
   seq2： BBBBBBBBBBB

需求：



用户提供，
        1） string name （如seq1）
        2） 起始和结束的位置，如 （20, 60）

server快速返回substring，并在网页上显示。




硬件：


webserver： 2个 CPU，2G内存， FC18, LAMP 网站。
其他电脑支持： 16 CPU, 48Gb 内存， linux.


我的尝试：


mysql 直接存储一个大表，通过内建的length 计算原string长度，修改用户的input，之后通过substr拿到substring。
现在是拿PHP写的，结果需要等待1分钟以上。因为前端是AJAX的，感觉不可忍。


设想方案：


由于webserver的内存和CPU都比较一般。我想是不是可以写一个perl 的CGI。用
Storable （http://search.cpan.org/~ams/Storable-2.24/Storable.pm）， BerkeleyDB（http://search.cpan.org/~pmqs/BerkeleyDB-0.51/BerkeleyDB.pod.P）

这一类的module 将整个关联数组/hash ，写到硬盘上。再利用perl的substr 提取string 片段。

问题：

1. 请问这样是否能提高效率呢？

   用内存时，用hash搜索string的name，应该是不耗时间的，substr似乎也够快。问题在于，4G的数据，写了hash存硬盘，会影响效率么？

2. 或者有没有更好的想法？

  感谢阅读和任何想法：）

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

更新：问题已经解决.

感谢楼上的朋友们的建议，测试访问速度基本瞬时了，1s以内。

然后，我并不要求并发数.

to iamlimeng:

数据是相对固定的，分割小文件也绝对会加快速度，谢谢。只是现在的大文件已经让我满足了。

to laputa73：

48G的电脑可以帮忙计算数据，不能对外访问。感谢告知redis的存在，我没有用单纯是不想花时间学redis，就写了个perl. 事实上还是用DB_File 存储hash来实现快速搜索，所以，一定意义上也算 “键值”数据库吧 ：）

to soul20040103：

感谢建议。其实昨天我面对的主要的问题是mysql中substr的效率问题，之后想到perl的substr，但是担心perl里面大文件访问也影响速度，抱歉没有表达清楚。

to Perlvim：

事实证明通过结合Berkeley DB和Perl的substr，我实现了需求。 DB_File 是Berkeley DB的interface。

http://search.cpan.org/~pmqs/DB_File-1.827/DB_File.pm#Opening_a_Berkeley_DB_Database_File

然后，今天所有代码都是通过vim 写的：）

to anyevent:

其实就是花在计算string的长度和截取片段上了。那些短片段多为无用的junk，但是不好舍弃。一般来说，大的片段上才含有完整的基因，我其实想要实现的是，给出一个基因的位置，拿到基因本身，以及其左右一定长度的序列。感谢告知elasticsearch， 我也见过一个有趣的应用，叫tableau. 图像化data的。http://www.tableausoftware.com/products

叶诗文被诬陷时，一帮理科生曾用它来快速反应，http://www.ittc.ku.edu/huanlab/swimData

具体代码:

Step 1. 我利用DB_File module 将整个大表写成文件，代码如下：

1. #!/usr/bin/perl
   
2. #
   
3. 
   
4. use strict;
   
5. use warnings;
   
6. use DB_File;
   
7. 
   
8. my %hash;
   
9. tie (%hash, "DB_File","wheatA_genome.db") or die "$!\n";
   
10. 
    
11. open FILE, "<$ARGV[0]" or die "$!\n";
    
12. while(<FILE>){
    
13.         chomp;
    
14.         my($id,$seq)=split(/\t/,$_);
    
15.         $hash{$id}=$seq;
    
16. }
    
17. close FILE;

复制代码

Step 2. 我在server端写了个perl 的CGI

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. use DBI;
   
6. use DB_File;
   
7. use CGI qw/param/;
   
8. 
   
9. 
   
10. #parameter
    
11. my $str=param('q');
    
12. my $flank=param('f');
    
13. 
    
14. 
    
15. #mysql
    
16. my $db = "DBI:mysql:wheat_database:localhost;mysql_socket=/var/lib/mysql/mysql.sock";
    
17. my $user_name = "****";
    
18. my $password = "****";
    
19. my ($dbh,$sth,$scaf,$start,$end,$genome);
    
20. my @result;
    
21. 
    
22. 
    
23. $dbh=DBI->connect($db,$user_name,$password, {RaiseError => 1});
    
24. &mysql($str,"A");
    
25. &mysql($str,"D");
    
26. $dbh->disconnect();
    
27. 
    
28. 
    
29. #header
    
30. print "Content-type:text/html\n\n";
    
31. 
    
32. 
    
33. 
    
34. my %hash;
    
35. tie(%hash,"DB_File","wheat".$genome."_genome.db" ) or print "$!\n";
    
36. if(defined $hash{">".$scaf}){
    
37.         my $length=length($hash{">".$scaf});
    
38.         $start-=($flank+1);
    
39.         $end+=$flank;
    
40.         if($start <0    ){      $start=0;}
    
41.         if($end >=$length){     $end=$length;}
    
42.         my $seq_length=$end-$start;
    
43.         my $result=substr($hash{">".$scaf},$start,$seq_length);
    
44. 
    
45.         print " <textarea name='wheat_scaf_seq' rows='5' cols='120'>";
    
46.         print ">$scaf:$start-$end\n$result\n";
    
47.         print "</textarea>";
    
48. 
    
49. }
    
50. else{
    
51.         print "<h3>not found!</h3>";
    
52. }
    
53. 
    
54. 
    
55. sub mysql{
    
56.         my ($gene_id,$genome_guess)=@_;
    
57.            $sth=$dbh->prepare("SELECT * FROM wheat".$genome_guess."_gene_info WHERE wheat".$genome_guess."_id like '%".$gene_id."%'");
    
58.            $sth->execute();
    
59.         my @array=$sth->fetchrow_array();
    
60.         if (@array >0){
    
61.                 $scaf=$array[3];
    
62.                 $start=$array[4];
    
63.                 $end=$array[5];
    
64.                 $genome=$genome_guess;
    
65.         }
    
66.         $sth->finish();
    
67. }
    
68. 
    

复制代码

参考javascript

1. function show_wheat_scaf_seq(){
   
2. 
   
3. 
   
4.         var str=document.getElementById('q').value;
   
5.         var flank=document.getElementById('f').value;
   
6. 
   
7. 
   
8.         if (str=="" || flank ==""){
   
9.                 document.getElementById("wheat_scaf").innerHTML="";
   
10.                 return;
    
11.         }
    
12. 
    
13.         if (window.XMLHttpRequest){
    
14.                 // code for IE7+, Firefox, Chrome, Opera, Safari
    
15.                 xmlhttp=new XMLHttpRequest();
    
16.         }
    
17.         else{
    
18.                 // code for IE6, IE5
    
19.                 xmlhttp=new ActiveXObject("Microsoft.XMLHTTP");
    
20.         }
    
21. 
    
22.         xmlhttp.onreadystatechange=function(){
    
23.                 if (xmlhttp.readyState==4 && xmlhttp.status==200){
    
24.                         document.getElementById("wheat_scaf").innerHTML=xmlhttp.responseText;
    
25.                 }
    
26.         }
    
27.         xmlhttp.open("GET","wheat_search.pl?q="+str+"&f="+flank,true);
    
28.         xmlhttp.send();
    
29. }
    

复制代码

iamlimeng

如果数据相对固定，可以事先分割大文件成N个小文件，建个索引，根据用户输入，根据索引直接读取数据片段。速度慢不了

laputa73

那个48G的电脑可以用吗?

php+ redis

如果并发 不多，只追求速度，可以用一个app实例，用户内存hash也可以




才4G数据,用文件太保守了

soul20040103

mysql百万级的数据绝对没有问题。
我的想法：
1. 建个表，两列： seq, data。seq做索引， 存700万数据。
2. select data from xxx where seq = 'seq1'
3. 对data 取 substring

或者：
1. 建表，两列： id, data.  id用bigint,自增做主键，存700万数据
2. 用storable 以seq作键 id作值，保存一个hash。
3. 用seq找id 用id去mysql找data
4. 对data取substring

soul20040103

你还有个48G内存的机器。。。加个memcache或者php的apc还愁响应慢？ 简单点就以seq作键把data存在缓存里就可以吧。

Perlvim

尽量让数据库不做额外的计算，先将客户的长度需求做成索引，用PHP速度慢的话，CGI也快不了。所谓的 Storable and BerkeleyDB的查询机制，都不如 mysql, 除非做成内存数据库。

anyevent

Perlvim 发表于 2013-04-30 19:20
尽量让数据库不做额外的计算，先将客户的长度需求做成索引，用PHP速度慢的话，CGI也快不了。所谓的 Storabl ...

这说的就太不对了
BerkeleyDB怎么可能查询速度比MySQL慢？这就像说C++比C快一样。早期的MySQL都是用BerkeleyDB实现的，关系型数据库的优势是事务，并发，和一些特定情况下的查询，关系型数据库是永远不会有BerkeleyDB这种以排序二叉树的实现快

楼主应该考虑一下你用1分多钟时间是花在哪了？实在不明白就看看执行计划。700万的数据你用什么数据库，只要加个索引，怎么都不应该是1分钟，但你的要在1M的字符串上定位一个片段，时间有可能花在这上了

我的意思是，你要先清除你这1分钟是花在哪了，再用相应技术改进现有算法。我觉得你可以考虑搜索引擎的原理，用文件索引，对应的产品可以看看ElasticSearch

chenhao392

回复 2# iamlimeng


    谢谢关注，问题已经搞定。详见修改后的原帖。

chenhao392

回复 3# laputa73


     谢谢关注，问题已经搞定。详见修改后的原帖。

chenhao392

回复 4# soul20040103


     谢谢关注，问题已经搞定。详见修改后的原帖。