Chinaunix

标题: [详细介绍]Perl的web框架Mojolicious与异步数据库操作（有数据库操作的朋友一定要看） [打印本页]
作者: py    时间: 2013-10-19 08:10
标题: [详细介绍]Perl的web框架Mojolicious与异步数据库操作（有数据库操作的朋友一定要看）
本帖最后由 兰花仙子 于 2013-10-21 22:20 编辑

这篇主要想介绍异步数据库，目前Perl的web框架主要是Dancer和Mojolicious，我用Dancer很久，但一直没法实现完整的异步数据库操作，改用Mojo才3天，很容易实现了异步数据库。

我先说完美的异步数据库操作的应该是什么样的。假设有一个web页面涉及5个sql查询操作，每个操作耗时1秒，在只有一个worker的情况下（单进程），如果有一个人访问这个页面，读取时间应该是1秒。如果有10个人同时访问这个页面，10个人都应该在1秒钟之内看到页面（理想状况下）。

以上情况用Dancer是无法实现的，即使实现也是麻烦的要死，需要做好多的修改。Mojolicious，轻松实现。

我科普一下异步数据库操作的实现，知道的朋友跳过。目前异步数据库的实现有两种：
第一种是用多进程来模拟，有多个阻塞的数据库查询的时候，fork出新的进程然后，等待，结束返回。
第二种是在socket级上做真的异步。这其实才是真的异步。用数据库API本身自带的功能实现。例如DBD::mysql模块就有异步的功能。

第一种的最大优点是“干净”。不会出什么状况。而且速度并不会慢。缺点是太消耗服务器资源，一个页面5个查询，10个人同时来，如果没限制，他敢给你fork出一堆进程来。我就是因为这个原因最后放弃了“第一种”。
第二种的最大优点是，由于是数据库驱动支持的，所以可以实现socket级别上的真异步。缺点也是有的，因为是同一个进程，这样的异步主要是数据库端查询时间的异步，数据返回阶段仍然是阻塞的（等待数据返回的时候并不阻塞）。但个人认为这块可以忽略不计，毕竟查询最耗时的还是数据库端。

接下来介绍目前Perl的异步数据库模块
  1. AnyEvent::DBI
复制代码
这个是anyevent作者写的，是我之前一直在用，属于“第一种”。
  1. Coro::Mysql
复制代码
这个也是anyevent作者写的，编译原因没试成功（要求和DBD::mysql编译用同一个mysql库）。。。但也不想再试了，看了下代码也是“第一种”。完全可以用前者取代。
  1. Coro::DBI
复制代码
这个和上面的类似，也属于“第一种”。
  1. AnyEvent::DBI::MySQL
复制代码
这个是我目前用的，作者水平很高，并且能很好的结合Mojo使用。属于“第二种”
  1. DBIx::Custom
复制代码
这个是小日本的作品，异步的功能仍然是在实验阶段，但也可以结合Mojo使用，属于“第二种”。
  1. DBD::mysql
复制代码
最后这个是数据库驱动，没什么可说的了。“第二种”

最后其实就是从AnyEvent::DBI::MySQL和DBIx::Custom中挑选了，我实在烦DBIx::Class那套，所以不喜欢DBIx::Custom，况且看着小日本写的那惨不忍睹的英语，太起急。另外AnyEvent::DBI::MySQL默认就支持数据库连接池，这部分大家去看模块文档。

我下面介绍如何实现用AnyEvent::DBI::MySQL和Mojolicious搭建支持非阻塞数据库查询的应用。

跳过Mojolicious::Lite了，项目大了全放一个文件里不实际，直接Mojolicious。
生成Mojolicious完整项目的目录结构的命令是mojo generate app，这个类似于dancer -a。这个得吐槽一下，mojo的作者实在不会介绍项目，这么常用和重要的命令居然没有在醒目的地方写出，找了半天才找到。

Mojolicious的完整项目生成以后在lib目录中有个MyApp.pm文件，这个文件中会有一个startup函数，这是唯一需要修改的地方，因为需要在项目启动的时候把异步数据库的连接加进去，只有这样才能实现所有数据库连接的异步，否则就只能是局部数据库异步了。
下面是完整的startup函数
  1. sub startup {
  2.     my $app = shift;

  4.     $app->config(db => {dsn=>$db_source, login=>$db_user, pass=>$db_pass});
  5.     $app->helper(dbh     => sub { shift->{dbh} });
  6.     $app->helper(new_dbh => sub {
  7.         state $db = shift->app->config('db') or return;
  8.         return AnyEvent::DBI::MySQL->connect(@{$db}{qw(dsn login pass)},
  9.             {mysql_enable_utf8 => 1});
  10.     });

  12.     $app->hook(before_routes => sub {
  13.         my $c = shift;
  14.         # each connection have own dbh
  15.         $c->{dbh} = $c->new_dbh;
  16.     });

  18.     # Router
  19.     my $r = $app->routes;

  21.     # Normal route to controller
  22.     $r->get('/')->to('example#welcome');
  23. }
复制代码
接下来写个sql测试一下就好了。
select now(), sleep(5)
在默认生成的例子中，这部分是在Example.pm文件中做的，MyApp.pm指定了处理对应route的模块和方法，Example.pm里实现了这些方法的。
下面是对应的welcoum函数。
  1. sub welcome {
  2.     my $self = shift;

  4.     $self->render_later;

  6.     my $dbh = $self->dbh;
  7.     $dbh->selectall_arrayref($sql_sleep, sub {
  8.         my ($ary_ref)  = @_;
  9.         my $result = $ary_ref->[0][0];
  10.         $self->render(msg => "py py py $result");
  11.     });
  12. }
复制代码
之后用morbo或hypnotoad启动应用就可以了。如果有兴趣可以用ab测试一下，简单些你就打开5个浏览器然后访问就可以了，所有连接只需要等5秒，而不是等待25秒才得到所有结果。

时间太少，平时太忙，周末还得陪老婆逛街，写完也没时间再看一遍，词不达意之处，见谅。另外虽然数据库异步使用很久了，但正式接触Mojolicious才几天，这部分写的不好大家也见谅，等有更深入的了解了再写后续。也欢迎指正错误。谢谢。
作者: mcshell    时间: 2013-10-19 08:46
学习楼主的这种探索精神{:3_190:}，介绍了好多新东东
作者: iakuf    时间: 2013-10-19 09:22
本帖最后由 iakuf 于 2013-10-19 09:47 编辑

回复 1# py

这个模块有个最大的问题,就是同时一个连接上只能一个异步.因为 "DBD::mysql support only single asynchronous query per MySQL connection". 所以生产环境要一定是有多个数据库查询同时的异步, 这个并不能和我们理解的工作方式一样.

例如下面,我们在 SQL 语句中 SLEEP 5 秒,看看查询的速度:

  2. use EV;
  3. use 5.010;
  4. use Smart::Comments;
  5. use AnyEvent::DBI::MySQL;

  7. my $dbh = AnyEvent::DBI::MySQL->connect('dbi:mysql:database=test', 'user', 'pass');

  9. for ( 1 .. 10 ) {
  10.     $dbh->selectall_arrayref(
  11.             "select SLEEP(5), 3",
  12.             sub {
  13.                 my ($ary_ref)  = @_;
  14.                 ### $ary_ref
  15.             }  
  16.     );
  17. }
  18. EV::run;
复制代码
这样工作是会出问题的.
必须使用下面这种方式,但下面这种方式太浪费连接了,大多的查询很快,大多的开销都在创建连接和断开.

  2. #!/usr/bin/perl
  3. use EV;
  4. use 5.010;
  5. use Smart::Comments;
  6. use AnyEvent::DBI::MySQL;

  8. my @dbh;

  10. for ( 1 .. 10 ) {
  11.     $dbh[$_] = AnyEvent::DBI::MySQL->connect('dbi:mysql:database=test', 'test', '');
  12.     $dbh[$_]->selectall_arrayref(
  13.             "select SLEEP(5), 3",
  14.             sub {
  15.                 my ($ary_ref)  = @_;
  16.                 ### $ary_ref
  17.             }  
  18.     );         
  19. }
  20. EV::run;
复制代码
目前完美的异步方案还只有 DBIx::Custom.这个可以连接复用.并可以控制连接池.

所以当你写的上面那个应用 ,每次查询由 helper 创建一个新的连接,高并发的时候,数据会因为连接数死掉,另外创建连接的性能开销比较大.

你不用担心 DBIx::Custom 和 DBIx::Class 一样,我也不太喜欢 DBIx::Class, DBIx::Custom 的封装超级简单,学习成本很小.基本不想用它的语法,都可以用完整的 SQL 语句.
另外,非常稳定,远超过所讲的实验性的. 在日本的商业网站也在使用这个.非常可靠.

你可以看看
  1. use Mojolicious::Lite;
  2.   use EV;
  3.   use DBIx::Custom;

  5.   my $dbi = DBIx::Custom->connect(
  6.     dsn => 'dbi:mysql:database=usertest',
  7.     user => 'root'
  8.   );

  10.   $dbi->async_conf({
  11.     prepare_attr => {async => 1},
  12.     fh => sub { shift->dbh->mysql_fd }
  13.   });

  15.   get '/' => sub {
  16.     my $self = shift;
  17.    
  18.     $self->render_later;
  19.     $dbi->select('SLEEP(5), 3', async => sub {
  20.       my ($dbi, $result) = @_;
  21.       my $row = $result->fetch_one;
  22.       $self->render(text => $row->[1]);
  23.     });
  24.   };

  26.   app->start;
复制代码
我现在连自己的分布文件系统的大部分的接口通信和 Agent 都是用 Mojo 开发的,减少很多工作量.开发超快,性能又好.
作者: laputa73    时间: 2013-10-19 11:40
数据库的异步操作需要数据库驱动的支持么?
比如oracle/postgresql,用DBIx::Custom 可以实现异步查询吗?
相对而言,mysql是基于线程的,连接比oracle/postgresql消耗要小很多 .
作者: pitonas    时间: 2013-10-19 13:50
谢谢介绍异步数据库。。{:2_179:}
作者: py    时间: 2013-10-19 15:29
本帖最后由 py 于 2013-10-19 15:32 编辑

回复 3# iakuf

是的。这句话我看到了。你的第一段代码是阻塞的，第二段是正常工作的。因为DBD::mysql本身就只支持一个连接一个异步。
DBD::mysql support only single asynchronous query per MySQL connection. To make it easier to overcome this limitation provided connect() constructor work using DBI->connect_cached() under the hood
作者是用了DBI的connect_cached来缓存数据库连接，所以有数据库连接的时候是不会每次都做连接的。缓存机制是有的。

我也看到DBIx::Custom用的是DBIx::Connector，在我connector => 1的时候提示我安装DBIx::Connector。
从文档上看，DBIx::Connector是对DBI的connect_cached做了一些改进。我一会把DBIx::Custom搭上试试，看看效果。

另外，我已经联系了AnyEvent:BI::MySQL的作者，看他能不能把连接缓存改过来，也用DBIx::Connector

PS. 你得大力推广mojo啊，感觉大家好像不太爱看文档，都喜欢看现成的例子
作者: py    时间: 2013-10-19 15:33
laputa73 发表于 2013-10-19 11:40
数据库的异步操作需要数据库驱动的支持么?
比如oracle/postgresql,用DBIx::Custom 可以实现异步查询吗?
相 ...


oracle我没试过，但从文档上看DBIx::Custom应该是可以的
作者: iakuf    时间: 2013-10-19 16:23
回复 4# laputa73

大多的时候,原生驱动支持异步才有好的性能, 如果原生不支持,就只能靠模块使用 fork 之类的机制,性能就会很差.
mysql 本来的驱动模块 DBD::mysql 也不支持异步,也是近来在 4.019 加入的然后 AnyEvent 之类其它的才能使用它的原生异步功能.在那之类 DBI 的 MySQL 异步都是通过 Fork 子进程来实现的.

   
作者: py    时间: 2013-10-21 14:17
回复 3# iakuf

AnyEvent:BI::MySQL的作者在我发邮件的几分钟后就回了我邮件。
作者是个俄罗斯人，他坚持认为数据库异步操作的连接混存，cached_connect好过DBIx::Connector

总结他的长篇大论，归纳2点。

1. 异步数据库连接缓存用DBIx::Connector就是“asking for
troubles”，他认为DBIx::Connector只是能够手工设置连接数，在连接mysql的时候效果并没有好过DBD::mysql自带的cached_connect

2. DBIx::Custom模块在做异步查询的时候，并没有使用DBIx::Connector，实际上它并没有使用任何数据库连接的缓存机制。
见https://metacpan.org/source/KIMO ... DBIx/Custom.pm#L369

这可能也是DBIx::Custom的异步还是试验阶段的原因。
   
作者: dqw233    时间: 2013-10-21 21:46
回复 9# py


    我看它就是用AnyEvent监听DBI的socket而已。不是说DBI都是阻塞的么，这里非阻塞是是么原因？
作者: 兰花仙子    时间: 2013-10-21 22:25
非常感谢大作分享～～
澄清了我2个概念：
作者: py    时间: 2013-10-22 07:26
dqw233 发表于 2013-10-21 21:46
回复 9# py

我看它就是用AnyEvent监听DBI的socket而已。不是说DBI都是阻塞的么，这里非阻塞是是么原因？

DBI本身就是一个壳，是不是阻塞和具体的数据库驱动有关，DBD::mysql提供了异步数据库查询功能，所以非阻塞是可以实现的
http://search.cpan.org/~capttofu ... SYNCHRONOUS_QUERIES
作者: py    时间: 2013-10-22 07:44
回复 11# 兰花仙子

感谢仙子加精。

现在不少AnyEvent的模块都是fork一个进程然后实现异步，也不能说它不是真异步，只是对资源消耗过大，尤其是web系统就不太想用。所以现在很多时候我找ae的模块都大概看下源码，好歹知道一下它是怎么实现的异步

btw.CGI的时代我一直用DBD::Gofer
   
作者: moon_lucifer    时间: 2013-10-22 09:22
好帖~ 感谢py大大的分享, 之后去试试AnyEvent:BI::MySQL
作者: fly3ds    时间: 2013-10-23 07:58
本帖最后由 fly3ds 于 2013-10-23 10:31 编辑

哦 难道就没有一个“放之四海而皆准”的东西嘛？  我刚学会用一个DBD::MySQL，你就搞出这一大堆东西来！  还让不让人活了！

另外，我想说的是，你到各种数据库版块看看，他们从来没搞出一个“异步”“同步”数据库的概念，你们干嘛非要搞出这一大堆花里胡哨华而不实的东西呢！

同步异步这两词被滥用无数遍了，各种同步异步，希望别再用这两词了，更不要讨论纠结什么是真正的同步、异步，有这个时间还不如去打盘魔兽。
作者: laputa73    时间: 2013-10-23 09:15
真有无知者无畏.
客户端的异步和服务器的异步是一回事吗?
而且现在的nosql数据库,不是异步基于事件的都不好意思出来见人.
作者: chenryn    时间: 2013-10-23 10:03
围观15楼……
作者: fly3ds    时间: 2013-10-23 10:15
回复 16# laputa73


  连正面回复都不敢的人，少出来丢人现眼。
作者: laputa73    时间: 2013-10-23 11:34
回复 18# fly3ds


    你就show下限呗.
    慢走不送.
作者: 墨迹哥    时间: 2013-10-23 12:25
赞一个，虽然没用上。。。
作者: 364816318    时间: 2013-12-08 19:50
回复 1# py


   
作者: seufy88    时间: 2014-03-25 19:35
本帖最后由 seufy88 于 2014-03-25 21:22 编辑
py 发表于 2013-10-22 07:44
回复 11# 兰花仙子

感谢仙子加精。


请问这里提到了fork来实现异步,
之前你也提到了非阻塞也能实现异步
可是在只有一个process的情况下,非阻塞怎样实现异步?

"我先说完美的异步数据库操作的应该是什么样的。假设有一个web页面涉及5个sql查询操作，每个操作耗时1秒，在只有一个worker的情况下（单进程），如果有一个人访问这个页面，读取时间应该是1秒。如果有10个人同时访问这个页面，10个人都应该在1秒钟之内看到页面（理想状况下）。"

"Mojolicious，轻松实现"

单个process的情况下,既然每个SQL查询要1秒,理想异步下,5个SQL查询也只需要1秒.
"比如你上面说的同时发生的5个数据库异步查询，可能是通过非阻塞的方式实现的"
请问,怎么非阻塞来实现这个5个SQL查询的异步?

补充:
使用AnyEvent注册一个IO Watcher,

callback中是打印从STDIN得到的内容
/********************/
anyvent->io(
.....
cb=> sub { $str = <STDIN>; print "$str\n",$cv->send;});

foreach(1..15){ do something else}


$cv->recv;

/***************/
实际运行上面的例子发现,只有当foreach的内容处理完了,才会处理Event事件,
即使在foreach运行过程中,从STDIN输入内容,也不会触发cb的

如果把foreach 这一部分换成SQL查询, io watcher也变成SQL查询,
是否应该是以BLOCK这样的来
{
SQL 查询1

}


{

SQL 查询2
}

....

{

SQL 查询5
}

但总的时间仍只需1秒
作者: py    时间: 2014-03-26 11:33
seufy88 发表于 2014-03-25 19:35
请问这里提到了fork来实现异步,
之前你也提到了非阻塞也能实现异步
可是在只有一个process的情况下,非 ...


正常情况下，所谓的异步，就都应该是通过非阻塞实现的。用多进程的办法实现非阻塞属于矮级。因为牺牲了一部分性能，但一些时候换来了稳定性。所以anyevent作者选择了后者写了AnyEvent:BI

非阻塞方式的异步，总的来说就是通过注册事件+回调的形式。这楼的主贴主要说的是mysql，mysql的API（DBD::mysql）本身是支持非阻塞的，因为mysql C API就支持非阻塞。所以AnyEvent:BI::MySQL模块才能借助此特性。详细看这里http://search.cpan.org/~capttofu ... SYNCHRONOUS_QUERIES



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2