拿mojo写了个百度音乐的爬虫

斯文牛氓

kernel69 发表于 2013-09-25 15:52
这是推广贴？还有个群211685345

呃 这个是博客的文章 直接复制过来了。。。

py

回复 10# 斯文牛氓
你只要人工能同时下载两个文件就可以。不可能被封。



   

斯文牛氓

py 发表于 2013-09-25 18:17
回复 10# 斯文牛氓
你只要人工能同时下载两个文件就可以。不可能被封。

你可以去试试，我coro不熟  但是之前的写法是AnyEvent+EV,请求多次之后就提示你要输入验证码了

py

回复 13# 斯文牛氓

这个是我在实际应用中已经用了很久的，所以知道是一定可以。
其实每个网站对并发的连接都会有限制，别说是百度，连GOOGLE都一样。Coro的最大目的就是很好的协调不同任务（event）以适应“当前的环境”。

mcshell

感谢分享{:3_203:}

斯文牛氓

py 发表于 2013-09-26 08:32
回复 13# 斯文牛氓

这个是我在实际应用中已经用了很久的，所以知道是一定可以。

比如呢

py

比如，你刚刚说的控制并发连接就是一个很好的例子，Coro::Semaphore就解决了这个问题，一行代码。
再比如，一些时候任务的执行有一定的先后顺序和触发条件，这个时候就可以通过信号或是锁机制来控制，Coro也有相应的模块Coro::Signal，Coro::RWLock等。也是非常简单的一行代码。
这些都可以和AE整合的很好。而Mojo在这块就是空白，我并不是说Mojo不好，而是Mojo的定位就不是干这事的。Mojo的优势是有良好的UI设计，用起来比较傻瓜，学习成本低很多，并且和web框架整合的很好，很多用XPATH做的事他都提供了相应的DOM类的方法。但随着你做的事越来越复杂，这东西就有瓶颈了。

iakuf

回复 17# py

在 Mojo::UserAgent 中的 ua 在生成的直接直接加  max_connections 的属性就能控制并发了.
   

墨迹哥

感谢分享。。

py

iakuf 发表于 2013-09-26 17:14
回复 17# py

在 Mojo::UserAgent 中的 ua 在生成的直接直接加  max_connections 的属性就能控制并发了. ...

这个肯定不是并发啊。。。
文档上写的很清楚“Maximum number of keep-alive connections that the user agent will retain before it starts closing the oldest cached ones”
HTTP的keep-alive值和并发是两回事。

刚才试了一下，就用Mojo::UserAgent在CPAN上的non-blocking代码试，
my @url = qw/
www.cpan.org
www.oreilly.com
www.amazon.com
mojolicio.us
www.baidu.com
www.google.com
www.sina.com.cn
www.weibo.com
www.yahoo.com
www.oreilly.com.cn
www.oreilly.com.tw
www.qq.com
www.ibm.com
/;

每次就打印page title，即使max_connections设置成1也并不是顺序执行。

我对Mojo::UserAgent不熟（其实今天是第一次用。。。的确简单），从文档上看，它应该就是一个多了很多附加功能的AnyEvent::HTTP，而并发限制不应该是在这个级别上做的事，是更往下一层的driver应该提供的功能。就像AnyEvent::HTTP也能设置keep-alive但那不是并发数。