调用浏览器来抓取页面

rockylinux

前面讲了两种抓取页面的方式，对于页面来说，都需要首先进行一定的分析，然后才能得到相应的结果，现在使用一种快捷的方式，直接进行分析。就是调用浏览器进行分析。使用浏览器，就和我们真实得操作上一样的，只不过是用程序自己去点击，这个思路来源于对网站的测试，实际上使用的也是测试的方法。使用Java的第三方类库Watij，比较方法，给出一个官方的简单例子，根据这个例子去扩展就OK了。
               
               
                import watij.runtime.ie.IE;
import junit.framework.TestCase;
import static watij.finders.SymbolFactory.*;

public class GoogleTest extends TestCase {
    public void testGoogleSearch() throws Exception {
        IE ie = new IE();
        ie.start("http://www.google.com");
        ie.textField(name,"q").set("XWiki");
        ie.button("Google Search").click();
        assertTrue(ie.containsText("/Java wiki engine/"));
    }
}


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/3176/showart_1421869.html