医疗相关信息的抓取

yxl1108

这完完全全是我自己一个人写的，整个都写在一个类啊，对获取最新的页面的方式使用的hash对比，这个有时候准确，有时候就不行。一般情况效率还是很好的.

代码:

1. package com.huntto.nbinf.dao.impl;
   
2. import java.io.File;
   
3. import java.io.IOException;
   
4. import java.lang.ref.SoftReference;
   
5. import java.net.MalformedURLException;
   
6. import java.rmi.Naming;
   
7. import java.rmi.RemoteException;
   
8. import java.rmi.registry.LocateRegistry;
   
9. import java.rmi.server.UnicastRemoteObject;
   
10. import java.security.MessageDigest;
    
11. import java.security.NoSuchAlgorithmException;
    
12. import java.text.SimpleDateFormat;
    
13. import java.util.ArrayList;
    
14. import java.util.Calendar;
    
15. import java.util.Date;
    
16. import java.util.HashMap;
    
17. import java.util.Iterator;
    
18. import java.util.List;
    
19. import java.util.Map;
    
20. import java.util.Properties;
    
21. import java.util.Stack;
    
22. import java.util.regex.Matcher;
    
23. import java.util.regex.Pattern;
    
24. import net.paoding.analysis.analyzer.PaodingAnalyzer;
    
25. import org.apache.log4j.Logger;
    
26. import org.apache.lucene.analysis.Analyzer;
    
27. import org.apache.lucene.document.Document;
    
28. import org.apache.lucene.document.Field;
    
29. import org.apache.lucene.document.Field.Index;
    
30. import org.apache.lucene.document.Field.Store;
    
31. import org.apache.lucene.index.IndexWriter;
    
32. import org.apache.lucene.index.IndexWriter.MaxFieldLength;
    
33. import org.apache.lucene.index.Term;
    
34. import org.apache.lucene.queryParser.ParseException;
    
35. import org.apache.lucene.queryParser.QueryParser;
    
36. import org.apache.lucene.search.BooleanClause.Occur;
    
37. import org.apache.lucene.search.BooleanQuery;
    
38. import org.apache.lucene.search.Filter;
    
39. import org.apache.lucene.search.FuzzyQuery;
    
40. import org.apache.lucene.search.IndexSearcher;
    
41. import org.apache.lucene.search.RangeFilter;
    
42. import org.apache.lucene.search.RangeQuery;
    
43. import org.apache.lucene.search.ScoreDoc;
    
44. import org.apache.lucene.search.Sort;
    
45. import org.apache.lucene.search.SortField;
    
46. import org.apache.lucene.search.TermQuery;
    
47. import org.apache.lucene.search.TopDocs;
    
48. import org.apache.lucene.search.TopFieldDocs;
    
49. import org.apache.lucene.store.FSDirectory;
    
50. import org.jsoup.Connection;
    
51. import org.jsoup.helper.HttpConnection;
    
52. import org.jsoup.nodes.Element;
    
53. import org.jsoup.select.Elements;
    
54. import com.huntto.nbinf.dao.IForQtSearch;
    
55. import com.huntto.nbinf.dao.IListInfoDAO;
    
56. import com.huntto.nbinf.pojo.LucenePage;
    
57. 
    
58. 
    
59. public class LucenService extends UnicastRemoteObject implements IForQtSearch {
    
60.      
    
61.      
    
62.     File filestack,fileindex;
    
63.     //当前URLS
    
64.     Stack<String> stackcurt=new Stack<String>();
    
65.     //下一层URLS
    
66.     Stack<String> stacknext=new Stack<String>();
    
67.      
    
68.     Logger logger=Logger.getLogger("lucene");
    
69.     //设置深度
    
70.     final int deep;
    
71. 
    
72.     //当前深度
    
73.     private int curtdeep=1;
    
74.      
    
75.     //查询的最大结果数
    
76.     final int maxresult=1024;
    
77.      
    
78.     //关键字是标题命中
    
79.     final int pagetype_title=1;
    
80.      
    
81.     //关键字是meta命中
    
82.     final int pagetype_meta=2;
    
83.      
    
84.     //关键字是body命中
    
85.     final int pagetype_body=3;
    
86.      
    
87.     //超过这个数就写到文件
    
88.     final int max_to_writefile=10;
    
89.      
    
90.     //方便处理日期
    
91.     final SimpleDateFormat dateFormat=new SimpleDateFormat("yyyy-MM-dd");
    
92.      
    
93.     //庖丁分词器
    
94.     private Analyzer analyzer=new PaodingAnalyzer();
    
95.      
    
96.     //dui
    
97.     private LuceneStackControll controll=new LuceneStackControll();
    
98.      
    
99.     //文件控制类，文件中存放的是需要处理的url队列，由于队列的长度可能会很大，因此存放在文件中
    
100.     private FileControll fileControll=new FileControll();
     
101.      
     
102.     //lucene 文件操作
     
103.     private FSDirectory directory;
     
104.      
     
105. 
     
106.     //lucene 更新索引文件
     
107.     IndexWriter indexWriter;
     
108.      
     
109.     Date yesday,today;
     
110.     //rs 关键字分组,
     
111.     String urls[],websites[][],rs[][];
     
112.      
     
113.     SoftReference<String[][]> softReference=new SoftReference<String[][]>(websites);
     
114.     final String userAgent="Mozilla/5.0 (Windows NT 6.1; WOW64) "
     
115.             + "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.101 Safari/537.36";
     
116.      
     
117.     protected IListInfoDAO halleyCurrencyDao;
     
118.      
     
119.     public LucenService() throws RemoteException{
     
120.          
     
121.         Properties properties=new Properties();
     
122.         int prodeep=5;
     
123.         int luceneport=8999;
     
124.         String lucenename="lucenesearchs";
     
125.         File dirc=null;
     
126.          
     
127.         try {
     
128.             properties.load(LucenService.class.getClassLoader().
     
129.                     getResourceAsStream("paoding-dic-names.properties"));
     
130.             dirc=new File(properties.getProperty("dirc"));         
     
131.             directory=FSDirectory.getDirectory(dirc);
     
132.             IndexWriter.unlock(directory);
     
133.             indexWriter=new IndexWriter(directory,analyzer,MaxFieldLength.UNLIMITED);
     
134.             
     
135.             prodeep=Integer.parseInt(properties.getProperty("deep"));
     
136.             luceneport=Integer.parseInt(properties.getProperty("luceneport"));
     
137.             lucenename=properties.getProperty("lucenename");
     
138.         } catch (IOException e1) {
     
139.             e1.printStackTrace();
     
140.         }
     
141.          
     
142.         deep=prodeep;
     
143.          
     
144.         if(dirc==null)
     
145.             dirc=new File("c:/dirc");
     
146.             LocateRegistry.createRegistry(8999);
     
147.             try {
     
148.                 Naming.rebind("rmi://localhost:"+luceneport+"/"+lucenename+"", this);
     
149.             } catch (MalformedURLException e) {
     
150.                 e.printStackTrace();
     
151.             }
     
152.          
     
153.     }
     
154.      
     
155.     /**
     
156.      * 开始工作
     
157.      */
     
158.     public void wok(){
     
159. 
     
160.          
     
161.         logger.debug("开始工作");
     
162.          
     
163.         if(websites==null||websites.length==0){
     
164.             try {
     
165.                 //只从指定的网站开始抓取
     
166.                 websites=halleyCurrencyDao.opensExcuteSQL("select MONITORURL from CONSENSUSINTERNET where rownum<10");
     
167.             } catch (IOException e) {
     
168.                 e.printStackTrace();
     
169.             }
     
170.         }
     
171.     urls=new String[10];
     
172.         int j=0;
     
173.         if(websites!=null){
     
174.             for(int i=0;i<websites.length;i++){
     
175.                 if(i%10==0&&i!=0){
     
176.                   j=0;  
     
177.                   startWork(urls);
     
178.                 }
     
179.                 urls[j++]=websites[i][0];
     
180.             }
     
181.             
     
182.             if(j!=0){
     
183.                 startWork(urls);
     
184.             }
     
185.         }
     
186.             
     
187.          
     
188.     }
     
189.     private void initdate(){
     
190.         Calendar calendar=Calendar.getInstance();
     
191.         calendar.add(Calendar.DATE,-1);
     
192.         yesday=calendar.getTime();
     
193.         today=new Date();
     
194.     }
     
195.      
     
196.     /**
     
197.      * 开始工作
     
198.      * 对urls都放在stackcurts里面，
     
199.      * 如果stackcurt为空就会从文件或者stacknext里面读取url赋值到stackcurt，
     
200.      * 如果从文件或stackcurt都不能获得，就应该结束循环
     
201.      *
     
202.      * @param urls 需要处理的urls
     
203.      */
     
204.     public void startWork(String...urls){
     
205. 
     
206.         curtdeep=1;
     
207.         initdate();
     
208.         for (int i = 0; i < urls.length; i++)
     
209.             stackcurt.push(urls[i]);
     
210.          
     
211.         controll.fin=false;
     
212.         while(true)
     
213.            {
     
214.             if(stackcurt.isEmpty()){
     
215.                 if(controll.fin
     
216.                         &&controll.sygs<=0
     
217.                         &&controll.curtindex>0){
     
218.                     controll.fin=false;
     
219.                     if(controll.indata[0].delete())
     
220.                         controll.indata[1].delete();
     
221.                 }
     
222.                 getCurtStack();
     
223.             }
     
224.             if(stackcurt.isEmpty())  break;
     
225.             try {
     
226.                 pageContent(stackcurt.pop(),false);
     
227.             } catch (Exception e) {
     
228.                 e.printStackTrace();
     
229.             }
     
230.            }
     
231.         curtdeep=1;
     
232.     }
     
233.     /**
     
234.      * 得到页面内容
     
235.      * @param url
     
236.      * @param deeporshenheindex 参数指示是否分析页面内的链接和页面审核状态
     
237.      * 强制索引不管是不是刚刚索引过
     
238.      * @throws IOException
     
239.      */
     
240.     public void pageContent(String url,boolean shenhe) throws IOException{
     
241.      
     
242.         Connection connection=HttpConnection.connect(url);
     
243.         connection.ignoreContentType(true);
     
244.         connection.ignoreHttpErrors(true);
     
245.         connection.userAgent(userAgent);
     
246.          
     
247.         org.jsoup.nodes.Document document= connection.get();
     
248.         IndexInfo indexInfo=new IndexInfo();
     
249.             
     
250.         Elements elements=document.getElementsByTag("meta");
     
251.         indexInfo.string=document.title();
     
252.         indexInfo.type=pagetype_title;
     
253.         fenZhu(indexInfo);
     
254.          
     
255.          
     
256.         Iterator<Element> iterator=elements.iterator();
     
257.         indexInfo.type=pagetype_meta;
     
258.         while(iterator.hasNext()){
     
259.               Element element=iterator.next();
     
260.               if("Keywords".equalsIgnoreCase(element.attr("name"))
     
261.                     ||"Description".equalsIgnoreCase(element.attr("name"))){
     
262.                   indexInfo.string=element.attr("content");
     
263.                   fenZhu(indexInfo);
     
264.               }
     
265.         }
     
266.          
     
267.         elements=document.getElementsByTag("body");
     
268.         if(elements.size()>0)
     
269.         {
     
270.             indexInfo.type=pagetype_body;
     
271.             indexInfo.string=elements.get(0).text();
     
272.             fenZhu(indexInfo);
     
273.         }
     
274.         indexInfo.url=url;
     
275.         if(indexInfo.group_keyword!=null){
     
276.             indexInfo.store=true;
     
277.             indexInfo.group=indexInfo.group_keyword[1];
     
278.             indexInfo.keyword=indexInfo.group_keyword[0];
     
279.             indexInfo.string=document.text();
     
280.             indexInfo.shenhe=shenhe;
     
281.             indexInfo.title=document.title();
     
282.         }else
     
283.             indexInfo.store=false;
     
284.          
     
285.          if(isUpdatePage(md5(indexInfo.url), md5(indexInfo.string))||shenhe)
     
286.              indexPageContent(indexInfo);
     
287.                  
     
288.         if(curtdeep<this.deep){
     
289.              elements=document.getElementsByTag("a");
     
290.              iterator=elements.iterator();
     
291.             while(iterator.hasNext()){
     
292.                 Element element=iterator.next();
     
293.                 String attrurl=element.attr("href");
     
294.                 attrurl=processUrl(attrurl, url);
     
295.                 try {
     
296.                     if((!isIndexed(attrurl))&&
     
297.                             linkXg(element))
     
298.                     if(!stacknext.contains(attrurl))
     
299.                     {
     
300.                         stacknext.push(attrurl);
     
301.                         System.out.println(attrurl+"添加到队列");
     
302.                         if(stacknext.size()>max_to_writefile)
     
303.                             controll.filecount+=writeToFile();
     
304.                     }
     
305.                      
     
306.                 } catch (IOException e) {
     
307.                     e.printStackTrace();
     
308.                 }   
     
309.             }
     
310.         }
     
311. 
     
312.     }
     
313.      
     
314.     /**
     
315.      * 判断这个链接是不是先关
     
316.      * @param link
     
317.      * @return
     
318.      */
     
319.     public boolean linkXg(Element link){
     
320.         if( !constainsKeyWord(link.text())){
     
321.             link=link.parent();
     
322.             if(link.tagName().equalsIgnoreCase("body"))
     
323.                 return false;
     
324.             if( !constainsKeyWord(link.text()))
     
325.               return false;
     
326.         }      
     
327.         return true;
     
328.     }
     
329.      
     
330.     /**
     
331.      * 获取url
     
332.      */
     
333.       private void getCurtStack(){
     
334.             
     
335.            //这是新一层的开始
     
336.            if(!controll.fin)
     
337.            {
     
338.                logger.debug("从stacknext获得url");
     
339.                curtdeep++;
     
340.                stackcurt=stacknext;
     
341.                stacknext=new Stack<String>();   
     
342.                if(controll.filecount>max_to_writefile)
     
343.                {
     
344.                    controll.fin=true;
     
345.                    controll.swapInOut();
     
346.                }
     
347.            }
     
348.           else
     
349.           {
     
350.               logger.debug("从文件"+controll.indata[0].getName()+"获得url");
     
351.                stackcurt=readStackFile(controll.curtindex,max_to_writefile);
     
352.                controll.curtindex+=stackcurt.size();
     
353.           }
     
354.        }
     
355.          
     
356.          
     
357.         /**
     
358.          *
     
359.          *  把next写到文件
     
360.          *
     
361.          * @return 写入的个数
     
362.          */
     
363.         private int writeToFile(){
     
364.             int count=0;
     
365.             try {
     
366.                 count=fileControll.writeStringArr(stacknext.toArray(new String[]{}),
     
367.                         controll.outdata[0],
     
368.                         controll.outdata[1]);
     
369.                  
     
370.                  logger.debug("将多余的url写入到文件"+controll.outdata[0].getName());
     
371.             } catch (IOException e) {
     
372.                 e.printStackTrace();
     
373.             }
     
374.             if(count>0)
     
375.                 stacknext=new Stack<String>();
     
376.             
     
377.             return count;
     
378.         }
     
379.         /**
     
380.          * 读取
     
381.          * @param n
     
382.          * @param total
     
383.          * @return
     
384.          */
     
385.         public Stack<String> readStackFile(int n,int total){
     
386.             String[] strings=null;
     
387.             Stack<String> stack=null;
     
388.              try {
     
389.                  strings=fileControll.readStringArr(
     
390.                          controll,
     
391.                          n, total);
     
392.             } catch (IOException e) {
     
393.                 e.printStackTrace();
     
394.             }
     
395.              if(strings!=null){
     
396.                  stack=new Stack<String>();
     
397.                 for(int i=0;i<strings.length;i++){
     
398.                     stack.push(strings[i]);
     
399.                 }
     
400.              }
     
401.             return stack;
     
402.         }
     
403.     /**
     
404.      *  获得页面内容
     
405.      * @param string
     
406.      * @param url
     
407.      * @param title
     
408.      * @throws IOException
     
409.      */
     
410.     private void indexPageContent(IndexInfo indexInfo) throws IOException{  
     
411.          
     
412.            Document document=new Document();
     
413.         document.add(new Field("url",indexInfo.url,Store.YES,Index.ANALYZED));
     
414.         document.add(new Field("md5code", md5(indexInfo.url),Store.YES,Index.ANALYZED));        
     
415.         document.add(new Field("id", md5(indexInfo.url)+System.currentTimeMillis(),Store.YES,Index.ANALYZED));
     
416. 
     
417.         if(indexInfo.store){
     
418.             
     
419.             if(today==null)
     
420.                 initdate();
     
421.             
     
422.             System.out.println("存储"+indexInfo.url+"关键字："+indexInfo.keyword+"\t"+indexInfo.title);
     
423.             
     
424.             logger.debug("存储url"+indexInfo.url);
     
425.             document.add(new Field("title", indexInfo.title,Store.YES,Index.ANALYZED));
     
426.             document.add(new Field("store", "t",Store.YES,Index.ANALYZED));
     
427.             document.add(new Field("content",indexInfo.string,Store.NO,Index.ANALYZED));
     
428.             document.add(new Field("shenhe",indexInfo.shenhe?"1":"0",Store.YES,Index.ANALYZED));
     
429.             document.add(new Field("group", indexInfo.group, Store.YES,Index.ANALYZED));
     
430.             document.add(new Field("keyword", indexInfo.keyword, Store.YES,Index.ANALYZED));
     
431.             document.add(new Field("score", ""+indexInfo.score, Store.YES,Index.ANALYZED));
     
432.             document.add(new Field("ctime",today.getTime()+"" ,Store.YES,Index.ANALYZED));
     
433.             document.add(new Field("md5contentcode", md5(indexInfo.string),Store.YES,Index.ANALYZED));
     
434.             
     
435.             
     
436.         }else
     
437.             document.add(new Field("store", "f",Store.YES,Index.ANALYZED));
     
438.      
     
439.         indexWriter.updateDocument(new Term("md5code", md5(indexInfo.url)),document);
     
440.         indexWriter.commit();
     
441.         indexWriter.optimize();
     
442. 
     
443.     }
     
444.     /**
     
445.      * 关键字分组
     
446.      * @param content
     
447.      * @return
     
448.      * @throws IOException
     
449.      */
     
450.     private void fenZhu(IndexInfo indexInfo) throws IOException{
     
451.         indexInfo.string=indexInfo.string.replace("\\s", "");
     
452.         if(rs==null)
     
453.             //根据页面的信息判断是不是应该
     
454.             rs= halleyCurrencyDao.opensExcuteSQL("select t2.keyword,t3.keyword from CONSENSUSTEAM_KEY t1 LEFT JOIN  CONSENSUSKEYWORD t2 on t1.keyid=T2.id left join CONSENSUSKEYWORDTEAM t3 on t1.teamid=t3.teamid");   
     
455.         StringBuilder keyword=null;
     
456.         StringBuilder keywordtype=null;
     
457.         for(int i=0;i<rs.length;i++){
     
458.             if(indexInfo.string.contains(rs[i][0]))
     
459.             {
     
460.                 switch(indexInfo.type){
     
461.                     case pagetype_title:
     
462.                         indexInfo.score+=10;
     
463.                     break;
     
464.                     case pagetype_meta:
     
465.                         indexInfo.score+=5;
     
466.                         break;
     
467.                     case pagetype_body:
     
468.                         indexInfo.score+=1;
     
469.                         break;
     
470.                 }
     
471. 
     
472.                 if(indexInfo.group_keyword==null)
     
473.                     indexInfo.group_keyword=new String[2];
     
474.                 else if(indexInfo.group_keyword[0]!=null){
     
475.                         if(indexInfo.group_keyword[0].contains(rs[i][0]))
     
476.                             continue;
     
477.                         if(indexInfo.group_keyword[1].contains(rs[i][1]))
     
478.                             continue;
     
479.                 }
     
480.                  
     
481.                 if(keyword==null){
     
482.                     keyword=new StringBuilder();
     
483.                     keywordtype=new StringBuilder();
     
484.                 }
     
485.                 if(keyword.indexOf(rs[i][0])<0)
     
486.                     keyword.append("#"+rs[i][0]);
     
487.                 if(keywordtype.indexOf(rs[i][1])<0)
     
488.                     keywordtype.append("#"+rs[i][1]);
     
489.             }
     
490.         }
     
491.          
     
492.         if(keyword!=null)
     
493.         {
     
494.             indexInfo.group_keyword[0]=(indexInfo.group_keyword[0]==null?
     
495.                     "":indexInfo.group_keyword[0])+keyword.toString();
     
496.             indexInfo.group_keyword[1]=(
     
497.                     indexInfo.group_keyword[1]==null?"":indexInfo.group_keyword[1]
     
498.                     )+keywordtype.toString();
     
499.         }
     
500. 
     
501.     }
     
502.     /**
     
503.      * 查看这个链接是否包含关键字
     
504.      * @param content
     
505.      * @return
     
506.      */
     
507.     private boolean constainsKeyWord(String content){
     
508.         content=content.replace("\\s", "");
     
509.         if(rs==null)
     
510.             try {
     
511.                 rs= halleyCurrencyDao.opensExcuteSQL("select t2.keyword,t3.keyword from CONSENSUSTEAM_KEY t1 LEFT JOIN  CONSENSUSKEYWORD t2 on t1.keyid=T2.id left join CONSENSUSKEYWORDTEAM t3 on t1.teamid=t3.teamid");
     
512.             } catch (IOException e) {
     
513.                 e.printStackTrace();
     
514.             }
     
515.          for(int i=0;i<rs.length;i++){
     
516.             if(content.contains(rs[i][0]))
     
517.              return true;   
     
518.         }
     
519.         return false;
     
520.     }
     
521.      
     
522.     /**
     
523.      * 审核URL
     
524.      * @param url
     
525.      * @throws IOException
     
526.      */
     
527.     public void shenHe(String url) throws IOException{
     
528.          
     
529.         logger.debug("审核"+url);
     
530.         pageContent(url,true);
     
531.     }
     
532.     /**
     
533.      * 根据ID审核
     
534.      * @param id
     
535.      * @throws IOException
     
536.      */
     
537.     public void shenHeById(String id) throws IOException{
     
538.          
     
539.         IndexSearcher indexSearcher=new IndexSearcher(directory);
     
540.         TermQuery query=new TermQuery(new Term("id", id));
     
541.          
     
542.         TopDocs docs= indexSearcher.search(query, 1);
     
543. 
     
544.         Document document2=null;
     
545.         ScoreDoc[] docss=docs.scoreDocs;
     
546.          if(docs!=null&&docss.length>0){
     
547.              for (int i = 0; i < docss.length; i++) {
     
548.                  document2=indexSearcher.doc(docss[i].doc);
     
549.             }
     
550.          }
     
551.          if(document2!=null){
     
552.              shenHe(document2.getField("url").stringValue());
     
553.               
     
554.          }
     
555.   
     
556.     }
     
557.      
     
558.     /**
     
559.      * 查询 url是否已经被索引了
     
560.      * 只能保证一天内的链接不被重复索引
     
561.      * @param url
     
562.      * @return
     
563.      * @throws IOException
     
564.      */
     
565.     private boolean isIndexed(String url) throws IOException{
     
566.          
     
567.          
     
568.         if(!directory.fileExists("segments.gen"))
     
569.             return false;
     
570. 
     
571.         IndexSearcher indexSearcher=new IndexSearcher(directory);
     
572.         TermQuery query=new TermQuery(new Term("md5code", md5(url)));
     
573.         BooleanQuery booleanQuery=new BooleanQuery();
     
574.         booleanQuery.add(query,Occur.MUST);
     
575.         booleanQuery.add(
     
576.                 new RangeQuery(
     
577.                 new Term("ctime",yesday.getTime()+""),
     
578.                 new Term("ctime",today.getTime()+""),
     
579.                 true),
     
580.                 Occur.MUST );
     
581.         //保证相同的链接一天只能抓取一次
     
582.         TopDocs docs= indexSearcher.search(booleanQuery, 1);
     
583.         indexSearcher.close();
     
584.          
     
585.         if(docs.scoreDocs.length>0){
     
586.             logger.debug("已结被索引了"+url);
     
587.         }
     
588.          
     
589.         return docs.scoreDocs.length>0?true:false;
     
590.     }
     
591.      
     
592.     /**
     
593.      * 判断页面是不是最新的
     
594.      * @param md5code
     
595.      * @param contentMD5
     
596.      * @return
     
597.      * @throws IOException
     
598.      */
     
599.     private boolean isUpdatePage(String md5code,String contentMD5) throws  IOException{
     
600.          
     
601.         if(!directory.fileExists("segments.gen"))
     
602.             return true;
     
603.          
     
604.         IndexSearcher indexSearcher=new IndexSearcher(directory);
     
605.         TermQuery query=new TermQuery(new Term("md5code", md5code));
     
606.         BooleanQuery booleanQuery=new BooleanQuery();
     
607.         booleanQuery.add(query,Occur.MUST);
     
608.          
     
609.         TopDocs docs=indexSearcher.search(query, 1);
     
610.         for(ScoreDoc scoredoc:docs.scoreDocs){
     
611.             Document document=indexSearcher.doc(scoredoc.doc);
     
612.             
     
613.             String store=document.get("store");
     
614.             if("f".equals(store))
     
615.                 return false;
     
616.             
     
617.             String contenthash=document.get("md5contentcode");
     
618.             if(contentMD5.equals(contenthash))
     
619.             {
     
620.                 logger.debug("页面内容没有变化"+document.get("url"));
     
621.                 return false;
     
622.             }
     
623.         }
     
624.          
     
625.         return true;
     
626.     }
     
627.      
     
628.     /**
     
629.      *
     
630.      * @param datas 关键字  时间范围  分组
     
631.      * @return
     
632.      * @throws IOException
     
633.      */
     
634.     public LucenePage  search(LucenePage page,String... datas) throws IOException,RemoteException{
     
635.          
     
636.         IndexSearcher indexSearcher=new IndexSearcher(directory);
     
637.          
     
638.          BooleanQuery booleanQuery=new BooleanQuery();
     
639.          
     
640.          Filter filter=null;
     
641.          
     
642.          int start=0;
     
643.          int end=10;
     
644.          
     
645.          //分页
     
646.          if(page!=null){
     
647.              start=(page.getPageNo()-1)*page.getPageSize();
     
648.              end=start+page.getPageSize();
     
649.          }
     
650.          if(datas[0]!=null&&"1".equals(datas[0])){
     
651.              booleanQuery.add(new TermQuery(new Term("shenhe","1")),Occur.MUST);//查询审核过的
     
652.          }
     
653.          
     
654.          if(datas[1]!=null
     
655.                  &&!"".equals(datas[1].trim())){
     
656.                      
     
657.                     char chars[]=datas[1].toCharArray();
     
658.                     if(datas[1].length()>2){
     
659.                         BooleanQuery booleanQuery2=new BooleanQuery();
     
660.                         for(int i=0;i<chars.length-1;i++){
     
661.                             booleanQuery2.add(new TermQuery(new Term("content",new String(chars, i,2))), Occur.MUST);   
     
662.                         }
     
663.                         booleanQuery.add(booleanQuery2, Occur.MUST);
     
664.                     }else
     
665.                         booleanQuery.add(new FuzzyQuery(new Term("content", datas[1])),Occur.MUST);
     
666.                     }
     
667.         if(datas.length>2&&datas[2]!=null&&datas[3]!=null){
     
668.             
     
669.             if(!"".equals(datas[2])&&!"".equals(datas[3]))
     
670.             {
     
671.               try {
     
672.                 filter=new RangeFilter("ctime",
     
673.                           ""+dateFormat.parse(datas[2]).getTime(),
     
674.                           ""+dateFormat.parse(datas[3]).getTime(),
     
675.                           true, true);
     
676.             } catch (java.text.ParseException e) {
     
677.                 e.printStackTrace();
     
678.             }
     
679.             }
     
680.                
     
681.         }
     
682.         if(datas.length>3&&datas[4]!=null){
     
683.             try {
     
684.                 booleanQuery.add(new QueryParser("group",analyzer).parse(datas[4]),Occur.MUST);
     
685.             } catch (ParseException e) {
     
686.                 e.printStackTrace();
     
687.             }
     
688.         }
     
689.          
     
690.         List<String[]>  results=new ArrayList<String[]>();
     
691.          
     
692.         booleanQuery.add(new TermQuery(new Term("store", "t")),Occur.MUST);
     
693. 
     
694.          Sort sort=new Sort(new SortField[]{
     
695.                  new SortField("ctime",SortField.LONG,true),
     
696.                  new SortField("content",SortField.SCORE),
     
697.                  new SortField("score",SortField.INT,true),
     
698.                  });         
     
699.         TopFieldDocs topFieldDocs=indexSearcher.search(booleanQuery, filter, maxresult, sort);
     
700.         page.setTotal(topFieldDocs.totalHits);
     
701.         if(topFieldDocs!=null&&topFieldDocs.scoreDocs.length>0){
     
702.             for(int i=start;i<end&&i<topFieldDocs.scoreDocs.length;i++){
     
703.                  
     
704.                 ScoreDoc scoreDoc=topFieldDocs.scoreDocs[i];
     
705.                 Document document=indexSearcher.doc(scoreDoc.doc);
     
706.                  
     
707.                 String[] one_result=new String[8];
     
708.                 results.add(one_result);
     
709.                 one_result[0]=document.get("url");
     
710.                 one_result[1]=document.get("title");
     
711.                 Date date=new Date();
     
712.                 date.setTime(Long.parseLong(document.get("ctime")));
     
713.                 one_result[2]=dateFormat.format(date);
     
714.                 one_result[3]=document.get("id");
     
715.                 one_result[4]=document.get("shenhe");
     
716.                 one_result[5]=document.get("group");
     
717.                 one_result[6]=document.get("keyword");
     
718.                 one_result[7]=document.get("score");
     
719.             }
     
720.             
     
721.         }
     
722.          page.setResult(results);
     
723.          indexSearcher.close();
     
724.          return page;
     
725.     }
     
726.      
     
727.     @Override
     
728.     public List<Map<String, Object>> getLuceneData(String ids)
     
729.             throws RemoteException,IOException {
     
730.          
     
731.         List<Map<String, Object>> dataMap=new ArrayList<Map<String,Object>>();
     
732.         if(!directory.fileExists("segments.gen"))
     
733.             return dataMap;
     
734.          
     
735.         String id_s[]=null;
     
736.         if(ids!=null){
     
737.             id_s=ids.split(",");
     
738.         }
     
739.          
     
740.         if(id_s!=null){
     
741.             
     
742.             BooleanQuery booleanQuery=new BooleanQuery();
     
743.             IndexSearcher indexSearcher=new IndexSearcher(directory);
     
744.             for(int i=0;i<id_s.length;i++){
     
745.                 booleanQuery.add(new TermQuery(new Term("id",id_s[i])),Occur.SHOULD);
     
746.             }
     
747.             TopDocs docs=indexSearcher.search(booleanQuery,id_s.length);
     
748.             for(ScoreDoc scoredoc:docs.scoreDocs){
     
749.                 Document document=indexSearcher.doc(scoredoc.doc);
     
750.                 Map<String, Object> map=new HashMap<String, Object>();
     
751.                 dataMap.add(map);
     
752.                 map.put("atitle", document.get("title"));               
     
753.                 map.put("url",  document.get("url"));
     
754.                 Date date=new Date();
     
755.                 long t=Long.parseLong(document.get("ctime"));
     
756.                 date.setTime(t);
     
757.                 map.put("adate", dateFormat.format(date) );
     
758.                 map.put("fromarea",  document.get("title"));
     
759.                  
     
760.             }
     
761.             indexSearcher.close();
     
762.         }
     
763.         return dataMap;
     
764.          
     
765.     }
     
766.      
     
767.     public String processUrl(String url,String parenturl){
     
768.      
     
769.         //取出主机地址
     
770.         Pattern pattern_host=Pattern.compile("http://\\w+\\.\\w+\\.\\w+");
     
771.          
     
772.         Pattern pattern=Pattern.compile("^\\w+/\\w+/");
     
773.         Pattern pattern2=Pattern.compile("^\\.\\./\\w+");
     
774.         Matcher matcher_host=pattern_host.matcher(parenturl);
     
775.         Matcher matcher=pattern.matcher(url);
     
776.         String host=null;
     
777. 
     
778.         if(parenturl.endsWith("/"))
     
779.             parenturl=parenturl.substring(0,parenturl.length()-1);
     
780.         if(url.endsWith("/"))
     
781.             url=url.substring(0,url.length()-1);
     
782.         if(matcher_host.find())
     
783.             host=matcher_host.group();
     
784.          
     
785.          if(host==null)
     
786.              return url;
     
787.          
     
788.         if(url.startsWith("/"))
     
789.             return host+url.substring(1);
     
790.          
     
791.         else if(url.startsWith("./"))
     
792.             return parenturl+"/"+url.substring(1);
     
793.      
     
794.         else if(matcher.find()||
     
795.                 url.startsWith("../")){
     
796.             
     
797.             Matcher matcher2=pattern2.matcher(url);
     
798.             while(matcher2.find()){
     
799.                 url=url.substring(3);
     
800.                 parenturl=parenturl.substring(0, parenturl.lastIndexOf("/")-1);
     
801.                 parenturl=parenturl.substring(0, parenturl.lastIndexOf("/"));
     
802.             }
     
803.             
     
804.             return parenturl+"/"+url;
     
805.         }
     
806.         if(url.startsWith("#")||url.startsWith("javascript"))
     
807.             return parenturl;
     
808.         return url;
     
809.     }
     
810.      
     
811.     /**
     
812.      * MD5
     
813.      * @param plainText
     
814.      * @return
     
815.      */
     
816.     public static String md5(String plainText) {
     
817.         try {
     
818.          MessageDigest md = MessageDigest.getInstance("MD5");
     
819.          md.update(plainText.getBytes());
     
820.          byte b[] = md.digest();
     
821. 
     
822.          int i;
     
823. 
     
824.          StringBuffer buf = new StringBuffer();
     
825.          for (int offset = 0; offset < b.length; offset++) {
     
826.           i = b[offset];
     
827.           if (i < 0)
     
828.            i += 256;
     
829.           if (i < 16)
     
830.            buf.append("0");
     
831.           buf.append(Integer.toHexString(i));
     
832.          }
     
833.          
     
834.           return buf.toString().substring(8, 24);
     
835.         } catch (NoSuchAlgorithmException e) {
     
836.          e.printStackTrace();
     
837.         }
     
838.         return  null;
     
839.        }
     
840. 
     
841.     public IListInfoDAO getHalleyCurrencyDao() {
     
842.         return halleyCurrencyDao;
     
843.     }
     
844. 
     
845.     public void setHalleyCurrencyDao(IListInfoDAO halleyCurrencyDao) {
     
846.         this.halleyCurrencyDao = halleyCurrencyDao;
     
847.     }
     
848.     public static class IndexInfo{
     
849.       private int score;
     
850.       private int type;
     
851.       private   String string;
     
852.       private   String url;
     
853.       private String title;
     
854.       private String group;
     
855.       private String keyword;
     
856.       private   boolean shenhe;
     
857.       private   boolean store;
     
858.     //当前关键字分组
     
859.       private String[] group_keyword;
     
860.       
     
861.     }
     
862. 
     
863.     public static void main(String[] args){
     
864.         Logger logger=Logger.getLogger("");
     
865.         logger.info("nihao");
     
866.     }
     
867.     @Override
     
868.     public void shenhe(String id) throws IOException, RemoteException {
     
869.         shenHeById(id);
     
870.     }
     
871.      
     
872. }

复制代码

renxiao2003

楼主想要抓取什么？