[原创] 用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址

benlan

原帖由 flw 于 2006-9-2 15:09 发表
像这一类程序，耗时的操作主要在于网络通讯上，
处理本身是不占用什么时间的，
反过来灵活性和扩展性就显得至关重要，
用 C 来做爬虫，的确罕见！

BTW：可以请蜘蛛给大家介绍一下。

几个出名的开源引擎的爬虫都是用 c 或 c++ 或 java的
其实wget就是一个简单的爬虫

perl可以考虑做为抓取过来以后，保存的数据的协议分析

zhoulifa

原帖由 GNM 于 2006-9-7 12:28 发表
程序运行也有问题(as4上编译)
[root@test09.news.sina ~]# ./spdir http://bn.sina.com.cn/pv/index.html
GetHost error from '蜜窨僳窨'

打印出这行提示是这一句程序：
if(ret)        {if(DEBUG) fprintf(stdout, "GetHost error from '%s'\n", argv); exit(0);}

而程序里用的是argv，理论上应该是http://bn.sina.com.cn/pv/index.html啊
我写了测试代码：

1. 
   
2. #include <stdio.h>
   
3. #include <string.h>
   
4. #include <stdlib.h>
   
5. 
   
6. char e[2] = "@/";
   
7. 
   
8. void GetMemory(char ** myanchor, int len)
   
9. {
   
10.         if(!(*myanchor))        (*myanchor) = (char *)malloc(len + 1);
    
11.         else        (*myanchor) = (char *)realloc((void *)(*myanchor), len + 1);
    
12.         memset((*myanchor), 0, len + 1);
    
13. }
    
14. 
    
15. void Rstrchr(char * s, int x, char ** d)
    
16. {
    
17.         int len = strlen(s) - 1;
    
18.         while(len >= 0)        {
    
19.                 if(x == s[len]) {(*d) = s + len; return;}
    
20.                 len--;
    
21.         }
    
22.         (*d) = 0;
    
23. }
    
24. 
    
25. int GetHost(char * src, char ** web, char ** file, int * port, char ** dir)  {
    
26.   char * pA, * pB, * pC;
    
27.   int len;
    
28. 
    
29.   *port = 0;
    
30.   if(!(*src))  return -1;
    
31.   pA = src;
    
32.   if(!strncmp(pA, "http://", strlen("http://")))  pA = src+strlen("http://");
    
33.   /* else if(!strncmp(pA, "https://", strlen("https://")))  pA = src+strlen("https://"); */
    
34.   else return 1;
    
35.   pB = strchr(pA, '/');
    
36.   if(pB)  {
    
37.     len = strlen(pA) - strlen(pB);
    
38.     GetMemory(web, len);
    
39.     memcpy((*web), pA, len);
    
40.     if(*(pB+1))  {
    
41.       Rstrchr(pB + 1, '/', &pC);
    
42.       if(pC) len = strlen(pB + 1) - strlen(pC);
    
43.       else len = 0;
    
44.       if(len > 0) {
    
45.         GetMemory(dir, len);
    
46.         memcpy((*dir), pB + 1, len);
    
47. 
    
48.         if(pC + 1) {
    
49.           len = strlen(pC + 1);
    
50.           GetMemory(file, len);
    
51.           memcpy((*file), pC + 1, len);
    
52.         }
    
53.         else {
    
54.           len = 1;
    
55.           GetMemory(file, len);
    
56.           memcpy((*file), e, len);
    
57.         }
    
58.       }
    
59.       else {
    
60.         len = 1;
    
61.         GetMemory(dir, len);
    
62.         memcpy((*dir), e + 1, len);
    
63. 
    
64.         len = strlen(pB + 1);
    
65.         GetMemory(file, len);
    
66.         memcpy((*file), pB + 1, len);
    
67.       }
    
68.     }
    
69.     else {
    
70.       len = 1;
    
71.       GetMemory(dir, len);
    
72.       memcpy((*dir), e + 1, len);
    
73. 
    
74.       len = 1;
    
75.       GetMemory(file, len);
    
76.       memcpy((*file), e, len);
    
77.     }
    
78.   }
    
79.   else  {
    
80.     len = strlen(pA);
    
81.     GetMemory(web, len);
    
82.     memcpy((*web), pA, strlen(pA));
    
83.     len = 1;
    
84.     GetMemory(dir, len);
    
85.     memcpy((*dir), e + 1, len);
    
86.     len = 1;
    
87.     GetMemory(file, len);
    
88.     memcpy((*file), e, len);
    
89.   }
    
90. 
    
91.   pA = strchr((*web), ':');
    
92.   if(pA)  *port = atoi(pA + 1);
    
93.   else *port = 80;
    
94. 
    
95.   return 0;
    
96. }
    
97. 
    
98. int main(int argc, char ** argv)
    
99. {
    
100.         int ret = 0, WebPort = 0;
     
101.         char * WebHost = 0, * PageAddress = 0, * WebDir = 0;
     
102. 
     
103.         ret = GetHost(argv[1], &WebHost, &PageAddress, &WebPort, &WebDir); /* Get web page info */
     
104.         if(ret)        {fprintf(stdout, "GetHost error from '%s'\n", argv[1]); exit(0);}
     
105.         else fprintf(stdout, "'%s' => %s:%d %s %s\n", argv[1], WebHost, WebPort, WebDir, PageAddress);
     
106.         return 0;
     
107. }
     

复制代码

运行结果为：

test@locale:/source/example/c$ gcc gethost.c -Wall
test@locale:/source/example/c$ ./a.out http://bn.sina.com.cn/pv/index.html
'http://bn.sina.com.cn/pv/index.html' => bn.sina.com.cn:80 pv index.html

GNM，你在你电脑上试试这段代码看行不行

zhoulifa

原帖由 cmzhubill 于 2006-9-6 20:29 发表
可以在开源的爬虫，例如larbin的基础上稍作修改就能达到这个目的啊

larbin是C＋＋写的，效率非常高。

多谢提供一份源码参考！

我下载了个larbin-2.6.3来，不过编译通不过，adns__parse_domain的申明和实现不一致
申明为internal.h:570行：
adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
                               vbuf *vb, parsedomain_flags flags,
                               const byte *dgram, int dglen, int *cbyte_io, int max);

实现却为parse.c:114行：
adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
                               vbuf *vb, adns_queryflags flags,
                               const byte *dgram, int dglen, int *cbyte_io, int max)
我学习学习这份代码再说吧，原理不会差很多吧

cabbage_rose

学习

GNM

[test@root]$ ./a.out http://bn.sina.com.cn/pv/index.html
'http://bn.sina.com.cn/pv/index.html' => bn.sina.com.cn:80 pv index.html

楼主测试代码通过,但原代码还是不行报错

hangtoo

赞。。。

zhoulifa

GNM ， 实在想不出你那是什么问题了
要不你把你那份源码发过来我这里试试看 zhoulifa@163.com

GNM

和你第一页的源代码一样的,楼主可以在as4或redhat8.0下试试

goldeagle

辛苦了，不过，恩…… why not nutch?

zhoulifa

原帖由 GNM 于 2006-9-7 21:55 发表
和你第一页的源代码一样的,楼主可以在as4或redhat8.0下试试

已经好久不用Red Hat的东西了，感觉它太难用了 :(
不过，我会在虚拟机里来试试它