[原创] 用 C 语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址

zhoulifa

把你的环境、代码和操作过程贴出来看看吧

我这里是：gcc 版本 4.0.3 (Ubuntu 4.0.3-1ubuntu5)

GNM

gcc version 3.2 20020903 (Red Hat Linux 8.0 3.2-7)
[root@ root]# cat /etc/redhat-release
Red Hat Linux release 8.0 (Psyche)

gcc mailaddrsearch.c -o mailsearcher

[ 本帖最后由 GNM 于 2006-9-6 19:05 编辑 ]

阿南

aspseek

cmzhubill

可以在开源的爬虫，例如larbin的基础上稍作修改就能达到这个目的啊

larbin是C＋＋写的，效率非常高。

poper

大概看了一下,有点感想说出来大家讨论一下.
楼主的代码写的不规范啊.比如char* s=0;这样的CODE...
还有,在void Rstrchr(char * s, int x, char ** d)里好象有个BUG,s的最后一个字符不会被搜索的...

zhoulifa

原帖由 poper 于 2006-9-7 00:41 发表
大概看了一下,有点感想说出来大家讨论一下.
楼主的代码写的不规范啊.比如char* s=0;这样的CODE...
还有,在void Rstrchr(char * s, int x, char ** d)里好象有个BUG,s的最后一个字符不会被搜索的...

规范这东西仁者见仁了，习惯就好，何况规范是人自己定的。我不太遵循
依poper高见，定义指针初始化为空值如何写比较规范呢？贴出来让咱学习学习

另外Rstrchr经测试无BUG

1. 
   
2. /* 这是测试代码 */
   
3. #include <string.h>
   
4. #include <stdio.h>
   
5. 
   
6. void Rstrchr(char * s, int x, char ** d)
   
7. {
   
8.         int len = strlen(s) - 1;
   
9.         while(len >= 0)        {
   
10.                 if(x == s[len]) {(*d) = s + len; return;}
    
11.                 len--;
    
12.         }
    
13.         (*d) = 0;
    
14. }
    
15. 
    
16. int main(int argc, char ** argv)
    
17. {
    
18.   char * p = 0;
    
19.   Rstrchr(argv[1], 'a', &p);
    
20.   if(p) printf("%s\n", p);
    
21.   return 0;
    
22. }
    

复制代码

/* 这是测试运行结果
test@local:/source/example/c$ gcc rstrchr.c
test@local:/source/example/c$ ./a.out wehasdf
asdf
test@local:/source/example/c$ ./a.out asdf
asdf
test@local:/source/example/c$ ./a.out weha
a
test@local:/source/example/c$ ./a.out wehsdf
*/

无论字符a是在字符串的哪个位置都是可以正常被搜索出来的
能不把你那里的测试结果贴出来？

Michaelgs

楼主的程序还是dfs过程, 如果
./mailsearcher A B
而A下有C,D; B下有E,F, 如果递归不加限制理论上E,F将得不到处理, 不知楼主是否同意
不过楼主得程序还是很清楚地说明了网络爬虫的工作原理和过程

GNM

程序运行也有问题(as4上编译)
[root@test09.news.sina ~]# ./spdir http://bn.sina.com.cn/pv/index.html
GetHost error from '蜜窨僳窨'

zhoulifa

原帖由 Michaelgs 于 2006-9-7 10:52 发表
楼主的程序还是dfs过程, 如果
./mailsearcher A B
而A下有C,D; B下有E,F, 如果递归不加限制理论上E,F将得不到处理, 不知楼主是否同意
不过楼主得程序还是很清楚地说明了网络爬虫的工作原理和过程

同意，这个递归过程确实如Michaelgs所说存在这样的问题，现在程序就是一个不会终止永远运行的状态，需要用搜索深度控制才可以，Michaelgs高手

清楚地说明了网络爬虫的工作原理和过程 -- 这是我本意了，没有把这个代码做成一个完美可用的程序主要是因为没时间静下来做，惭愧

zhoulifa

原帖由 GNM 于 2006-9-6 19:01 发表
gcc version 3.2 20020903 (Red Hat Linux 8.0 3.2-7)
[root@ root]# cat /etc/redhat-release
Red Hat Linux release 8.0 (Psyche)

gcc mailaddrsearch.c -o mailsearcher

应该没问题，你编译用这个命令：
gcc mailaddrsearch.c -o mailsearcher -Wall -g
看有什么提示没
或者你用gdb跟踪一下看为何host那个指针内容不是需要的了

我这个代码只是为了展示原理，所以可能有各方面考虑不周，调试应该可以找出问题