SCO openserver下的搜索引擎蜘蛛爬行程序！

myq12

这是一个在vmware+SCO Openserver5.0.6下的unix/c写的一个搜索引擎程序，虽然是一个简单的程序，
但是基本原理涵盖其中，有兴趣的可以继续写下去，关键的问题如下：
（1）算法的选取
（2）不通的网站的丢弃规则
（3）相同的网站的重复访问（如建立什么样的数据结构，双向链表或图而不至于重复访问）
（4）和数据库的对应（这个比较简单，这个程序是把访问回来的网页直接写进。/log/LogPage文件中）
（5）index.html首页通常比较大（超过64k），如何完全取回
（6）动态网页的搜取
（7）图像文件的传回，本程序忽略处理
（8）如何快速的html解析
其实读了这个程序就两个client.c csapp.c;tiny.c（CMU的CS系主任写的麻雀虽小、五脏俱全的web server），搜索引擎的原理、IE浏览器的实现、HTTP协议的原理，PHP解析语言的实现，你都可以下手干了！
如有改进希望能回发给我，thx
yqmowdq@sina.com

unix007

学习一下,多谢了

myq12

$ client www.baidu.com 80
connect www.baidu.com:80 successfully!
read timeout!abanded the Page: Unknown error
Time out for Recv data!
=>BFS page
>>>>>>>CurDNShost=[news.baidu.com][:80]
Begin search next page...
http://news.baidu.com:80/
connect news.baidu.com:80 successfully!
Recv data OK!
Searched page(1) http://news.baidu.com:80...
loop=[1]
>>>>>>>CurDNShost=[post.baidu.com][:80]
Begin search next page...
http://post.baidu.com:80/
...........................................

察看返回的结果,希望大家讨论,这只是一个入门程序,但是清楚了复杂的东西你自然会有想法了
$ vi log/LogPage

HTTP/1.1 200 OK^M
Date: Tue, 20 Jun 2006 09:07:16 GMT^M
Server: apache2.0.5.0/1.3.27 (Unix) MOD_NEWSREWRITE v1.0.0 mod_gzip/1.3.19
.1a mod_cache/1.0.0 mod_baidu/4.1.1 BAIDU_IMAGE v1.0.2^M
Set-Cookie: BAIDUID=BB88B5D55112676462A9AC00A51A83D7; expires=Tue, 20-Jun-36 09:
07:16 GMT; path=/; domain=.baidu.com^M
Last-Modified: Tue, 20 Jun 2006 09:02:15 GMT^M
ETag: "34016-127ff-4497b997"^M
Accept-Ranges: bytes^M
Connection: close^M
Content-Type: text/html^M
Content-Encoding: gzip^M
Content-Length: 16870^M
^M
^_\213^H
Pageidx(1)->http://news.baidu.com:80
HTTP/1.1 200 OK^M
......

sdccf

有新意!

myq12

更新了一个程序蜘蛛爬行程序pangolin1.0.5 修改了解析html文本和href串

$ pangolin www.netbog.com 80

(attr:type=0 flag=1)http://www.netbig.com:80/
(attr:type=100 flag=100)http://www.netbig.com:80//images/index060419.css
(attr:type=100 flag=100)http://www.netbig.com:80//images/nb.ico
(attr:type=100 flag=100)http://www.netbig.com:80//images/nb.ico
(attr:type=100 flag=100)http://www.netbig.com:80//images/nb.ico
(attr:type=100 flag=100)http://rank2005.netbig.com:80//
(attr:type=100 flag=100)http://city.netbig.com:80//
(attr:type=100 flag=100)http://a.netbig.com:80//
(attr:type=100 flag=100)http://forum.netbig.com:80//
(attr:type=100 flag=100)http://learning.netbig.com:80//
(attr:type=100 flag=100)http://8.netbig.com:80//
(attr:type=100 flag=100)http://wireless.netbig.com:80//
(attr:type=1 flag=100)http://wireless.netbig.com:80//gaokao/index.jsp
(attr:type=100 flag=100)http://www.netbig.com:80//abroad/
(attr:type=100 flag=100)http://job.netbig.com:80//
(attr:type=100 flag=100)http://travel.netbig.com:80//
(attr:type=100 flag=100)http://study.netbig.com:80//
(attr:type=100 flag=100)http://english.netbig.com:80//
(attr:type=100 flag=100)http://campus.netbig.com:80//
(attr:type=100 flag=100)http://game.netbig.com:80//
(attr:type=100 flag=100)http://astro.netbig.com:80//
(attr:type=100 flag=100)http://music.netbig.com:80//
(attr:type=100 flag=100)http://oversea.netbig.com:80//
(attr:type=100 flag=100)http://joke.netbig.com:80//
(attr:type=100 flag=100)http://psyche.netbig.com:80//
(attr:type=100 flag=100)http://health.netbig.com:80//
(attr:type=100 flag=100)http://science.netbig.com:80//
(attr:type=100 flag=100)http://net.netbig.com:80//
(attr:type=100 flag=100)http://beauty.netbig.com:80//
(attr:type=100 flag=100)http://sport.netbig.com:80//
(attr:type=100 flag=100)http://fashion.netbig.com:80//
(attr:type=100 flag=100)http://movies.netbig.com:80//
...............
2k/ms,环境 vmware+SCO openserver5.0.6（虚拟环境是够慢的）

[ 本帖最后由 myq12 于 2006-6-23 17:26 编辑 ]