netlink+netfilter+BloomFilter内核态过滤URL

ubuntuer

利用一天的时间在各位老大dreamice godbach  platinum等大佬的指定下，终于完成了一个内核过滤url的初级版本，只是提供一个解决方案 应用层防火墙呵呵^_^
问题肯定还是多多的,对http协议的了解也是有限的...
   可以参考我的以下帖子
     http://linux.chinaunix.net/bbs/thread-1149479-1-1.html  这个是内核中提取URL的
     http://linux.chinaunix.net/bbs/v ... =1134519&extra=  这个是netlink+netfilter实现简单的封IP和封ICMP协议
     
   这里大致的思路是先利用netlink将需要过滤的url传到内核,内核根据bloom filter的思路来实现内核中提取的url是否需要过滤
   关于bloom filter可以看我blog里的这篇文章..用户态bloom filter的使用 http://blog.chinaunix.net/u2/76292/showart_2055618.html具体的
   使用例子google下一大堆 内核中URL过滤我借鉴了这个实现
   
   好了开始代码
   用户态url.c:

1.    #include <sys/stat.h>
   
2. #include <unistd.h>
   
3. #include <stdio.h>
   
4. #include <stdlib.h>
   
5. #include <sys/socket.h>
   
6. #include <netinet/in.h>
   
7. #include <arpa/inet.h>
   
8. #include <sys/types.h>
   
9. #include <string.h>
   
10. #include <asm/types.h>
    
11. #include <linux/netlink.h>
    
12. #include <linux/socket.h>
    
13. #include <getopt.h>
    
14. 
    
15. #define NETLINK_TEST 21
    
16. #define MAX_PAYLOAD 1024 /* maximum payload size*/
    
17. 
    
18. struct sockaddr_nl src_addr, dest_addr;
    
19. struct nlmsghdr *nlh = NULL;
    
20. struct iovec iov;
    
21. int sock_fd;
    
22. struct msghdr msg;
    
23. struct option longopts[] =
    
24. {
    
25.    {"help",no_argument, NULL, 'h'},
    
26.    {"host",required_argument, NULL, 'H'},
    
27.    {0,0,0,0}
    
28.   };
    
29. 
    
30. void print_help(char* str)
    
31. {
    
32. fprintf(stderr,"%s --host(-H)\n",str);
    
33. fprintf(stderr,"%s --help(-h)\n",str);
    
34. fprintf(stderr,"eg:\n%s --host [url]www.chinaunix.net[/url]\n",str);
    
35. }
    
36.       
    
37. 
    
38. int main(int argc, char* argv[])
    
39. {
    
40.     int c;
    
41.     char host[20]="www.baidu.com";
    
42.    
    
43.    while((c=getopt_long(argc, argv, "hH:", longopts, NULL))!=-1)   
    
44.     {
    
45.       switch(c)
    
46.        {
    
47.          case 'H':
    
48.           {
    
49.             sprintf(host,"%s",optarg);
    
50.             break;
    
51.           }
    
52.          case 'h':
    
53.            {
    
54.             print_help(argv[0]);
    
55.             return -1;
    
56.            }
    
57.         
    
58.          default:
    
59.           break;
    
60.        }
    
61. 
    
62.     }  
    
63. 
    
64.    sock_fd = socket(PF_NETLINK, SOCK_RAW, NETLINK_TEST);
    
65.    memset(&msg, 0, sizeof(msg));
    
66.    memset(&src_addr, 0, sizeof(src_addr));
    
67.    src_addr.nl_family = AF_NETLINK;
    
68.    src_addr.nl_pid = getpid(); /* self pid */
    
69.    src_addr.nl_groups = 0; /* not in mcast groups */
    
70.    bind(sock_fd, (struct sockaddr*)&src_addr, sizeof(src_addr));
    
71.    memset(&dest_addr, 0, sizeof(dest_addr));
    
72.    dest_addr.nl_family = AF_NETLINK;
    
73.    dest_addr.nl_pid = 0; /* For Linux Kernel */
    
74.    dest_addr.nl_groups = 0; /* unicast */
    
75. 
    
76.    nlh=(struct nlmsghdr *)malloc(NLMSG_SPACE(MAX_PAYLOAD));
    
77.    /* Fill the netlink message header */
    
78.    nlh->nlmsg_len = NLMSG_SPACE(MAX_PAYLOAD);
    
79.    nlh->nlmsg_pid = getpid(); /* self pid */
    
80.    nlh->nlmsg_flags = 0;
    
81.    /* Fill in the netlink message payload */
    
82.    printf("now we will filter %s\n", host);
    
83.    memcpy(NLMSG_DATA(nlh),host ,sizeof(host));
    
84. 
    
85.    iov.iov_base = (void *)nlh;
    
86.    iov.iov_len = nlh->nlmsg_len;
    
87.    msg.msg_name = (void *)&dest_addr;
    
88.    msg.msg_namelen = sizeof(dest_addr);
    
89.    msg.msg_iov = &iov;
    
90.    msg.msg_iovlen = 1;
    
91. 
    
92.    printf(" Sending message. ...\n");
    
93.    sendmsg(sock_fd, &msg, 0);
    
94.    close(sock_fd);
    
95.    return 0;
    
96. }

复制代码

内核态urlfilter.c：

1. #include <linux/module.h>
   
2. #include <linux/kernel.h>
   
3. #include <linux/skbuff.h>
   
4. #include <linux/ip.h>
   
5. #include <linux/in.h>
   
6. #include <net/tcp.h>
   
7. #include <net/icmp.h>
   
8. #include <linux/netfilter.h>
   
9. #include <linux/netfilter_ipv4.h>
   
10. #include <linux/types.h>
    
11. #include <linux/sched.h>
    
12. #include <net/sock.h>
    
13. #include <net/netlink.h>
    
14. 
    
15. #define NETLINK_TEST 21
    
16. #define TABLE_SIZE   13
    
17. #define SETBIT(a, n) (a[n/32] |= (1<<(n%32)))
    
18. #define GETBIT(a, n) (a[n/32] & (1<<(n%32)))
    
19. 
    
20. unsigned int a[5];
    
21. 
    
22. static struct nf_hook_ops nfho;
    
23. struct sock *nl_sk = NULL;
    
24. EXPORT_SYMBOL_GPL(nl_sk);
    
25. 
    
26. static char* host = NULL;
    
27. 
    
28. unsigned int sax_hash(const char *key)
    
29. {
    
30.         unsigned int h=0;
    
31. 
    
32.         while(*key) h^=(h<<5)+(h>>2)+(unsigned char)*key++;
    
33. 
    
34.         return h%TABLE_SIZE;
    
35. }
    
36. 
    
37. unsigned int sdbm_hash(const char *key)
    
38. {
    
39.         unsigned int h=0;
    
40.         while(*key) h=(unsigned char)*key++ + (h<<6) + (h<<16) - h;
    
41.         return h%TABLE_SIZE;
    
42. }
    
43. 
    
44. void input (struct sock* sk, int len)
    
45. {
    
46.   struct sk_buff* skb = NULL;
    
47.   struct nlmsghdr* nlh = NULL;
    
48. 
    
49.   printk("net_link: data is ready to read.\n");
    
50.   while((skb = skb_dequeue(&sk->sk_receive_queue))!=NULL)
    
51.    {
    
52.     nlh = (struct nlmsghdr*)skb->data;
    
53.     host = (char *)NLMSG_DATA(nlh);
    
54.    }
    
55. 
    
56.   printk("host is %s\n", host);
    
57.   if(host!=NULL)
    
58.           {
    
59.                   SETBIT(a, sax_hash(host));
    
60.                   SETBIT(a, sdbm_hash(host));
    
61.           }
    
62.          
    
63.   return;
    
64. }
    
65. 
    
66. static int test_netlink(void) {
    
67.   nl_sk = netlink_kernel_create(NETLINK_TEST, 0, input, THIS_MODULE);
    
68. 
    
69.   if (!nl_sk) {
    
70.     printk(KERN_ERR "net_link: Cannot create netlink socket.\n");
    
71.     return -EIO;
    
72.   }
    
73.   printk("net_link: create socket ok.\n");
    
74.   return 0;
    
75. }
    
76. 
    
77. int check_http(const unsigned char* haystack, unsigned int len)
    
78. {
    
79.    char  url[100];
    
80.    char* host_tmp;
    
81.    char* url_tmp = url;
    
82.    
    
83.    if(len>4)
    
84.     {
    
85.     #if 1
    
86.      printk("len is %d\n", len);
    
87.      //printk("%s\n", haystack);
    
88.     #endif
    
89.      if(memcmp(haystack, "GET", 3)==0||memcmp(haystack,"POST", 4)==0)   
    
90.        {
    
91.          host_tmp = strstr(haystack,"Host:");
    
92.          host_tmp += 5;
    
93.          if(*host_tmp==' ')
    
94.              host_tmp++;
    
95. 
    
96.          while(*host_tmp!='\r')
    
97.              *url_tmp++ = *host_tmp++;
    
98. 
    
99.          *url_tmp='\0';  
    
100.          printk("http connect----Host:%s\n",url);
     
101.          if(GETBIT(a, sax_hash(url))&&GETBIT(a, sdbm_hash(url)))
     
102.                  {
     
103.              printk("we drop packet of host:%s", url);
     
104.              return 1;
     
105.             }
     
106.        }
     
107.    }
     
108.    return 0;
     
109. }
     
110. 
     
111. unsigned int hook_func(unsigned int hooknum,
     
112.                        struct sk_buff **skb,
     
113.                        const struct net_device *in,
     
114.                        const struct net_device *out,
     
115.                        int (*okfn)(struct sk_buff *))
     
116. {
     
117.   struct iphdr *iph = NULL;
     
118.     struct tcphdr *tcph = NULL;
     
119.     struct tcphdr _otcph;
     
120.     unsigned char* haystack;
     
121.     int hlen;
     
122. 
     
123. 
     
124.     iph = ip_hdr(*skb);
     
125.     haystack =(char*)iph+(iph->ihl*4);
     
126.     hlen = ntohs(iph->tot_len)-(iph->ihl*4);
     
127. 
     
128.     if (iph->protocol == IPPROTO_TCP) {
     
129.         tcph = skb_header_pointer(*skb, ip_hdrlen(*skb), sizeof(_otcph), &_otcph);
     
130.       
     
131.         haystack += tcph->doff*4;
     
132.         hlen -= tcph->doff*4;
     
133.      
     
134.      if(check_http(haystack, hlen))
     
135.              return NF_DROP;
     
136.     }
     
137. 
     
138.     return NF_ACCEPT;
     
139. }
     
140. 
     
141. static int __init hook_init(void)
     
142. {
     
143.              int i =0;
     
144.        printk("insmod url filter!\n");
     
145.        test_netlink();
     
146.        nfho.hook      = hook_func;
     
147.        nfho.hooknum   = NF_IP_LOCAL_OUT;
     
148.        nfho.pf        = PF_INET;
     
149.        nfho.priority  = NF_IP_PRI_FIRST;
     
150.    
     
151.        nf_register_hook(&nfho);
     
152. 
     
153.        for(;i<5;i++)
     
154.          a[i]=0;
     
155.        return 0;
     
156. }
     
157. 
     
158. static void __exit hook_exit(void)
     
159. {
     
160.     printk("rmmod url filter!\n");
     
161.     nf_unregister_hook(&nfho);
     
162.     if (nl_sk != NULL){
     
163.       sock_release(nl_sk->sk_socket);
     
164.      }
     
165. }
     
166. 
     
167. module_init(hook_init);
     
168. module_exit(hook_exit);

复制代码

Makefile:

1. obj-m += urlfilter.o
   
2. KDIR := /lib/modules/$(shell uname -r)/build
   
3. 
   
4. all:
   
5.         make -C $(KDIR) M=$(shell pwd) modules
   
6.         gcc -Wall -o url url.c
   
7. clean:
   
8.         make -C $(KDIR) M=$(shell pwd) clean
   
9.         rm -f *odule* user
   

复制代码

使用的话
./url --host www.chinaunix.net过滤[url]www.chianunix.net[/url]
./url  默认过滤www.baidu.com

实际效果貌似不是很好^_^ 可能跟数据包的分片等有关系  希望大家能给出点完善的思路  我自己也将继续学习
也不知道思路对不对,自己瞎整的,还望各位指点


[ 本帖最后由 ubuntuer 于 2009-12-17 22:43 编辑 ]

ubuntuer

从图中可以看出是drop了部分包的,可能由于分片等之类结果可能不尽人意,希望大家给点思路

dreamice

其实你过滤的是www.chinaunix.net这个域名的包，呵呵，URL是什么东东，概念有点混啊

ubuntuer

恩  这个要考虑的问题太多了....
一般这应用层防火墙是这么做的吗？  在内核中千辛万苦的抓包分析DEBUG.....   太难了^_^

ubuntuer

姜哥看看这个
http://blog.chinaunix.net/u/12313/showart_148073.html
九贱大哥写的DNS过滤　vs URL过滤  受益匪浅   
研究下DNS协议

T-Bagwell

楼主是做这个工作吧？

duanjigang

偶做的是基于DNS过滤URL的，效果比较明显。
如果基于http报文来过滤的话，感觉比较麻烦:wink:

Godbach

原帖由 duanjigang 于 2009-12-18 14:02 发表
偶做的是基于DNS过滤URL的，效果比较明显。
如果基于http报文来过滤的话，感觉比较麻烦:wink:

相当于是在源头做处理了, 通过DNS也请求不到域名对应的IP

duanjigang

原帖由 Godbach 于 2009-12-18 14:04 发表


相当于是在源头做处理了, 通过DNS也请求不到域名对应的IP

yes,但是他如果通过IP来访问的话，就没治了，正如九贱说的

ubuntuer

原帖由 T-Bagwell 于 2009-12-18 13:58 发表
楼主是做这个工作吧？

我还没毕业，呵呵！！！  今年研三刚找完工作，现在是出于无聊中！