[DNS] 給阿骁兄的賀禮二: DNS 流量統計~超強版 [复制链接]

论坛徽章:: 0

21楼 [报告]

发表于 2004-12-13 12:48 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

程序又升级了，我增加了一个所有dns解析合计的功能。
程序如下：
#cat dns_flow.sh
#!/usr/bin/sh
USAGE="Usage: $0 serverip\n or \n $0 all\n"
if [ $# -le 0 ]
then
      echo $USAGE 2>;&1
      exit 1
fi

TMPDATAFILE="/var/named/.${1}.tmp"
TMPALLFILE="/var/named/.all.tmp"
if [ !  -f $TMPALLFILE ]
then
      printf "0\n0\n">;$TMPALLFILE
fi

case $1 in
all)
      query=`head -1 $TMPALLFILE`
      reply=`tail -1 $TMPALLFILE`
printf "$query\n$reply\n"
printf "0\n0\n" >;$TMPALLFILE;;
*)
RUN_1=0
query_old=0
reply_old=0
query=0
reply=0
if [ -f $TMPDATAFILE ]
then
      RUN_1=1
      query_old=`head -2 $TMPDATAFILE|tail -1 |awk '{print $4}'`
      reply_old=`head -3 $TMPDATAFILE|tail -1 |awk '{print $4}'`
fi
/usr/local/sbin/rndc -s $1 status >;$TMPDATAFILE
query=`head -2 $TMPDATAFILE|tail -1 |awk '{print $4}'`
reply=`head -3 $TMPDATAFILE|tail -1 |awk '{print $4}'`
if [ $query -gt $query_old ] && [ $reply -gt $reply_old ]
then
      query=`expr $query - $query_old`
      reply=`expr $reply - $reply_old`
fi
if [ $RUN_1 -eq 0 ]
then
      #first time to run
      printf "0\n0\n"
else
      printf "$query\n$reply\n"
      query_all=`head -1 $TMPALLFILE`
      reply_all=`tail -1 $TMPALLFILE`
      printf "`expr $query + $query_all`\n`expr $reply + $reply_all`\n">;$TMPALLFILE
fi;;
esac

mrtg的配置文件也要相应修改成如下：
#cat dns.cfg
# for UNIX
WorkDir: /usr/local/apache/htdocs/mrtg/html/dns
# or for NT
# WorkDir: c:\mrtgdata

### Global Defaults

# to get bits instead of bytes and graphs growing to the right
Options[_]: growright, noinfo,nopercent,integer,absolute
MaxBytes[_]: 10000
Legend1[_]: DNS查询(次数/秒)
Legend2[_]: DNS回应(次数/秒)
LegendI[_]: DNS查询
LegendO[_]: DNS回应
ShortLegend[_]:次/秒
YLegend[_]: Q. per second
PageTop[_]: <h1>;DNS_Server Query/Response</h1>;
#---------------------------------------------------------------

Target[DNS_Server1]: `/var/named/dns_flow.pl 192.168.1.2`
Title[DNS_Server1]: mydns1
Target[DNS_Server2]: `/var/named/dns_flow.pl 192.168.1.3`
Title[DNS_Server2]: mydns2
.
.
.
Target[DNS_Server100]: `/var/named/dns_flow.sh all`
Title[DNS_Server100]: alldns
MaxBytes[DNS_Server100]: 100000

注意：由于程序设计问题，dns合计一项一定要放在最后一行，切记切记。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cpss

稍有积蓄

论坛徽章:: 0

22楼 [报告]

发表于 2004-12-13 13:06 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

我的dns统计

dns_server8-day.jpg (33.91 KB, 下载次数: 105)

我其中一台dns的统计

dns_server100-day.jpg (31.46 KB, 下载次数: 87)

我所有dns合计

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

abel

家境小康

论坛徽章:: 1

23楼 [报告]

发表于 2004-12-13 20:09 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

嗯...cpss 也是箇中高手呀 !
您的觀點很正確, gauge 確時是較好的型態, counter 則是重設時會有
一段時間會不正常, 至於合計功能,倒建議您可學學 rrdtool ,
可以有較佳的處理效果
http://phorum.study-area.org/viewtopic.php?t=18496&postdays=0&postorder=asc&start=0
也或許您早巳懂了

用 rrdtool interval 可以精確到秒哦,不似 mrtg 最小只有 5min(300s)

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jsquan

白手起家

论坛徽章:: 0

24楼 [报告]

发表于 2004-12-15 08:41 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

最近有些郁闷，查询数与回复数曲线有时间距太大，
请问各位也是否碰到，怎么处理？

附图

ns1-day-1.GIF (18.96 KB, 下载次数: 100)

ns1xxx.net server

ns2-day-1.GIF (19.8 KB, 下载次数: 103)

ns2.xxx.net　server

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

abel

家境小康

论坛徽章:: 1

25楼 [报告]

发表于 2004-12-15 12:15 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

我覺得你應該去看其他的資料,例如流量資料等,是否和DNS 圖上的資料有一定相關.
或是在 DNS 上先開 query log , 以觀察看看

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jsquan

白手起家

论坛徽章:: 0

26楼 [报告]

发表于 2004-12-17 12:10 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

原帖由 "abel" 发表：
我覺得你應該去看其他的資料,例如流量資料等,是否和DNS 圖上的資料有一定相關.
或是在 DNS 上先開 query log , 以觀察看看

一、首先感谢abel。

你的提示中，我的理解如下：
1、你可能觉得是否是我DNS有其他流量与DNS相关。
（1）从两线间距较大的情况来看，说明还是正常的DNS查询数远大于响应数。
我在ns1和ns2上，都没有启动除ns服务以外的服务器进程。
（2）在时间上看，ns1和ns2在相同的时间上，出现两条线间距较大。某些时
候，间距不大，说明较为正常。
所以我认为，一般的，应该不是恶意流量攻击。

2、关于你叫我在ns1和ns2上打开query log看看
谢谢。我觉得你的建议很好，毕竟分析log是解决问题的最有效的途径之一。
到目前为此，我一直使用/var/log/messages来看bind 的log信息。如果
这个问题解决不了，我想抽个时间，开启ns2上的query log看看。

二、借此机会，顺便问两个小问题：

1、我的DNS是ns1.xxx.net或ns2.xxx.net，我不知道用xxx.com
和xxx.net作ISP的域名服务器时，有什么不一样的地方？（第一问）
考虑到大陆的互联网用户，多数是查询的是.cn的域名，是不是使用
xxx.net.cn或xxx.com.cn作为域名服务器的域会更好呢？（第二问）

2、关于查询数与回应数两线相距很远的问题，我曾经使用dnstop分析过。
我个人认为，某个window用户将我的ns1和ns2作为它的主备域名服务器，
但该window平台可能受病毒攻击过或是该计算机上有恶意攻击DNS服务器的
程序，从而导致查询数与回应数两线相距很远。即查询的正确率较低。

当出现上述情况时，我通常的做法是看/var/log/messages文件，此时会发现
系统中出现大量的如下信息：

Nov 25 19:55:22 ns2 named[50127]: client xxx.xxx.xxx.xxx(ip)#2441:
view external: no more recursive clients: quota reached

复制代码

上面这段代码，已经出现很久了，我想其他ns管理员也经常碰到。

针对这种情况，我就会修改named.conf，将recursive-clients 的值加大。
例如：

recursive-clients 100000;

复制代码

其实，我原来没有使用这个参数，但我为了解决这个问题，逐步将值由1000，
提高到5000，再提高到1万，直到现在的10万。

这个问题，一直让我最为郁闷。理由很简单，我的ns1和ns2是为好几万用户
服务，如果ns1和n2的查询正确率很低的话，势必影响到用户的利益。

为此，请各位高手帮助指点！谢谢。[/code]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cpss

稍有积蓄

论坛徽章:: 0

27楼 [报告]

发表于 2004-12-17 13:57 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

不是吧，jsquan，你的dns为几万用户服务，但从你的dns解析数一般才100～200次/秒？那也太少了吧。
我这边的解析数已经到了12K/秒，痛苦啊，太多了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

fuleru

家境小康

论坛徽章:: 0

28楼 [报告]

发表于 2004-12-17 15:34 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

不错啊。谢谢。好东西！！！！！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

abel

家境小康

论坛徽章:: 1

29楼 [报告]

发表于 2004-12-17 17:41 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

我沒有用過 windows 的 v6 , 都只有在 linux 上用 (client or dns)
所以沒法回答你的問題,我猜是 windows 對 v6 的支援不夠所致
但我無法證明,建議您到一些有論 v6 較深的論壇去問問,不然到我們這邊也可以
http://www.ipv6.org.tw

recursive-clients 設為多少意義應不大,預設好像是 1000
因為如 cpss 提到的,你的 query/response 並沒有很大,
我們的一台例子:

我個人認為你的問題應該先看:
1. 網路是否正常 ? Router/Switch/本機都要看, 看 Error 是否會太多
2. 同時間的流量是否有瓶頸,不見得是本機或現在的網路, 出口處也要多注意
3. 各設備的系統狀況是否正常(CPU/MEMORY/device..)

若以上都沒有問題,再找 query log 看看,畢竟 query log 佔大量的 I/O,
上面的圖可以看到,我們的流量和你差不多,但兩條線是重疊的,也就是
幾乎沒有背離現象,這也只是一台普通的 Server 而以,用一般的 PC 跑到
每秒數千一定沒有什麼問題,我認為你的問題是在網路上為主,並不是這台
DNS Server. (我測過每秒 1000 次查詢, CPU Loading 不會高於 20%, CPU
是 1G, RAM 1G 的機器).

1、我的DNS是ns1.xxx.net或ns2.xxx.net，我不知道用xxx.com
和xxx.net作ISP的域名服务器时，有什么不一样的地方？（第一问）
考虑到大陆的互联网用户，多数是查询的是.cn的域名，是不是使用
xxx.net.cn或xxx.com.cn作为域名服务器的域会更好呢？（第二问）

無所謂,因為這是給 user 用的,用什麼名稱都無關, user 的 resolver
是認 IP 的.

2、关于查询数与回应数两线相距很远的问题，我曾经使用dnstop分析过。
我个人认为，某个window用户将我的ns1和ns2作为它的主备域名服务器，
但该window平台可能受病毒攻击过或是该计算机上有恶意攻击DNS服务器的
程序，从而导致查询数与回应数两线相距很远。即查询的正确率较低。

這個問題,若一般的 worm 通常是掃 IP 較無關,若 Email 的 worm 或 virus,
會狂發信沒錯,但 User 設的 smtp server 是 mail.xxx.com , 信是發到
mail.xxx.com , user 會解析的只有 mail.xxx.com , 而 windows 2000 以上
的機器,一般的都會做 Cache , 也就是只能解析一次,除非重開機(這個功能可關閉
但一般 99% 的人一定不會去關),所以,viurs mail 來查你的 dns server, 不是
Client, 所以,若您有這種考量,看到的 IP 應該是 Mail Server 才是
而通常 Mail Server 的發信速度肯定比不上 dns 的查詢速度的.
除非您的問題不是一台影起,而是多台累積下來的結果.

除你的圖中可以看到,查詢量是差不多的,這表示什麼 ?
如果你的 user 設了 DNS 為 IP1, IP2 , 理論上應該是 IP1 量應遠高於 IP2
因為 Resolver 不是輪詢的,而是會先用第一筆,所以我想你的圖和你的說明
肯定有差距 (我猜這是dns 代管主機,而不是像一般 ISP 給 user 用的 DNS Server)

再來看, 查詢差不多,失敗也差不多,何解呢 !? 大概您置這兩台 Server 於
同一個 subnet 之下所致,應該在網路上適當的分隔,例如一台放在電信,一台放在
聯通,或許失敗量也不會這麼一致了.

如果我的猜測沒有錯,這是代管主機,那就設代管主機為 recursion no, 因為這
不是給 user 設 DNS Server 用(Resolver), 而是給其他的 DNS Server 用.
我們的代管主機都是這麼設, User 再將 TCP/IP 中的 DNS 指到電信的 DNS Server 上
即可,本末上適當的分開會是較好的

所以...您多想想. 或許我有猜錯的,看您是否有其他補充.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jsquan

白手起家

论坛徽章:: 0

30楼 [报告]

发表于 2004-12-18 14:21 |只看该作者

給阿骁兄的賀禮二: DNS 流量統計~超強版

再次感谢abel的分析，特别是对网友问题执着的回答，这一点，难能可贵。netman一样，也具备这种精神。

1、

所以?#93;法回答你的問?#125;,我猜是 windows 對 v6 的支援不夠所致
但我無法證明,建議您到一些有論 v6 較深的論壇去問問,不然到我們這邊也可以
http://www.ipv6.org.tw

复制代码

你的建议是很好的，我对v6真可是一点也不通。只是工作还是不够专注。

2、

因為如 cpss 提到的,你的 query/response 並?#93;有很大,

复制代码

是的，Query/Response并不大，但的确ns1、ns2是chinanetcom即CNC
在南方某省的公网域名服务器。目前用户2万户左右。同时在线，我不清楚有多不少。

3、

1. 網路是否正常 ? Router/Switch/本機都要看, 看 Error 是否會太多

复制代码

这个应该没问题。我先后在中电信、中网通，从事router/switch多年，对FreeBSD学习也有六年。

2. 同時間的流量是否有瓶頸,不見得是本機或現在的網路, 出口處也要多注意

复制代码

我们网络是China169(CNCnet)中的一部分，由于China169跟Sprint-globalone之间的出国带宽比较拥挤。与ChinaNet也是拥挤严重。以下是从ns1到root-server的时延。内容较多，详见附件一。

3. 各設備的系統狀況是否正常(CPU/MEMORY/device..)

复制代码

这个没有问题。我的ns1和ns2是FreeBSD 4.8 releases平台。
1G Ram, 1*cpu 2.0 Ghz 我设置的swsap根本没有用到。如ns1信息。
详见附件二。

4、

我猜這是dns 代管主機,而不是像一般 ISP 給 user 用的 DNS Server

复制代码

你猜错了。我的是ISP给user的DNS　server。这一点不用怀疑。所以，我要
对用户负责。

5、

再來看, 查詢差不多,失敗也差不多,何解呢 !? 大概您置這兩台 Server 於
同一個 subnet 之下所致,應該在網路上適當的分隔,例如一台放在電信,一台放在
聯通,或許失敗量也不會這麼一致了.

复制代码

我的ns1与ns2分别在不同的城域网。举例假设ns1在台北，那么ns2就在高雄。当然不在同一个subnet了。并且ns1与ns2是2*pos 155互联。

6、
我的ns1和ns2都设置为recursion yes，并且，启用了internal-view和external-view。

7、补充
我刚看到你在线，如果你方便使用QQ的话，能否与我联络。我的QQ：86269149