求教：关于Netnorome的NFE-3240

panghaoyu

大家好，

我想了解一下 Netnorome NFE-3240 这个设备

我需要采集核心交换机某个镜像端口 出来的数据，我想知道 NFE-3240 是如何将采集到的数据

写到某台服务器的硬盘或存储上的，NFE-3240和服务器之间需要其他设备连接吗，

采集到的数据是什么格式的 ，可以看到用户上网的URL记录吗，或者可以看到 用户访问的html页面吗

我需要采集类似于百度快照之类的数据

谢谢各位前辈指点，问题有点多。

谢谢大家

panghaoyu

我以前请教过大家类似的问题

我想实现的功能就是 从核心交换机的旁路 抓取用户上网的HTML快照，并保存在存储上，再进行语义分析

我想大概有两种方案：

1、上网行为管理，

2、利用 所谓网络数据采集卡

是这样吧？

现在 网络数据采集卡 类似的 探针 很多地方都不然用，没有国家安全认证

还有其他办法吗，可以实现的

谢谢各位的指点

apen

这类设备的数据过于细，用于生成HTML快照的话数据量太大，不好使，要生成HTML快照用来进行分析，最好的办法是使用网络爬虫，这样的话只要获取HTTP请求，再使用网络爬虫来分析这些请求就行了。

panghaoyu

回复 3# apen


    谢谢 apen 的指点和帮助

我也有类似的想法，关键问题是 ：

有什么样的网络设备 可以 让我 获得 “HTTP请求”，

而且这台网络设备只能接在核心交换机的 旁路上

我考虑过一些：

交换机肯定不行 ，路由也不可以，他们只是在 layer-4

HTTP应该是 应用层的，有什么硬件设备可以抓取吗？

盼指点。谢谢大家

apen

要看数据量的大小，如果数据量比较小，可以通过防火墙的策略来对HTTP请求生成日志（IP、端口），再将日志交给网络爬虫来分析。如果数据量较大，还是需要专门的数据采集设备，利用数据采集设备对HTTP请求的信息进行采集，获取相关的URL信息，再交给网络爬虫来分析。你可以参考一下HTTP Network Sniffer 它可以捕获所有Web浏览器和Web服务器之间发送的HTTP请求/响应：主机名，HTTP方法（GET，POST，HEAD），URL路径，用户代理，响应代码，响应字符串，内容类型，Referer信息，内容编码，传输编码，服务器名称，内容的长度，cookie字符串等等。因为日常工作主要关注点是网络带宽和应用分类，对于应用层分析使用不多，所以对这方面的硬件设置了解也不多。

panghaoyu

非常感谢  apen，您说的已经非常详细了