e-works数字化企业网  »  文章频道  »  基础信息化  »  云计算和虚拟化

如何在虚拟环境下测试数据分析?

2016/4/26    来源:机房260    作者:佚名      
关键字:数据分析  虚拟化  数据挖掘  
由于预算限制以及对更大灵活性的需求,安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是,即使预算低且时间有限,我们仍然有办法可以测试数据分析。本文中,让我们看看在小环境中有限预算情况下测试数据分析的方法。
       IT安全的发展是围绕数据,生成、收集、收集、存储和分析数据是安全日志的重要部分,但这些大型数据集给存储和处理资源带来巨大压力。

       在专业生产环境中,应该部署着良好的数据收集和分析基础设施,并有足够的资源进行可靠和稳定的设置。

       然而,现实情况是,由于预算限制以及对更大灵活性的需求,安全专家通常需要在更小的环境中实施和测试数据分析及处理。幸运的是,即使预算低且时间有限,我们仍然有办法可以测试数据分析。本文中,让我们看看在小环境中有限预算情况下测试数据分析的方法。并且,让我们看看在小型环境有效运行数据分析的方法。

       虚拟化

       为了保持低成本以及高配置灵活性,我们应该尽可能多地利用虚拟化硬件。Vmware ESXi是数据分析测试实验室的不错选择,Parallels、Virtual Box和Hyper-V等其他产品也可以使用。在这个例子中,我们将使用Vmware。在免费注册许可证后,这个管理程序可安装在相对廉价的硬件中—但是要注意支持的CPU要求,否则也可能会很昂贵。在管理程序上,我们可以通过虚拟网络安装和连接很多不同的虚拟主机。例如,这包括基于Linux和Unix的代理服务器、IDS和防火墙设备,以及Splunk和Syslog服务器。

       代理服务器

       代理服务器可提供对网络流量的可视性,并可处理流量直到ISO模型的应用层。例如,它可显示HTTP和FTP特定通信。现在有很多免费的开源代理服务器,例如ClearOS、Cache Guard和pfSense。pfSense是基于Free BSD,这是最容易管理的代理服务器之一,并且它内置很多高级功能,例如Squid Proxy、SSL检查、防病毒和VPN。远程Syslog是防火墙日志的可选项,但为了输出代理服务器日志,还需要在代理服务器设置的自定义选项字段添加以下命令行:access_logsyslog:LOG_LOCAL4,这之后会进行重新启动。对于SSL检查,则需要通过WebUI安装Squid3 Proxy软件包,SSL检查可提供hTTPS代理日志记录。

       Splunk

       Splunk Light是集中日志记录的起点,它还可以为安全性运行测试数据分析程序。在注册后,它免费可供使用,并可很容易地安装在Ubuntu服务器。考虑到主机本身是虚拟化,整个服务器不会增加任何成本。另一个选择是Splunk企业免费版,它提供60天免费试用,允许每天索引500MB数据,但在60天后需要付费转为永久Splunk企业版。

       在pfSense Remote Syslog的情况下,我们需要Splunk通用转发器来收集日志以及转发日志到Splunk索引。这个转发器可与Splunk Light Search Head(上文所述的WebUI)相同的主机或者在单独主机上。我们可通过Splunk Web界面来完成对这个Splunk通用转发器的数据来源和监听端口的配置和自定义。

       Hadoop

       数据挖掘和数据科学是目前的热门话题。对于任何想要深入研究这个问题的人来说,可以选择运行Hadoop测试服务器。通常情况下,Hadoop运行在群集配置中,但这也可以降至单节点群集,这种单台服务器将同时包含数据节点和名称节点。为了互换Splunk和Hadoop服务器之间的数据,可以下载和安装Hadoop Connect。这需要安装Splunk Enterprise Free,并由于Splunk内的应用支持要求,它将无法在Splunk Light运行。安装手册和视频提供在Splunk网站。

       总结

       总之,安全完全是关于数据。在设置这个测试实验室后,需要生成可用数据。这需要虚拟网络内的一些活动,例如通过代理服务器运行家庭LAN、在网络外围设置蜜罐或者在网络内运行模拟攻击。由于使用了虚拟组件,这个测试实验室将具有足够的灵活性以适应所要求的情况,并将能够生成很多类型的数据用于分析。          
         
责任编辑:赵蔓
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐