云计算，大数据，人工智能三者有何关系？

 

    所以大数据想了一个方式，就是聚合多台机器的力量，众人拾柴火焰高，看能不能通过多台机器齐心协力，把事情很快的搞定。

 

    对于数据的收集，对于IoT来讲，外面部署这成千上万的检测设备，将大量的温度，适度，监控，电力等等数据统统收集上来，对于互联网网页的搜索引擎来讲，需要将整个互联网所有的网页都下载下来，这显然一台机器做不到，需要多台机器组成网络爬虫系统，每台机器下载一部分，同时工作，才能在有限的时间内，将海量的网页下载完毕。开源的网络爬虫大家可以关注一下Nutch。

 

    对于数据的传输，一个内存里面的队列肯定会被大量的数据挤爆掉，于是就产生了Kafka这样基于硬盘的分布式队列，也即kafka的队列可以多台机器同时传输，随你数据量多大，只要我的队列足够多，管道足够粗，就能够撑得住。

 

    对于数据的存储，一台机器的硬盘肯定是放不下了，所以需要一个很大的分布式存储来做这件事情，把多台机器的硬盘打成一块大硬盘(而非存储池，注意两者的区别)，hadoop的HDFS可以做到，也有很多地方用对象存储，同样可以有非常大的空间保存海量的数据。
 

 
 

 

    这个图描述的HDFS的一个架构，可以产出来，HDFS将很多个DataNode管理在一起，将数据分成很多小块，分布在多台机器上，从而实现了海量数据的存储。
 

 
 

 

    这个图描述的是swift对象存储的架构，也是将很多的storage node聚合在一起，实现海量的存储。
 

    对于数据的分析，一台机器一篇一篇的分析，那要处理到猴年马月也分析不完，于是就有了map-reduce算法，将海量的数据分成多个部分，使用大规模的hadoop集群，每台机器分析一部分，这个过程叫做map，分析完毕之后，还需要汇总一下，得到最终结果，汇总的过程称为reduce。最初的map-reduce算法是每一轮分析都将结果写入文件系统的，后来人们发现往往复杂的分析需要多轮计算才能有结果，而每一轮计算都落盘对速度影响比较大，于是有了Spark这种中间计算全部放入内存的分布式计算框架。对于数据的分析有全量的离线的计算，例如将所有的用户的购买行为进行分类，也有需要实时处理实时分析的，例如股票资讯的分类，实时的计算框架有storm，spark streaming等等。
 

 
 

 

    对于数据的搜索，如果使用顺序扫描法 (Serial Scanning)， 比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。如利用windows的搜索也可以搜索文件内容，只是相当的慢。为什么慢呢？其实是由于我们想要搜索的信息和非结构化数据中所存储的信息不一致造成的。

 

    非结构化数据中所存储的信息是每个文件包含哪些字符串，也即已知文件，欲求字符串相对容易，也即是从文件到字符串的映射。而我们想搜索的信息是哪些文件包含此字符串，也即已知字符串，欲求文件，也即从字符串到文件的映射。两者恰恰相反。

 

    如果我们通过对于非结构化数据进行处理，形成索引文件，里面保存从字符串到文件的映射，则会大大提高搜索速度。

 

    由于从字符串到文件的映射是文件到字符串映射的反向过程，于是保存这种信息的索引称为反向索引 。
 

 
 

 

    当数据量非常大的时候，一个索引文件已经不能满足大数据量的搜索，所以要分成多台机器一起搜索，如图所示，将索引分成了多个shard也即分片，分不到不同的机器上，进行并行的搜索。
 

 
 

 

    所以说大数据平台，什么叫做大数据，说白了就是一台机器干不完，大家一起干。随着数据量越来越大，很多不大的公司都需要处理相当多的数据，这些小公司没有这么多机器可怎么办呢？

 

    于是大数据人员想起来想要多少要多少，想什么时候要什么时候要的云平台。空间的灵活性让大数据使用者随时能够创建一大批机器来计算，而时间的灵活性可以保证整个云平台的资源，不同的租户你用完了我用，我用完了他用，大家都不浪费资源。

 

    于是很多人会利用公有云或者私有云平台部署大数据集群，但是完成集群的部署还是有难度的，云计算的人员想，既然大家都需要，那我就把他集成在我的云计算平台里面，当大家需要一个大数据平台的时候，无论是Nutch, Kafka，hadoop，ElasticSearch等，我能够马上给你部署出来一套。我们管这个叫做PaaS平台。

 

    大数据平台于是作为PaaS融入了云计算的大家庭。
 

 
 

 

    作为国内最早诞生的互联网公司之一，网易在过去十余年的产品研发、孵化和运维过程中，各个部门对数据有着不同且繁杂的需求。而如何把这些繁杂的需求用统一的手段来解决，网易在大数据分析方面同样进行了十余年的探索，并自去年开始通过“网易云”将这些能力开放出来。