专业技能｜大数据技术架构

2020-05-08 11:19

大数据技术架构图告诉你：1）搭建什么样的技术架构支持业务：2）该使用什么技术平台。

它从上往下分为4层，依次是：服务层、计算层、存储层和采集层。

1．服务层：是说给用户使用的东东，一般就是一个数据Portal，如Tableau；还有数个数据接口。

2．计算层：是说数据的离线分析用Hive，近实时分析用Spark Streaming，还有一些聚类、分类等算法用SK learn等，经过这些计算、统计、分析之后，数据就会更加有血有肉，这一层可以认为数据的核心层，也关乎数据价值的有无和大小。

3．存储层：是说全量源数据、细节数据以及经过清洗的数据，存储在HDFS中，这一层相当于经过了粗略的一些萃取工艺，把一些“垃圾”摒弃掉了。

4．采集层：是说业务数据存储在mysql中，各种行为数据、各种补充的业务数据、各种技术类的数据都存储在日志文件中，这一层是数据的原材料，尽量多的采集用户的所有行为就对了。

声明： 本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻