e-works数字化企业网  »  文章频道  »  基础信息化  »  大数据

魅族大数据之用户洞察平台介绍

2017/6/14    来源:极客头条    作者:佚名      
关键字:大数据  魅族UIP  
魅族UIP(用户洞察平台)通过对三方受众数据的汇聚、清洗、智能运算,构建了庞大的精准人群数据中心,提供丰富的用户画像数据以及实时场景识别能力。本文介绍了魅族用户洞察平台的功能和架构,还原建设过程中遇到的技术难点和解决方式。
    一、总体介绍
 
    1.1. 用户洞察平台的定位
 
    魅族 UIP(用户洞察平台),通过对三方受众数据的汇聚、清洗、智能运算,构建了庞大的精准人群数据中心,提供丰富的用户画像数据以及实时的场景识别力。
 
魅族大数据之用户洞察平台介绍
 
    对内:无缝对接各类业务平台的数据应用,如广告平台、PUSH推送、个性化推荐之间建立了数据通道,支持公司级的精准营销,消息及时送达服务等场景。营销效果评估,反馈数据可进一步加工,用于提升画像标签质量。
 
    对外:完善对数据的管理及输出流程,以开放接口形式为全行业从业者提供标准的精准人群标签,帮助优化投放和提升营销效果。达到对受众的精准投放,释放数据真正价值!
 
    1.2. 用户洞察平台的核心需求
 
    用户洞察平台的核心需求包括几个部分:
 
魅族大数据之用户洞察平台介绍
 
  • 标签生成
 
    用户洞察的核心是用户画像,必须有完善的机制和流程来生成用户标签。
 
  • 人群洞察
 
    指定标签条件选项选出用户群体,指定要分析的标签,通过聚合运算,分析用户该用户群的特征。
 
  • 受众分发
 
    采取一定的技术手段,把指定人群推至下游的营销渠道(广告平台、推送平台、OTA等)
 
 
  • 标签查询
 
    对下游系统提供查询接口,调用方指定用户标识(imei)查询该用户的画像标签。例如当用户在访问某个页面的时候,广告平台会查询用户的画像信息以确定广告位应该展示什么内容。
 
    1.3. 数据流视图
 
    从数据流的角度看,用户洞察系统可划分为几个阶段:标签生成、标签存储、平台功能、对外服务,如下图:
 
魅族大数据之用户洞察平台介绍
 
    标签生成
 
    从时效性角度,标签分为两类:离线计算与实时计算。
 
  • 离线标签
 
    这些标签为用户的静态属性,比如用户性别、年龄、职业、地理位置等, 这些标签通过离线计算生成,每天计算一次即可。标签生成的相关计算任务是由大数据平台提供计算能力,任务调度系统(集成开发平台)对相关作业进行调度和管理。
 
  • 实时标签
 
    这些标签为用户的动态属性,如地理位置,搜索行为等,需要通过流平台进行实时计算生成(更新),例如户现在搜索了一个热门关键词或一款产品,我们就会根据这些行为进行精准推荐,在之后的一段时间内他会看到相应产品的广告。
 
    从计算生成方式,标签也可分为两类:统计类标签和算法类标签。
 
  • 统计类标签
 
    根据用户行为直接进行聚合运算生成的标签,中用户的消费等级,设备属性等。
 
  • 算法类标签
 
    使用机器学习算法进行属性预测生成的标签,如用户的性别,职业,兴趣爱好等。
 
  • 标签存储
 
    计算生成的标签会同时存储在ElasticSearch、HBase和Redis里。其中 ElasticSearch 主要用于实现平台功能,如人群筛选、画像洞察等。而 Hbase 与 Redis 用于实现画像查询。
 
  • 平台功能
 
    在用户画像的基础上构建丰富的人群筛选、洞察分析与受众分发功能。
 
  • 对外服务
 
    通过开放平台(OpenAPI)对下游系统(如 push 平台, OTA 平台, 广告平台等)提供服务。
 
    1.4. 总体架构
 
    用户洞察平台的总体架构图如下 :
 
魅族大数据之用户洞察平台介绍
 
  • 集成开发平台作业调度,配置和运行离线计算任务(Hive&MR)

  • 流平台(AnyStream)负责实时标签计算

  • 管理模块生成的相关规则,存储在MySQL,供标签生成任务(Hive/MR/流平台)使用

  • 用户画像(标签)宽表保存在ES上

  • Hbase和Redis提供kv查询

  • 使用开发平台(OpenAPI)提供对外接口

责任编辑:李欢
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐