e-works数字化企业网  »  文章频道  »  基础信息化  »  大数据

物流大数据标准及案例研究

2017/11/15    来源:大数据期刊    作者:蒋凡      
关键字:物流大数据  物流调度系统  
介绍了在城市物流配送领域的数据化和智能化改造过程中,如何面对大数据标准化的挑战,并从调度系统和开放平台两方面入手,提出了提高单次配送效率和节省多次配送成本的标准化解决方案。案例为物流大数据标准化技术提供了可供参考的分析思路、实施案例和创新经验。
    1.引言
 
    随着移动互联网技术对国民经济日益深入的影响过程,作为现代经济生活的底层支柱,物流行业也越来越体现出标准化、数据化和智能化的特点。这里标准化又是所有数据化和智能化改造升级的起点,负责对日常海量的物流数据从底层标准上建立统一的规范,进而影响基于大数据的上层模型和算法创新。可以说,标准化的质量和程度,决定了大数据和人工智能所能达到的高度;标准化工作中遇到的问题和应对策略,也都融合在现代物流行业在“互联网+”升级浪潮的解决方案之中。
 
    在国家指导层面上,2015年3月国务院印发了《深化标准化工作改革方案》。方案指出,要“更好发挥标准化在推进国家治理体系和治理能力现代化中的基础性、战略性作用,促进经济持续健康发展和社会全面进步”。2015年11月,国家标准化管理委员会又进一步印发了《物流标准化中长期发展规划(2015—2020年)》,明确了到2020年我国物流标准化工作的发展目标、主要任务、重点领域、重点工程等。
 
    在具体实施层面上,百度外卖自从2014年5月成立以来,专注于城市物流配送领域,在物流行业的数据化和智能化改造方面探索出诸多成果。这其中很大程度上得益于物流标准化建设的工作,为百度外卖物流配送效率和体验提升提供了持久动力。
 
    2.物流调度系统设计架构
 
    物流调度系统是所有涉及线下运力调配应用的最核心环节,也是关联诸多因素的综合系统。需要依托海量历史订单数据、配送/驾驶员定位数据、精准的商户特征数据,针对配送/驾驶员实时情景(任务量、配送距离、并单情况、评级),对订单进行智能匹配,实现自动化调度以及资源的全局最优配置,在保证系统效率的前提下,最大限度地提高用户体验。
 
    具体来说,包括以下几部分内容。
 
    (1)综合交通数据采集平台
 
    综合交通数据采集平台主要提供多源异构数据的采集与清洗功能,解决数据的不一致性问题,有效提高数据质量评价与数据清洗技术,主要功能包括以下几个方面:
 
    ● 根据业务范围及应用类型提供数据采集中间件与信息采集工具;
 
    ● 实现连续、实时、高效、准确的交通运输领域中结构化与非结构化大数据的获取与采集;
 
    ● 结合物联网、互联网和卫星定位技术开发智能终端,实现在动态环境下的交通数据实时采集;
 
    ● 实现数据清洗和预处理功能,解决数据冗余和不相容性并消除噪声的数据集成与融合技术。
 
    (2)物流运输调度决策平台
 
    物流运输调度决策平台主要提供实时数据环境下物流调度规划、下发、反馈、评估和追踪定位技术,主要功能包括以下几个方面:
 
    ● 采集并计算所在地区道路、桥梁、河流、障碍物等地理经纬度和距离信息;
 
    ● 实时采集点对点物流运输需求数据和物流配送人员的动态信息;
 
    ● 进行物流运输路径规划和配送任务指派的决策判断;
 
    ● 结合应用场景,线下模拟真实物流运输的多维指标及演进状态;
 
    ● 设计并实现分布式、高并发、大容量的流式计算框架;
 
    ● 采集并存储所有调度参数信息,提供历史调度场景的追查定位服务。
 
    (3)物流运力预警及分配平台
 
    物流运力预警及分配平台主要提供跨平台数据环境下物流运力警报的评估、发布和关闭以及相应级别下分配物流运力的技术,主要功能包括以下几个方面:
 
    ● 多维度采集公共平台和行业领域综合交通业务数据,比如天气、节假日、重大社会活动、运力资源等;
 
    ● 实时采集目标区域内的运力指标数据,评判行业运力紧张状况,预估时间、空间、持续范围及程度;
 
    ● 结合智能终端设备,下发并适时调整运力警报分级,通报实时状态;
 
    ● 针对不同分级警报状态,有差异化地采取降级应对措施,提供运力灾备和最低限度服务能力。
 
    3.物流配送标准化的必要性
 
    结合百度外卖的业务实践经验发现,标准化对于物流配送的必要性,或者说能实际发挥重要作用的地方主要有两点:
 
    ● 精准描述用户的运力需求和平台的配送能力,便于抽象到模型层面,实现算法调度和行程规划,提高物流配送效率;
 
    ● 消除信息差异带来的平台扩充成本,适应现实环境中复杂多变的配送场景,便于统一接入调度系统,灵活扩展到更多物流行业,满足更多配送需求。
 
    因此,在物流配送标准化建设中,要注意从提高单次配送效率和节省多次配送成本两方面着重设计标准化的解决方案,做到有的放矢。具体来说,可以从标准化在调度系统和开放平台的应用中观察到更多细节。
 
    4.标准化在调度系统中的应用
 
    标准化在调度系统中主要是解决低效率的传统外卖配送形式和行程规划问题,将原先需要依赖相关人员经验数值和手工处理的流程改造成可大规模自动处理的标准化数据和可灵活配置复用的标准化流程。
 
    (1)订单样本数据标准化
 
    调度模型机器学习算法需要千万级的训练样本,告诉学习算法可以从中抽取出哪些特征值,才能经过数学模型求导出最优参数。从百度外卖平台的历史订单数据中抽取出实例不难,难点在于如何认定这些订单的实际出餐时间、骑士到店时间和用户收餐时间。由于现实网络环境限制和实际操作规范管理难度,并不是采集到的原始数据就可以直接利用,通常需要利用骑士轨迹多次回传记录,并结合地理形态和道路交通属性对缺失数据和异常数据进行预测和校验,才能清洗掉由于商户和骑士操作不规范导致的干扰数据。
 
    (2)商户和菜品数据标准化
 
    对于餐饮外卖平台来说,商户和菜品信息标准化是提供优质服务体验的基础,也是数据标准化的另外一个重要内容。通常有关商户和菜品的信息都是由餐饮运营方提供,平台负责录入和存储。但这样采集到的数据并不规范,每家餐厅对经营类别、菜品名称的定义标准都各不相同,需要平台方提供一整套的商户和菜品的标准化体系。比如,在经营类别方面,首先制定出17个大类、110个小类的分级体系,并为每个商户明确其对应的经营范围标签;其次对数以百万计的原始菜品名称进行去重、合并,得到归一化后的标准化菜名,对应到菜品数据库中唯一的标识符;在此基础上,针对每个菜品建立菜式、菜系、口味、食材、做法等各类标签,并进一步得到商户在这些菜品标签上的分布情况。
 
    构建全面的商户和菜品标签体系可以应用在很多方面,比如,通过商户的品牌、营业面积等信息可以估算该商户的产能,通过菜品在材料、价格、烹饪方法上的差异可以估算制作时间。
 
    (3)虚拟场景构建标准化
 
    虚拟调度系统用来线下模拟物流配送的真实场景及变化过程,以商圈为粒度构建由骑士、用户、配送事件、场景参数等虚拟数据组成的虚拟场景,达到线下演算、优化调度算法系统的效果。标准化的虚拟场景不仅是对静态数据提供可量化、可复用的规范,而且还需要定义一系列的虚拟物流配送动作,才能在线下完成真实场景的变化过程。
 
    不管接入什么样的受测调度算法,设置什么样的初始状态参数,虚拟调度系统都能按照预设的物流运力和调度压力运转完整的多轮配送流程,并统计得出受测调度算法的整体效果指标。比如,在虚拟调度系统里,一次完整的调度配送涉及用户、骑士和调度员3个角色,每次配送行为可以包括下单、取餐、送餐、上岗和下岗等操作,监控和评估环节需要统计的指标包括配送时间、配送距离、空驶距离、准时率、并单率、压单率等。当启动虚拟调度系统以后,同时有多个并发进程在以某个时钟频率实时更新虚拟场景状态,并触发某个时段后各个角色的新行为。
 
    5 标准化在开放平台中的应用
 
    标准化在开放平台中主要是解决复杂多变的外部数据结构和业务需求带来的成本问题,将原先需要一对一制定方案的封闭式合作模式改造成一对多复用方案的开放式合作模式。

责任编辑:李欢
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐