基于强化学习与多平台视觉识别的网约车接单优化方法与流程

摘要: 本发明涉及约车接单优化方法,更具体地说,涉及一种基于强化学习与多平台视觉识别的网约车接单优化方法及装置。背景技术:1、在移动互联网技术迅猛发展的时代浪潮下,网约...
基于强化学习与多平台视觉识别的网约车接单优化方法与流程

本发明涉及约车接单优化方法,更具体地说,涉及一种基于强化学习与多平台视觉识别的网约车接单优化方法及装置。

背景技术:

1、在移动互联网技术迅猛发展的时代浪潮下,网约车行业异军突起,迅速成为城市交通出行体系中的关键构成部分。然而,随着市场饱和度不断攀升,网约车司机面临着愈发激烈的竞争态势,承受着前所未有的竞争压力。在行业发展初期,司机普遍采用单一平台接单模式。这种模式下,司机仅依赖一个平台获取订单,其收入水平与接单量直接受制于该平台的用户规模、订单分布及派单算法。当平台在特定时段或区域订单量不足时,司机往往陷入长时间等待,导致空驶率上升、运营效率低下。此外,单一平台的奖励政策与补贴机制相对固定,司机难以通过灵活调整策略实现收入最大化。随着市场竞争加剧,单一平台的订单资源已无法满足司机的收入需求,这种接单模式的局限性日益凸显。

2、为突破单一平台的资源瓶颈,众多司机开始转向"多平台接单"策略,即在多个网约车平台同时注册并接单。不同网约车平台由于用户定位、市场布局及运营策略的差异,形成了独特的用户群体和订单分布特征。通过在多个平台同时接单,司机能够有效拓展订单获取范围,增加接单机会。该策略不仅能够平衡不同平台间的订单数量波动,还能使司机充分利用各平台的特性与优势,部分平台在特定时段或区域呈现出较高的订单密度,而其他平台则在补贴政策、用户偏好等方面具备独特吸引力,从而实现订单数量与收入的最大化。

3、尽管多平台策略在提升接单量上成效显著,但其负面效应正在逐渐显现。从安全维度看,司机在行驶过程中平均每12分钟需进行一次手机操作,导致注意力分散时间占比超30%,这种行为使事故风险指数较正常驾驶状态提升数倍。决策复杂性方面,司机需在极短时间内处理多源信息:某平台当前时段2.5倍奖励但订单距离较远,另一平台虽无奖励但订单仅一公里距离,这种决策困境容易使司机错失优质订单。服务质量管控也面临挑战,不同平台服务标准存在差异,如滴滴对取消订单容忍度为每日三次,曹操出行则仅允许一次,司机在多平台操作中极易因误操作导致服务分下降。数据显示,多平台运营司机的极易容易形成"操作失误-服务分降低-订单减少"的恶性循环。

4、面对上述行业痛点,传统解决方案已难以满足需求。尽管平台方不断优化算法,如滴滴的"优享+拼车"混合派单、t3的智能调度系统,但仍无法解决多平台信息割裂问题。司机群体对智能化解决方案的需求愈发迫切。

技术实现思路

1、本发明要解决的技术问题在于,提供一种基于强化学习与多平台视觉识别的网约车接单优化方法及装置,其为网约车司机提供更为便捷、高效的接单体验,同时也有助于推动整个网约车行业服务水平和运营效率的提升。

2、本发明解决其技术问题所采用的技术方案是:构造一种基于强化学习与多平台视觉识别的网约车接单优化方法,包括以下步骤:

3、s1、通过摄像头与麦克风,实时采集多个网约车平台的司机端界面信息和语音播报内容,提取订单详情、平台奖励政策关键信息;

4、s2、构建世界状态建模模块,整合实时路况、平台热力图、司机位置、多平台订单分布和奖励政策动态数据,构建多维状态向量,为决策提供全面环境表征;

5、s3、采用强化学习优化模块,将订单距离、空驶成本、平台奖励要素纳入奖励函数,进行综合计算,通过算法迭代优化长期收益,根据实际收益与预期收益的差异,动态调整,持续优化决策模型,输出最优空驶导航路径;

6、s4、将最优空驶导航路径的决策结果实时反馈给司机。

7、按上述方案,所述步骤s1中,通过摄像头实时采集多个网约车平台的司机端界面信息,包括屏幕弹窗、订单热力图、地图路况视觉数据;通过麦克风阵列定向采集多平台的语音播报信号。

8、按上述方案,所述步骤s1中,提取订单详情、平台奖励政策关键信息的方法包括以下步骤:

9、s101、输入适配层对车载屏幕截图进行动态roi提取,生成标准输入张量;全局特征路径借助clip的resnet50骨干网络,捕获屏幕整体布局宏观信息,局部特征路径从resnet50的stage3层输出,保留金额数字笔画关键细节特征,兼顾上下文感知与细粒度特征完整性;文本提示生成模块注入平台接单的文本知识,预设文本提示模板库,通过非线性变换将图像全局特征转化为条件提示向量,如下式表示:其中,为条件提示向量,为线性变换函数,为归一化层,为激活层;

10、文本编码模块采用coop方法,在标准提示词前插入可训练参数,拼接网约车接单专业术语token,生成增强型提示向量,融合通用语义与视觉上下文,如下式表示:

11、其中,为将特定的文本提示进行编码得到的结果,为在标准提示词前插入可训练参数的新文本提示,为经过新文本提示和进行文本编码所获得的文本嵌入特征;

12、跨模态特征融合模块运用交叉注意力机制,利用文本关键词对视觉识别模糊内容进行交叉验证,如下式表示:其中,代表图像局部块特征和文本嵌入特征经过交叉注意力模块融合后得到的特征,实例匹配与解码模块采用二进制特征图生成策略,通过视觉-文本特征矩阵乘法产生关键元素特征图,如下式表示:其中,为用于语义分割的特征图,多尺度解码器经三个上采样阶段,处理不同分辨率特征图,最终经1×1卷积融合输出包含语义分割图和ocr字符定位框的复合结果,层级式解码结构适配车载屏幕多尺度显示内容,如下式表示:其中,x为原始图像,和分别为语音分割图和ocr字符定位框的结果,经过ocr特征提取器生成ocr检测结果;

13、s102、构建用于处理多平台接单策略的视觉模型引入的设计损失函数,具体包括:

14、s102a、通过双向kl散度约束,确保视觉局部特征和文本特征在嵌入空间中的分布一致性:其中,为增强后的局部视觉特征图,为增强后的文本特征图,为线性投影层,实现跨模态空间映射;表示kl散度,用于衡量两个概率分布

p与

q之间的差异,即;

15、s102b、分割损失为优化ui元素的分割精度,结合交叉熵的像素级分类能力和dice系数对类不平衡的鲁棒性:其中,为像素的真实标签,为模型对像素的预测概率,,为单张图像的像素总数;

16、s102c、ocr检测损失为精确识别文本区域位置,通过类别平衡权重解决文本和背景像素不平衡问题:

17、其中,表示为图像所有像素的集合;为真实文本区域像素集合;为平衡权重系数;为像素被预测为文本的概率;

18、s102d、ocr字符识别损失为提升字符识别准确率,联合优化时序分类和注意力定位;

19、其中,为第个时间步的真实字符,为时序视觉特征,为预测的注意力权重矩阵,为先验注意力分布,分别为行列的索引,为l2范数;总损失如下:其中,为模型的总损失,权重系数为;

20、s103、采用openai whisper模型实现网约车智能交互系统的语音信息转文本功能。

21、按上述方案,所述步骤s2中,构建世界状态建模模块的方法包括以下步骤:

22、s201、在构建世界状态模型前,对原始数据进行规范化处理;

23、对于数值型数据,采用归一化方法将其映射到[0,1]区间,公式为:其中,代表原始数据,和分别为该数据的最小值与最大值;

24、对于分类数据,采用离散编码方式,将畅通、轻度拥堵、中度拥堵、重度拥堵分别映射为0,1,2,3;

25、奖励政策中的加成倍直接保留数值,任务奖励信息则构建为二维向量,分别表示已完成任务数量和对应奖励金额;

26、s202、定义司机当前位置的经纬度坐标分别和表示;将预处理后的数据整合为统一的状态向量

s,其数学表达式如下:

27、其中,与分别为订单起点与终点的经纬度坐标;

28、s203、状态向量实时更新以反映最新状态;假设当前状态向量为,当订单信息更新时,新订单起点坐标、终点坐标、距离及收入发生变化,对应元素按预处理规则更新;若路况信息改变,拥堵等级和通行时间需重新计算并替换原向量元素;当油耗成本发生变化时,对其进行归一化处理后更新状态向量中对应元素;更新后的状态向量表示为: 其中,为状态变化向量,“∘”表示元素级的更新操作。 按上述方案,所述步骤s3中,输出最优空驶导航路径的方法为:将构建的多维状态向量输入双q网络架构,所述双q网络架构包括在线网络和目标网络;

29、所述在线网络基于leaky relu激活函数的三层全连接结构评估各动作值,输出最优接单决策;环境交互后,根据动态奖励函数计算即时奖励,并转移至新状态;经验元组至优先级回放缓冲区,按td误差进行加权采样用于网络训练;

30、所述目标网络定期同步在线网络参数以稳定td目标,通过最小化均方贝尔曼误差持续优化策略;最终输出基于笛卡尔坐标系的导航指令,指导车辆行驶。

31、按上述方案,所述步骤s3中,输出最优空驶导航路径的方法具体包括以下步骤:

32、s301、采用改进的双网络架构,通过状态输入环节收集多维度信息,构建状态向量,随后在线网络接收状态向量,利用包含三个全连接层,配备leaky relu激活函数的网络结构,对每个动作进行价值评估,网络中使用的激活函数表达式为:其中,表示输入全连接层计算后的神经元输出值x的激活函数;为超参数,leaky relu通过引入非零斜率,在负半轴保留梯度,通过非线性变换与特征提取,在线网络为各动作赋予对应的值,并选取值最大的动作作为决策输出,驱动网约车司机执行相应操作,即:

33、其中,代表当前网约车运营的状态向量,表示系统可能采取的动作,是在线网络在参数下,对状态执行动作的价值预估;是在线网络的参数集合,表示在当前状态下,在线网络评估后认为能获得最大价值的最优动作;当执行动作并获取奖励反馈时,依据在线网络输出的动作与环境交互,环境根据动态奖励函数计算即时奖励:

34、其中,为在时刻系统从环境中获得的即时奖励;表示为订单距离,表示为订单的单价;表示为加成倍率,表示为任务奖励,表示为空驶里程,表示为单位油耗成本,表示为等待时间,表示为单位时间成本;权重系数,通过历史数据线训练,实时运行时在线更新;

35、目标网络的参数定期从在线网络参数同步,通过计算稳定的时序差分目标:其中,为在时刻系统执行动作后从环境中获得的即时奖励,是折扣因子,取值范围在之间,表示对所有可能的动作取最大值操作,用于寻找在下一状态下能获得的最大价值;是目标网络在参数下,对下一状态执行动作的价值预估,是系统执行当前动作后环境转移到的下一个状态,是目标网络的参数,通过定期同步在线网络参数来更新,保证td目标的稳定性;

36、s302、每次交互产生的经验均存储于经验回放缓冲区中训练阶段,采用优先级采样策略从缓冲区中选取经验进行学习,td误差 用于衡量当前值估计与目标值之间的差异,计算公式为:

37、式中各字符含义与前文一致,td误差通过比较在线网络对当前动作价值的预估和目标网络计算的目标价值,基于td误差,定义经验的采样概率为:

38、其中,表示经验组被采样的概率,是经验元组对应的td误差的绝对值,为控制优先级程度的超参数,,n为经验回放缓冲区

d的大小,对所有经验的td误差绝对值的次方进行求和,用于归一化计算,确保所有经验的采样概率之和为1;

39、s303、以最小化损失函数为目标,通过不断迭代调整,提升在线网络生成最优策略的能力,实现网约车接单运营效率的持续优化;

40、其中,表示在线网络参数对应的损失函数值,该函数用于衡量在线网络预测值与目标值之间的差异程度,目标通过调整使该函数值最小化;e是数学期望运算符,表示对从经验回放缓冲区

d中采样得到的经验元组求平均;

41、输出复合指令,笛卡尔坐标系下,空间动作以二维坐标点(

x,

y)的形式输出x和y分别表示目标位置相对于车辆当前位置在横、纵坐标轴上的位移,数值通过地图投影算法将经纬度坐标转换为平面直角坐标后计算得出,设车辆当前位置的平面坐标为,目标位置的平面坐标为,则位移计算公式为:

42、系统输出的动作指令即为,该坐标差值直接反映车辆从当前位置驶向目标位置在水平和垂直方向上的移动量。

43、按上述方案,所述步骤s4中,进行文本转语音的具体方法包括以下步骤:

44、s401、接收来自决策引擎的结构化指令数据,结构化指令数据以标准化json格式传输,且预定义参数化设计的语音模板库;

45、s402、对指令数据进行解析,识别指令数据所属的场景类型,根据场景选择对应的语音模板;

46、s403、将指令数据中的具体参数值准确填充到语音模板的占位符中,生成完整的文本提示语句;

47、s404、利用google tts引擎接收生成的结构化文本,将输入文本转化为支持mp3格式的语音音频;

48、s405、在网约车语音提示模块中,生成的语音音频通过设备扬声器输出,为司机提供语音指引。

49、本发明还提供一种基于强化学习与多平台视觉识别的网约车接单优化装置,包括支撑框架,所述支撑框架上部设置有俯仰调节装置,所述俯仰调节装置上设置有摄像头与麦克风,所述俯仰调节装置上设置有能够与摄像头、麦克风连接的usb调试接口,所述俯仰调节装置内部设置有主控芯片。

50、按上述方案,所述主控芯片为瑞芯微rk3588s。

51、按上述方案,包括多平台视觉识别模块、构建世界状态建模模块、强化学习优化模块和提示模块;

52、所述多平台视觉识别模块用于通过摄像头与麦克风,实时采集多个网约车平台的司机端界面信息,提取订单详情、平台奖励政策的关键信息;

53、所述构建世界状态建模模块用于构建世界状态,整合实时路况、平台热力图、司机位置、多平台订单分布和奖励政策的动态数据,构建多维状态向量,为决策提供环境表征;

54、所述强化学习优化模块用于采用强化学习优化,将订单距离、空驶成本、平台奖励要素纳入奖励函数进行综合计算,通过算法迭代优化长期收益,系统根据实际收益与预期收益的差异,动态调整权重系数,持续优化决策模型,输出最优空驶导航路径;

55、所述提示模块用于把文本转语音,将决策结果以语音形式实时反馈给司机,实现从数据采集到决策的输出。

56、实施本发明的基于强化学习与多平台视觉识别的网约车接单优化方法,具有以下有益效果:

57、1、本发明针对网约车多模态数据处理的特殊需求,采用基于跨模态交互机制的改进clip框架,以增强视觉语义理解与文本结构化解析能力,利用clip预训练模型的跨模态先验知识,结合动态提示模块,实现对车载屏幕内容的高精度语义分割与关键信息抽取,引入条件提示融合机制,将图像全局特征动态转化为文本提示的补充条件,增强模型对细粒度语义的敏感性,如金额数字、字体样式等,设计双路特征对齐策略,通过交叉注意力实现视觉局部特征如订单弹窗区域等,与文本先验知识如“奖励”等相关术语库的精准匹配,提升跨模态特征适配能力,针对采集到的不同显示内容的多样性,采用多尺度解码优化方案,实施层级式特征解码,并结合ocr后处理模块完成字符识别,确保不同尺寸内容的稳定解析,通过跨模态交互优化,显著提升了对网约车动态界面信息的鲁棒识别能力,为后续决策模块提供高精度结构化数据输入。

58、2、本发明采用openai的whisper模型进行语音转文本处理,whisper模型是先进的端到端语音识别模型,支持多种语言和口音的识别,通过智能设备的麦克风采集到的语音信息,被输入到whisper模型中,whisper模型能够对语音进行实时处理,将语音内容准确地转换为文本形式;本发明构建包含空间、多模态特征的状态向量,空间维度融合司机实时gps坐标、周边1km热力图订单密度,多模态特征通过视觉提取金额数字、语音解析任务条件等,实现对环境的全面感知。

59、3、本发明应用改进的双网络架构,在线网络采用leaky relu激活函数,缓解负半轴梯度消失问题,增强模型对复杂状态空间的表达能力;目标网络通过周期性参数同步机制,显著降低目标值波动,提升训练稳定性,在收敛速度与策略鲁棒性上均表现出显著优势,引入基于td误差的优先级采样策略,通过动态调整经验池样本的采样概率,使模型优先学习高价值状态下的动作。

60、4、本发明采用轻量化语音提示模块,实现决策指令的高效语音转换,基于模板匹配机制,模块预定义多场景语音模板,如"前方{距离}米有{奖励类型}订单",通过参数填充生成完整提示语句,选用google tts引擎进行语音合成,具有低计算资源占用的特性,可在普通车载设备上实现端到端延迟低于500ms的实时响应,在保证语音自然度的同时,显著降低硬件需求,确保在资源受限环境下的稳定运行,能够不断适应复杂多变的运营环境,持续提升决策的准确性与有效性,进而形成从数据采集、策略生成、决策执行到效果反馈优化的完整闭环。

61、5、本发明借助智能设备对多个网约车平台的司机端界面进行实时监测,运用计算机视觉和语音识别技术提取关键信息,并结合强化学习算法生成最优接单策略,有望为网约车司机提供更为便捷、高效的接单体验,同时也有助于推动整个网约车行业服务水平和运营效率的提升,致力于从根源上解决网约车司机多平台接单的痛点,通过智能设备实时监测多个网约车平台界面,利用计算机视觉和语音识别技术,精准提取关键信,通过构建深度强化学习模型,结合多平台实时订单数据、路况信息、奖励政策等多维数据,学习并生成个性化的最优接单策略,有效降低司机的空驶等待里程,提高高价值、长距离订单的接单概率。