一种显示设备和语音绘画方法与流程

本技术涉及显示设备，尤其涉及一种显示设备和语音绘画方法。

背景技术：

1、随着人工智能技术的快速迭代，ai 绘画生成已广泛渗透到创意设计、数字内容制作、娱乐传媒等多个领域，成为大幅提升创作效率、显著降低内容生产门槛的关键技术工具。然而，当前主流 ai 绘画生成系统的交互方式仍存在明显短板，难以满足普通用户对便捷、自然且富有情感表达的创作需求，严重制约了该技术在大众消费级场景的进一步普及与应用。

2、目前，业界主流的 ai 绘画生成方案，均采用文本提示词作为核心输入媒介。用户通过输入描述性文字来指定生成内容的主题与核心元素，部分方案还提供了复杂的参数调节功能，允许具备一定专业知识的用户对生成图像的构图、色彩、光影等视觉属性进行精细化控制。

3、但这些主流方案均存在设计层面的路径依赖，未将语音作为独立的创作输入媒介进行针对性设计，导致在用户使用的过程中，需要用户输入大量专业性较高的提示词，进而增加了用户的操作难度。

技术实现思路

1、本技术提供一种显示设备和语音绘画方法，以解决ai绘画未将语音作为独立的创作输入媒介进行针对性设计，导致在用户使用的过程中，需要用户输入大量专业性较高的提示词，进而增加了用户的操作难度的问题。

2、第一方面，本技术实施例提供一种显示设备，包括：

3、显示器，被配置为显示画布；

4、控制器，包括特征提取模块、提示词模块、风格参数模块以及绘制模块；

5、所述特征提取模块被配置为响应于绘图指令，根据所述绘图指令的语音输入特征提取用户情感特征向量；

6、所述提示词模块被配置为响应于所述绘图指令，从所述绘图指令中提取绘图元素，根据所述绘图指令的指令语义和所述绘图元素确定绘图提示词；

7、所述风格参数模块被配置为基于所述用户情感特征向量和所述指令语义确定风格参数拼接向量，将所述风格参数拼接向量输入风格参数模型，以通过所述风格参数模型基于所述风格参数拼接向量输出风格参数；

8、所述绘制模块被配置为根据所述风格参数和所述绘图提示词在所述画布的绘制区域绘制目标图像。

9、这样，控制器在接收到用户的绘图指令后，通过特征提取模块自动从语音输入中提取用户的情感特征向量，无需用户手动输入或选择情感标签；通过提示词模块智能解析语音中的绘图元素并生成结构化的绘图提示词；通过风格参数模块将情感特征向量与指令语义结合后映射为具体的风格参数；最终由绘制模块融合风格参数与绘图提示词在画布上生成目标图像。整个流程实现了从自然语音输入到艺术图像输出的端到端自动化处理，用户仅需通过日常语言表达创作意图即可获得符合其情感状态的目标图像，有效降低用户的操作难度。

10、在一些可行的实施例中，所述特征提取模块执行响应于绘图指令，根据所述绘图指令的语音输入特征提取用户情感特征向量，具体被配置为从所述绘图指令对应的语音信号中提取所述语音输入特征，将所述语音输入特征输入情感特征分类网络，以通过所述情感特征分类网络基于所述语音输入特征输出用户情感特征向量；其中，所述用户情感特征向量用于确定所述目标图像的图像风格。

11、这样，特征提取模块首先从语音信号中提取声学层面的语音输入特征，该语音输入特征能够反映用户发音时的音高、语调、语速、能量等副语言信息；随后将上述语音输入特征输入至预先训练的情感特征分类网络，由该网络对语音输入特征进行高维抽象与模式识别，输出包含多维度的用户情感特征向量。由于情感特征向量来源于对原始语音信号的直接分析而非文本转换后的间接推断，因此能够更准确地捕捉用户在表达过程中蕴含的情感倾向，进而使后续的风格参数映射具备更可靠的情感依据，提升目标图像的情感表达精度。

12、在一些可行的实施例中，所述提示词模块执行根据所述绘图指令的指令语义和所述绘图元素确定绘图提示词，具体被配置为根据所述指令语义确定所述绘图元素的元素结构，基于所述元素结构扩写与所述绘图元素对应的绘图特征，根据所述绘图元素和所述绘图特征确定所述绘图提示词。

13、这样，提示词模块首先根据指令语义分析绘图元素的组成关系与逻辑结构，明确各绘图元素在画面中的角色定位与空间层次；随后基于确定的元素结构，对每个绘图要素进行特征扩写，补充视觉属性、氛围描述、风格指向等细节信息；最后将扩写后的绘图元素与绘图特征组合形成完整的绘图提示词。这种渐进式的提示词构建方式，既保证了提示词内容与用户意图的高度一致性，又通过自动化的特征扩写弥补了用户口头描述可能存在的信息不足，使最终生成的绘图提示词具备足够的丰富度与精确度以驱动图像生成模型输出高质量的目标图像。

14、在一些可行的实施例中，所述用户情感特征向量包括激活度、优势度、愉悦度；所述激活度用于确定所述目标图像的对比度、笔触强度、动态模糊程度；所述优势度用于确定所述目标图像的构图复杂度、元素密度；所述愉悦度用于确定所述目标图像的色彩饱和度、暖色调比例；所述风格参数为包括所述愉悦度、所述激活度、所述优势度以及所述指令语义的多维向量；所述指令语义用于确定所述目标图像对应的上下文风格；所述风格参数模块执行将所述风格参数拼接向量输入风格参数模型，以通过所述风格参数模型基于所述风格参数拼接向量输出风格参数，具体被配置为根据预设维度区间输出所述愉悦度、所述激活度、所述优势度以及所述指令语义。

15、这样，用户情感特征向量采用三维连续空间表征用户的情感状态，各维度分别对应不同的视觉风格属性族：愉悦度主导色彩相关属性的调控，正向愉悦度值对应更高的饱和度与更丰富的暖色调成分，负向值则偏向低饱和冷色调；激活度主导纹理与动态属性的调控，高激活度值产生更强的对比度、更粗犷的笔触强度及更明显的动态模糊效果，适合表现动感强烈的画面；优势度主导构图与空间布局属性的调控，高优势度值对应更复杂的构图结构与更高的元素密度，适合表现信息量丰富的场景。风格参数模型接收上述三维情感特征与指令语义拼接而成的多维向量后，按照预设维度区间的划分规则，输出涵盖色彩、纹理、构图及上下文风格的完整风格参数集合。这种多维度映射机制建立了从内在情感状态到外在视觉表现的系统化对应关系，使得目标图像的风格特征能够全面且可解释地反映用户的综合情感状态。

16、在一些可行的实施例中，所述风格参数模块执行基于所述用户情感特征向量和所述指令语义确定风格参数拼接向量，具体被配置为获取预设数量个周期对应的多个用户情感特征向量，计算所述多个用户情感特征向量的平均情感特征向量，拼接所述平均情感特征向量和所述指令语义，以确定所述风格参数拼接向量。

17、这样，风格参数模块在确定风格参数拼接向量时，并非仅采用当前单一时刻的情感特征向量，而是采集预设数量个周期内的多个历史情感特征向量并计算平均值得到平均情感特征向量。由于用户在语音表达过程中的情感状态可能存在瞬时波动，单一时刻的情感特征向量容易受偶发因素影响而产生偏差；通过多周期平均处理，可以有效平滑瞬时噪声，提取出用户在该段时间内的稳定情感趋势，使所得的平均情感特征向量更能代表用户的真实情感意图。将平均情感特征向量与指令语义拼接后得到的风格参数拼接向量兼具情感稳定性与语义准确性，据此输出的风格参数更加稳健一致，避免因情感瞬时波动导致生成图像的风格出现跳变或不协调的情况，提升创作的连贯性与用户体验。

18、在一些可行的实施例中，所述绘制模块执行根据所述风格参数和所述绘图提示词在所述画布对应的绘制区域绘制目标图像，具体被配置为基于所述风格参数和所述绘图提示词在所述目标图像对应的前序图像上进行增量绘制与去噪，以确定所述目标图像。

19、这样，绘制模块在生成目标图像时，并非每次都从随机噪声开始进行完整的去噪生成过程，而是基于前序图像作为起始状态，在其基础上结合更新后的风格参数与绘图提示词执行增量式的绘制与去噪操作。增量绘制方式利用了序列图像之间的时序相关性，相邻帧之间通常仅有部分区域需要调整，绘制模块仅需对发生变化的区域进行局部更新即可完成图像演进，大幅减少了重复计算的开销。同时，去噪过程在保留前序图像已有合理内容的前提下，逐步消除因参数更新引入的不协调像素，确保图像过渡的自然性与视觉连贯性。这种增量绘制与去噪相结合的方式，既满足了实时交互场景下对生成速度的要求，又保证了每一步更新后图像的整体质量，使用户能够在语音输入过程中观察到画面随情感与语义变化而平滑演进的动态效果，显著增强创作的沉浸感与趣味性。

20、在一些可行的实施例中，所述控制器还包括交互模块；所述交互模块被配置为响应于所述绘图指令，根据预设周期将所述绘图指令对应的语音信号分割成多个子语音信号，根据所述多个子语音信号的时间顺序将所述多个子语音信号缓存至第一存储队列；其中，所述第一存储队列中的每个存储单元用于存储1个子语音信号。

21、这样，控制器增设交互模块用于管理语音输入流的时序分割与缓存。交互模块在接收到持续的绘图指令语音流后，按照预设的时间周期将其分割为多个子语音信号，各子语音信号按时间先后顺序依次存入第一存储队列的对应存储单元中。通过周期性分割，持续流动的语音流被转化为离散的、便于逐个处理的语音数据块，后续的特征提取模块、提示词模块等可以按照队列中的排列顺序逐个读取和处理子语音信号，实现了语音输入的流水线式处理。第一存储队列的设计保障了子语音信号的时间顺序完整性，防止因并行处理导致的顺序混乱问题，同时也提供了缓冲机制以应对处理速度与输入速率不匹配的情况，避免语音数据丢失，确保整个绘画流程的输入端具备良好的时序可控性与数据完整性。

22、在一些可行的实施例中，所述交互模块还被配置为响应于基于风格参数调整控件输入的调整指令，根据所述调整指令指示的目标风格参数微调所述目标图像；所述交互模块还被配置为响应于保存指令，将所述目标图像存储至第二存储队列。

23、这样，交互模块除了承担语音流分割缓存的功能外，还响应用户通过风格参数调整控件发起的调整指令，根据调整指令所指示的目标风格参数对当前的目标图像进行微调操作。用户在观察生成结果后，若对某些风格属性不满意，可以通过调整控件针对性地修改特定维度的参数值，交互模块接收到调整指令后将修改后的目标风格参数传递至绘制模块，绘制模块基于调整后的参数对目标图像执行局部重绘，实现用户驱动的精细化风格修正。此外，交互模块还响应保存指令，将用户确认满意的目标图像存储至第二存储队列，便于后续的浏览、导出或进一步编辑。这两种扩展交互能力分别为用户提供了创作过程中的实时修正手段与创作结束后的成果管理途径，完善了从输入到输出再到优化的完整创作闭环，提升了系统的实用性与灵活性。

24、在一些可行的实施例中，所述画布还包括参数显示区域，所述参数显示区域包括情感特征显示控件和风格参数显示控件；所述交互模块还被配置为根据所述用户情感特征向量和所述目标风格参数生成情感特征显示信息和风格参数显示信息，基于所述情感特征显示信息和所述风格参数显示信息驱动所述显示器在所述画布的参数显示区域，显示所述用户情感特征向量的情感特征示意图与所述目标风格参数的风格参数比例。

25、这样，画布上增设参数显示区域用于向用户直观展示当前系统的内部状态。参数显示区域包含情感特征显示控件与风格参数显示控件两类可视化组件。交互模块根据特征提取模块最新输出的用户情感特征向量生成情感特征显示信息，同时根据风格参数模块输出的目标风格参数生成风格参数显示信息，例如以滑块或进度条的形式展示各风格属性的实际参数比例。显示器在画布的参数显示区域内实时渲染上述情感特征示意图与风格参数比例，使用户在语音输入与图像生成的全过程中均能够清晰地感知到系统对其情感状态的识别结果以及这些情感如何转化为具体的图像风格参数。

26、第二方面，本技术实施例提供一种语音绘画方法，包括：响应于绘图指令，根据所述绘图指令的语音输入特征提取用户情感特征向量；响应于所述绘图指令，从所述绘图指令中提取绘图元素；根据所述绘图指令的指令语义和所述绘图元素确定绘图提示词；基于所述用户情感特征向量和所述指令语义确定风格参数拼接向量；将所述风格参数拼接向量输入风格参数模型，以通过所述风格参数模型基于所述风格参数拼接向量输出风格参数；根据所述风格参数和所述绘图提示词在画布对应的绘制区域绘制目标图像。