教程 框架 组件 接口 其他

语音交互

关于语音适配

由于车机的特殊性,语音是车机上一个非常强的需求。快应用在车机上新增了语音能力,支持可见即可说和NLP两种使用模式,可以让用户通过语音使用快应用的各种功能。

可见即可说

是指在快应用内,在支持语音控制的页面元素上增加语音标签。语音标签可以是多个词条或者一个序号。只要用户的语音指令匹配到语音标签,就可以完成页面元素的操作(如点击)。

NLP(自然语言处理)

是指用户可以使用语音自由的表达意图,由语音引擎理解意图(如听歌、导航)和关键信息(如歌名、地址),转给给快应用处理并输出反馈。NLP与可见即可说的区别是,用户的表达方式更灵活,并且不需要与页面元素对应。

为了引导用户通过语音使用快应用,快应用需要在适当的时候提供一些使用建议,比如在应用启动时通过tts语音播报“可以通过语音查天气,试试说今天的天气怎么样”,提示用户语音操作的用法。

一、产品标准

可见即可说

1. 应用场景

  • 通常应用在交互行为比较简单的场景,如导航、音乐、电台。对于购物、购票等复杂交互场景,实现良好体验的难度更大;
  • 为了实现完整一致的语音使用体验,应用内的所有可响应页面元素都应该支持可见即可说;
  • 为了提供良好的语音体验,所有语音响应都应该提供语音回复。语音回复需要信息明确,文字简短。

2. 列表设计原则

  • 列表项需要支持序号控制,如歌曲列表页面,需要支持“第*首”选择歌曲;
  • 列表项中的文字内容可以配置成词条,如歌曲列表页面,需要支持“歌曲名称”选择歌曲;
  • 如果在语音标签中配置了序号(vindex),需要在界面上为特定元素增加序号标识,便于用户用语音控制。

下图是一个歌曲列表示例,配置了序号和文字内容的语音支持,可以通过“第x首”和歌名“稻香”来播放歌曲。每项都有序号标识,方便用户说出“第x首”。

List

3. 词条设置规则

  • 为了减少语音误识别,词条的字数最好在3个字以上,6个字以下。词条可以是名词或者动词+名次的结构,如“菜单”按钮可以配成“菜单”、“打开菜单”、“看看菜单”多个词条;
  • 词条需要口语化,贴近用户的常用说法。最好配置多个,能尽可能照顾多种说法。

NLP自然语言交互

1. 应用场景

NLP不局限于页面内容,可以识别用户意图和关键信息,功能更强大,因而理论上可以使用在几乎所有场景。但是NLP的支持难度也更大,需要按照每个场景做针对性的开发,所以实际上只能在部分支持的场景下使用。目前快应用支持音乐和交互两个场景。

2. 设计原则

NLP需要基于场景和应用进行针对性设计。可基于产品方案,联系我们进行细化设计讨论。

二、举例参考

可见即可说示例

应用类型所属页面页面元素词条示例功能说明语音回复(tts)
音乐播放器播放列表播放列表、歌曲列表、打开列表、显示列表展开播放列表随机回复:好的/嗯/嗯嗯/好呢/收到了/嗯,好/嗯,好的“
下一曲下一曲、换一首切换下一首同上
上一曲上一曲、上一首切换上一首同上
随机播放随机播放、随机模式切换随机循环模式同上
循环播放循环播放、列表循环切换全部列表循环模式同上
单曲循环单曲循环切换单曲循环模式同上
加入收藏加入收藏、添加收藏添加到收藏列表同上
取消收藏取消收藏取消收藏同上
蓝牙音乐蓝牙音乐、蓝牙歌曲切换到蓝牙歌曲同上
U盘音乐USB音乐、U盘歌曲开始播放U盘音乐同上
本地音乐本地音乐、本地歌曲打开本地音乐同上
我的收藏我的收藏、打开收藏开始播放我的收藏的音乐同上
下载音乐下载歌曲、下载这首歌下载当前歌曲同上
播放列表下一页下一页、后一页歌单显示下一页同上
上一页上一页,前一页歌单显示上一页同上
第*首首、第播放第*首,收起播放列表同上
歌名歌名播放指定歌曲,收起播放列表同上
关闭关闭、关闭播放列表收起播放列表同上

NLP应用示意

NLP

通过语音识别用户的意图和关键信息,提供相对应的服务。NLP不局限于当前页面上的内容,可以直达应用内的任何页面,提供服务。

例如用户在应用内任意页面说“东风你好,我还是听新闻吧”,则直接跳转对应新闻分类落地页,此时用户可以继续说“东风你好,不看新闻了,我要听曾国藩家书”,则跳转至对应专辑页并开始播放。

条匹配 "" 的结果

    没有搜索到与 "" 相关的内容