情绪感知机器人，当人工智能读懂了人的情绪说明文阅读

本文转载自《让机器读懂我们的心情！台湾AI情绪辨识技术再突破》科技大观园作者/林玉婷|科技大观园特约编辑/李团队研发的AI情感识别技术，未来可能应用于“AI面试官”解读面试者的情感和性格。(图//fatcat11)“只要多知道一条信息，就有更多的可能性去想象！清大电机系副教授李团队今年发表了“融合语音交互的个人特质深度情感识别技术”，可以在情感识别中嵌入个性化元素，是目前获得最佳准确率的最佳方式。该技术不仅发表在情感计算顶级国际研讨会ACII 2019和全球最大的语音技术会议INTERSPEECH 2019上，还在未来科技展上获得“未来科技突破奖”，入选亮点技术。

AI与情感的结合，在普通人的头脑中，创造出一系列类似科幻小说的未来情节，往往给人一种陌生的、不可预知的印象，但这其实在科学界已经研究了很久。情感识别的应用也受到了各界的极大关注。李表示，目前情感识别可以应用在客服、广告、人力资源、心理健康保健等领域。“我觉得很多应用的价值是要被创造出来的。比如你是医生，你可以获得更多的信息，然后你可以进一步思考你是否可以做更多的事情：你如何照顾它？为了什么治疗？早知道预防什么？每个人想的不一样，价值就不一样。」

打开情绪辨识的黑盒子

回到情绪识别的起点，“情绪计算”这个词是麻省理工学院教授罗莎琳德皮卡德(Rosalind Picard)在1995年提出的。当情绪发生变化时，人类也会有生理反应。当信号测量和处理的技术更加成熟的时候，人们自然会把这些技术联系起来，思考：是否可以通过检测生理信号的变化来识别情绪？

情感识别的处理架构包括数据采集、数据标注、数据输入、机器学习、识别输出等阶段。“以前很多技术都是功能性的，会产生确定的结果，比如电话语音转文字，这是一种自动语音识别技术；课文中说了什么？这就是自然语言处理(NLP)技术。我们反过来想想，情绪和这些东西有关。自动语音识别和NLP分析之后，能不能多分析一点内心状态？技术整合将会出现。李的多模态情感识别，是通过深度神经网络分析，综合语音(如说话的音高、语调)、文字、面部表情等信息，对情感进行解读。

但是，由于情绪是抽象的、主观的，所以做标记会比较复杂。李解释说，目前有两种典型的标记方法。一种是用“类别”，即直接标记情绪类型，如喜、怒、哀、乐。有研究者进一步采用了“象限”法，同时测量“唤醒度”和“效价”，做了更细腻的表述。比如“生闷气”就是兴奋程度低，消极程度高，可以和“生气”区分开来。正确解读情绪有助于在应用中提供更精准的服务；整个情感识别系统可以系统化，保留过去依靠经验积累的专业。“客户怒打客服电话，和单纯问功能性问题完全不一样。现在我们非常依赖与一线人员接触的人。客服根据经验感受你是什么情绪，并据此改变你的决定。有经验的人才是指除了技能之外，你还能看到应聘者的性格，比如合作与否，以及他在压力下会有怎样的反应。很多经验的积累可以被AI系统化，有经验的人离开后，这些经验不会消失。」

把个性「算」出来！

人的情绪是复杂的，会受到性别、年龄、性格、生活背景甚至不同互动情境的影响。然而，过去的情感识别无法具体评估个体差异的影响，导致识别结果不准确。

2019年获得未来科技奖的李副教授，研发了目前准确率最好的情感识别技术。(林摄)李的新方法是从“迁移学习”的角度，在原始数据之外，导入一个由许多其他现有数据库组成的“后台数据库”。所谓“迁移学习”，就是在数据不足以训练模型时，将从已有数据中获得的参数迁移到新数据中的方法。对于个性化情感识别，假设待分析的样本是A，算法会将样本B与后台数据库中相似的字符和语调进行比较，并给出A和B之间相似程度的权重作为“个人特征”的参考点，进而修正情感识别的结果。李进一步解释，“我们把这组值叫做“A的个人特征在后台数据库中的空间位置”，相当于用算法来表示A的个人特征，从而在这个后台数据库中为A找到一个位置。传统上，要标记个性，每个人都需要填写相关量表。对于实际应用，这种方法难以扩展且效率低下。

。「所以我不用量表找，我用行为找，」李祈均说。当我们难以取得个性的标记，却又希望了解个体差异会为情绪辨识造成何种影响，就必须想办法进行转换。这个背景资料库中累积的语音文字等人类行为产生的资料，就是探索个人特质的一道窗口。

而从机器学习的分析结果来看，加入了个人化过程后，的确发现模型会对一些情绪线索的权重进行修正。举例而言，同样是使用正向词彙，但是权重被下降，表示有可能是个人特质造成的影响。如果是个性活泼、习惯使用正向词彙的人，不一定代表他特别开心，模型透过背景资料库推导出个性特徵后，后续进行情绪辨识便会适度下修正向词彙的影响力。如此一来，便能提升情绪辨识的準确度。

「以前想要知道个体差异会如何影响情绪表达，会需要将资料依照性别、年龄、种族等特徵分组，但资料分割地越细，训练一组模型的资料就会越少，结果就变不準，这是一个很大的问题。」李祈均的个人化技术反向思考，以迁移学习绕过个性标记的瓶颈，利用机器学习一窥个体差异的端倪，为情绪辨识在缺乏个性标记的实际应用，开启了新的可能。

懂得跨界整合，资料便无处不在

要进行情绪辨识的技术开发，需要的不只是工程方面的专业知识，其实还需要不断摒除成见，并发挥敏锐的观察力找到创意的突破点。以李祈均团队 2017 年释出的中文情绪互动多模态语料库（NTHU-NTUA Chinese Interactive Multimodal Emotion Corpus，NNIME）为例，最特别的地方便在于和国立台湾艺术大学合作，收集情绪资料。

「戏剧表演可以呈现很强的情绪张力，」李祈均表示，为了在镜头前捕捉最自然的情绪反应，同时扩大资料收集的效率，设计互动情境请专业演员演出，并进行录影，是目前学界常见收集资料的方法。不过中间涉及许多专业的表演知识，导演如何训练演员？要如何设计情境才能获得最接近现实的情绪反应？「每多解一个小问题，就会有人提出更多的问题，也让我多懂一点人，这个过程很有趣！」李祈均说。

情绪辨识研究，还可以如何突破？「有经验之后，有些工具会让标记速度变快，收集资料反而最难。」李祈均惊讶地发现，其实有很多既有资料可以多加利用。例如企业管理研究的学者探讨组织沟通的行为，过程中本来就会录下大量 3 到 4 个人的即时互动过程，「国际上公开资料库释出 3 到 4 人的互动资料，大约是 28 组，不过接触台大企管系后发现，他们手上的资料，近两年累积下来，已经有 90 几组！」

这样的速度与规模让他非常惊豔，原本收集资料是情绪辨识研究最困难的一道关卡，李祈均认为，透过跨领域的整合，把其他学科对于人类行为的研究资料挖掘出来进行工程分析，有机会快步提升台湾情绪辨识技术开发的脚步。

情绪辨识技术的开发若要突破，最终还是要仰赖对于「人」的理解，并将技术落实到日常生活，解决「人」的问题。无论是学界或企业，台湾各个领域都有非常优秀的专家，研究过程潜藏着无数人类互动的资料，只要工程端加以规模化，就能创造出不同价值。李祈均期待未来能有更多跨领域人才愿意投入这个领域，在跨域整合下碰撞出更多新的创意火花。

• 台湾杰出女科学家系列专访，持续更新中！