摘要
赋予社交机器人学习和预测用户白天活动的能力，这是环境辅助生活领域的主要研究目标之一。社交机器人应该支持老年人的日常活动，同时，它们应该通过考虑日常情况中的情感因素来促进情绪健康发展。这项研究的主要目的是调查在社交机器人Pepper的帮助下，是否有可能了解用户的情感状态和日常活动之间的关系。因此，为了达到这个目的，我们使用WoMan（Workflor Management）系统能够逐步学习日常事务和活动发生的环境。WoMan将作为运行在Pepper机器人上的Daily Diary应用程序的后端模块，收集日常活动及其与情绪和情绪的关系数据。这一阶段的研究结果将用于评估该方法在环境辅助老年人居住房屋中的有效性，使社会机器人不仅能够提供主动的服务帮助，而且能够提供情感共情体验。
1.引言
根据世界卫生组织(WHO)的数据，到2050年，60岁以上人口的比例将达到22%。在这方面，护理和援助的可持续性增长正变得越来越重要。除了缺乏照料者之外，由于人们的寿命更长，照料费用也会增加，因为老年人往往患有慢性病和合并症，需要特定的看护照料。
解决这个问题的一个可能方法是为老年人提供技术解决方案，以提高他们的生活质量并允许他们在家中积极老龄化。在这个愿景中，老年人的帮助被委托给技术中嵌入的人工智能，这不应该代表用户的进一步障碍。因此，有必要重视人机交互使服务的访问有效，适合用户的需求。
在这种情况下，语音助手和社交机器人已经被用作用户和智能家居服务之间的自然接口。然后，社交机器人应该支持老年人的日常活动，但与此同时，它们可能会通过考虑日常情况中的情感因素来促进情绪健康。
许多研究工作都集中在赋予机器人从面部表情、身体姿势、声音和生理反应中识别人类情绪的能力，但很少有机器人的情商能够对情绪发生的情况进行推理。考虑到社交机器人和存在于智能环境中的传感器在长时间内可以捕捉到的数据，就有可能发现人的行为背景，包括习惯和日常活动。然后，让机器人知道用户的活动、日常活动和情感因素，不仅可以对用户进行推理，提供个性化的帮助，还可以推断出发生情感的情况。
在之前的工作中，我们专注于开发一个系统，从智能环境中的传感器和移动数据中学习用户的日常生活。特别是，该方法利用WoMan(“工作流管理”的首字母缩写)系统增量地学习和细化一阶逻辑(FOL)中表示的用户例程。WoMan系统能够处理不连续的活动和重复的任务，因此该方法适合于表示预测用户需求的用户日常活动模型。
在目前的研究阶段，我们调查是否有可能使用这种方法将日常生活模式与情感因素联系起来，以及如何使用社交机器人来实现这一目的。为此，我们为Pepper机器人设计了一个对话应用程序DailyDiary (DD)，该应用程序一方面可以收集一组带注释的数据，学习日常活动，并将活动与情绪和情绪联系起来，另一方面可以使用学习的模型使机器人意识到用户的日常活动以及某些活动模式与情感状态的关系。
在项目的这一阶段，我们测试了学习模块的准确性，这表明，通过提出的方法，可以学习日常活动和活动与情感因素的关系。在未来的工作中，我们计划开发完整描述的应用程序并对其进行测试。评估将从以下方面进行：i)在我们实验室创建的智能环境中的用户体验，ii)预测活动和情绪的准确性。这项研究的最终结果将用于赋予机器人在智能环境中获得协助所需的正确水平的主动性。
2.背景和动机
技术支持的辅助环境为老年人提供了提供个性化护理服务的机会，使他们尽可能独立地生活在自己的房子里。
为此，家庭环境监测日常生活活动的数据来自传感器，传感器可以嵌入环境或可穿戴，用于收集有关生理参数、生活方式、活动、日常活动、社会因素和环境因素的数据收集这些数据是为了决定和支持智能环境的干预。例如，许多系统使用传感器来识别日常生活活动(即行走、奔跑、踏步和摔倒)，并检测这些活动期间的异常。
另一种用于识别活动的传感器是摄像头，它可以与可穿戴和环境传感器相结合，实现复杂的监测基础设施。在这种情况下，可以使用计算机视觉方法从图像中提取相关信息，并通过分析视频流来识别活动。该方向的相关方法从通过位姿检测软件提取视频中人的骨骼关节开始，然后使用基于LSTMs和Graph Convolutional Networks (CGN)的模型来识别活动。
这些技术要想成功地用于支持用户的日常生活，就必须融入到自然和吸引人的界面中。如今，社会辅助机器人(Social assist Robots, SAR)被视为支持居家或护理机构老年人护理的关键交互技术。他们提供了一个社会界面，以支持老年人执行日常任务和照顾。因为SAR的主要目标是通过社会互动为人类用户提供帮助，所以重点是使用有效的互动来为用户提供帮助。除了机器人的功能能力(身体活动、认知训练、生理治疗等)之外，情感方面也很重要，因为它们可以通过陪伴和社会互动帮助老年人提高生活质量。
软银开发的Pepper机器人是一款具有多模态通信功能的人形机器人，能够识别人脸和基本的人类情绪，能够通过对话与人类直接互动。针对老年人护理的具体使用案例，Pepper成功应用于医疗保健和老年人护理设施，主要作为基于叙事记忆的人机陪伴和服药提醒，鼓励老年人保持活跃，帮助他们与家人和朋友保持联系。最近的研究方法使用Pepper作为老年人的伴侣，在积极老龄化的背景下建议个性化的体育活动，提出的解决方案利用Pepper记录信息的深度学习方法对运动进行分类，并安排个性化的体育活动。Pepper和Nao机器人在轻度认知障碍(MCI)患者的认知刺激治疗中都取得了很好的效果。研究人员调查了痴呆症患者与类人机器人的关系，以及如何感知通过机器人进入的严肃游戏，作为旨在改善他们认知状态的训练计划的一部分。
社交机器人已经在智能家居环境中被使用和测试，并开发了一个面向微服务的平台，赋予社交机器人一系列行为，旨在监测家中的老年痴呆症患者，并与他们互动。社会机器人已经被开发出来，用于提供服务，方便用户在家里独立生活，帮助用户完成日常任务。通过使用智能环境提供的服务和社交机器人的社交和自然界面，以促进独立生活为主要目标的项目越来越多，这表明赋予这些人工实体理性和情商的重要性。
3.日常活动的增量学习
智能家居环境应该通过预测用户的需求和适应环境的行为来主动支持用户的活动。从实际行为的例子中自动学习日常活动的模型可以支持这项任务。为此，我们使用WoMan框架从一组带注释的数据中增量学习用户的日常生活。
3.1 流程挖掘：WoMan框架
流程是由代理执行的一系列操作，任务是一种通用类型的操作，定义为在流程的许多情况下执行。活动是案例中任务的实际执行。WoMan是一个声明式流程挖掘框架，它在流程挖掘和管理领域引入了一些重要的新特性。实验证明，由于其强大的表示形式和过程处理算子，它能够高效、有效地处理非常复杂的过程。这包括在环境辅助生活环境中学习人们的日常活动和人们的路径，这使得它在本文中描述的工作中成为一个有趣的应用候选者。在下文中，我们将简要而直观地回忆它的基本概念。
3.2 WoMan表现形式
与所有流程挖掘系统一样，WoMan从以前流程执行的日志开始学习流程模型，它允许在日志条目中指定比大多数其他系统更多的信息。WoMan日志条目关联到相关的流程表单的事件是6元组⟨T，E，W，P，O⟩，其中T是事件的时间戳，E是事件的类型(“begin_process”，‘end_process’，‘begin_activity’，‘end_activity’，‘context_description’)，W是参考工作流的名称，P是标识符，A可以是活动的名称或上下文信息，如果是活动的名称，O是A出现的渐进次数。存储在A中的上下文描述以一阶逻辑(简称FOL)原子列表的形式表示，这种形式允许显式地描述流程执行中活动的并发流程。从技术上讲，日志条目被描述为基于以下谓词的FOL原子：(T, E、W、P、A、O)。
WoMan流程模型使用几个谓词描述工作流的结构，描述流程结构的核心信息包括任务(流程中允许的活动类型)和转换(活动之间允许的连接)。特别是，转换表示流程执行期间的活动流。如果I中的所有任务都处于活动状态，则在两个多任务集I和O之间启用一个转换t：I ⇒O，它发生在停止（以任何顺序）在I中的所有任务的并发执行之后，在O中的所有任务的并发执行开始（再次，以任何顺序）。WoMan可以把概率附加到过程组件上，它还可以根据上下文和控制流信息(可能涉及几个执行步骤)，以FOL规则的形式学习任务和转换的前置/后置条件。更严格地说，在WoMan的模型中，这一信息被描述为建立在以下谓词基础上的原子连接：
- task(t,C)：任务t发生在案例C中；
- transition(I,O,p,C) : 转换p : I ⇒ O出现在情况C中。
参数 C 表示这些任务/转换的历史，并被用来计算它们的使用统计。
3.3 WoMan模块
WoMan可以运行在3种模式：学习模式允许从活动日志中学习流程模型；监督模式允许将学习到的模型应用到流程的新案例中，以检查它们是否符合该模型；预测模式允许将学习到的模型应用到流程的新案例中，以便预测用户在给定的执行时刻最有可能执行的后续活动。在WoMan的架构中，这些任务由不同的模块来完成。
WEST (Workflow Enactment Supervisor and Trainer) 是 WoMan 的监督模块。只要事件可用，它就记录在日志中，并检查它们是否符合指定流程的当前可用模型。如果事件符合则返回' ok '。如果语法错误(例如，关闭从未开始的活动，或在活动仍在运行时终止流程)，它将返回一个“错误”。如果它在语法上是正确的，但偏离了模型，它将返回一个“警告”，指定问题的类型(例如，意外的任务或转换，未满足的前提条件，意外的资源运行给定的活动，等等)。
WIND (Workflow INDucer)是WoMan的过程发现模块。它可以根据新的执行来学习或改进(在增量模式中)流程模型。优化可能会影响模型的结构、概率或条件。虽然文献中所有以前的方法都是在“批处理”模式下工作的(也就是说，它们需要一组可能很大的训练案例来学习它们的模型)，但WIND是完全增量的：它不仅可以根据新的可用案例来改进现有的模型，它甚至可以从一个空模型和单个案例开始学习。WIND依靠增量式学习系统intheelex以逻辑理论的形式学习条件。
WoGue (Workflow Guesser)是WoMan的模块，允许它在监督模式下做出几种预测。具体来说，它可以预测流程执行结果或流程执行期间将要执行的下一个活动。它的预测是根据置信度排序的，基于与当前流程执行相关的几个参数的启发式组合和与模型组件相关的概率。
由于每个模式处理不同的任务，各模式之间没有直接关系。典型的使用顺序是：WIND用于学习流程模型，然后WEST将流程模型应用于新的流程执行，以检查它们是否符合模型。在执行过程中，WoGue可以用来预测流程执行中接下来可能发生的事情。
3.4 日常学习流程挖掘
我们用WoMan来面对两个问题：日常学习和活动预测。预测比传统的流程挖掘领域更加复杂，因为在用户的行为中有更多的可变性和主观性，并且没有“正确的”基础模型，只是可以期望某种“典型”。
图 1： 流程执行中涉及的活动的图形表示，称为“星期一”日常活动。
就通过构建用户日常生活的模型来了解用户的生活方式而言，它可以被视为一组过程。因此，建模这样的例程可以转换为流程挖掘任务。工作流模型是关于如何组合一组任务以产生有效流程的正式规范，允许组合方案，如顺序的、并行的、条件的或迭代的。所以，在WoMan中，我们决定学习被表示为工作流程的模型。作为一个例子，我们在这里为图1中的情况提供了以WoMan形式表示的流程日志(出于可读性目的，时间戳已替换为序列号)：
当上下文和活动通过传感器检测或由用户输入时，相应的条目被提供给 WoMan 系统，该系统应用中描述的算法学习活动及其相互关系。
从这个案例中学到的模型是：
其中括号中的数字表示每个项目在每个案例中出现的次数（例如，[1 - 1] 表示项目在案例 1 中出现了一次；[1 - 2] 表示项目在案例 1 中出现了2次；等等.)。请注意，由于模型是声明性模型，因此任务和转换原子的顺序无关紧要（因此，“停止”是列表中的第一个任务并不意味着它是第一个要应用的任务 - 任务应用的顺序是由转换控制）。
这一新研究阶段的主要目的是测试该方法并学习日常生活模式，其中活动和模式与情绪和情绪信息相关。
为此，我们要求 5 名老年人（3 名男性和 2 名女性，年龄在 60 至 78 岁之间）使用他们的手机上的专用聊天记录他们的日常活动和心情 1 个月，其中两人（1 名男性和 1 名女性）无法自己完成，对于他们，我们请他们的看护人来完成。每天长者或看护者必须写下日常任务的时间表、当天的相关事件和心情。入口的一个例子是：
- 09:00 看电视新闻，焦虑
- 11:00 准备午餐，冷静
- 12:30 吃午饭，伤心
- 13:30 看电视，放松
- 14:30 睡觉，-
- 16:00 看书，开心
......
我们总共收集了 1350 个条目，用于从活动和情绪方面提取知识（我们将情感状态的标签映射到它们的效价，以简化情绪的标签），学习日常生活所需的知识。
我们根据 WoMan 形式化了这些数据，然后我们在“学习”模式下使用 WoMan 学习了每个工作日（周一至周日）的日常模型。
以下是收集的跟踪示例：
3.5 收集数据的分析
为了深入了解学习系统的性能，我们使用10倍交叉验证程序测试了学习模型的准确性。对于考虑的数据集，系统达到85.63%的平均精度，标准差为10,84。在学习步骤之后，我们使用 WoMan 的一个特征去除模型的噪声（即不频繁）部分，该特征接受输入的百分比频率并在模型中忽略在少于该百分比的情况下发生的所有项目。具体来说，我们告诉WoMan忽略在不到4%的训练案例中遇到的过渡和活动(这个百分比是实验确定的，以便保持一般行为)。然后，我们使用去噪模型和训练案例在“监督”模式下运行WoMan，以便收集WoMan每天返回的警告，表示偏离常规。之后，按照时间顺序对案例进行排序，绘制出每天警告的直方图。以效价函数计算的情绪变化曲线最终被叠加到这个直方图上，将警告条归一化到它们的范围[-1,1]。具体地说，每一天的每个参数的平均值都绘制在这些曲线上。这使得检测积极或消极的效价和有很多警告的天数之间的相关性，这将证实情绪对日常行为的影响。
4.Pepper日记
为了收集包含关于日常学习活动和情绪的注释数据的条目数据集，我们设计了daily Diary (DD)应用程序，该应用程序结合了自然语言对话、Pepper平板电脑上基于触摸的输入和计算机视觉模块，该应用程序允许管理ToDoList和上下文感知提醒。
DD应用程序将由用于注释目的的不同模块组成：用户识别、情感识别、待办事项管理器、活动提醒、活动识别和对话管理器。
- 用户识别：该模块将通过人脸识别用户，并保存每个用户的个人信息(用户照片、用户年龄、性别、姓名、家人、朋友、医生联系方式)和医疗方面的信息(慢性病、过敏、治疗等)。Pepper 机器人的人脸识别是使用 NaoQi SDK 的 ALFaceDetection API (http://doc.aldebaran.com/2-5/naoqi/peopleperception/alfacedetection-api.html)实现的。
- 情绪识别：针对老年人面部表情的情绪分析，我们开发了一个软件，将面部表情分为愤怒、厌恶、恐惧、快乐、悲伤、惊讶等。中性的表情也被认为表明没有情绪。对老年人面部表情的识别仍然是一项具有挑战性的任务，因为年龄对面部表情有影响。特别是与年龄相关的面部结构变化，如皱纹和面部肌肉衰退，可以被识别为情绪(通常老年人的中性表情被识别为悲伤)的识别。为此，为了更有效地识别老年人面部表情，我们开发了一个基于包含老年人图像的faces数据集训练的分类器。我们的模型在描述，使用OpenFace软件提取的17个面部AUs(动作单元)的存在和强度(以从0到5的浮动表示)作为特征。由于数据集中每个类的示例数量很少，我们没有考虑基于深度学习的方法。该模型基于随机森林(Random Forest)，根据 k=10 和 83% 的分层 k 折交叉验证测试的准确率达到 97%。
- 待办事项列表管理器：该模块允许在内部日历应用程序中插入事件和要做的事情，通过对话框和触摸式界面在Pepper的平板电脑上进行组合。
- 对话：对话将使用Choregraphe, Python脚本和NaoQi来处理。
- 活动识别：活动识别模块已经被开发用于实时识别用户活动并将适应应用程序。
在实现方面，DD应用程序将使用一个服务器组件，在该组件上将出现并适时调用几个实现 WoMan 和计算机视觉功能的 Web 服务。
图 2： 对话期间如何需要情绪信息的示例。
DD 应用程序将根据前面描述的形式将有关活动和上下文的条目发送到 WoMan 系统，图2显示了 Pepper 和情绪输入界面。
为此，在以下情况下，用户将被要求但不强制输入有关其情绪的明确信息：用户早上醒来后，用户主动主动与 Pepper 交谈时，在最后一次输入4小时后，当预见到活动发生时，当检测到新活动时，这是通过启动与用户的对话来完成的。通过这种方式，我们可以捕捉用户自我报告的与活动和上下文相关的情绪和情绪。此外，情绪识别模块将在后台运行以自动检测情绪。在决定如何表示情绪信息时，我们决定采用 Circumplex 模型中描述的二维方法（效价和唤醒），特别是，我们定义了对应于四个象限的 4 种可能状态：1) 紧张/焦虑，2) 悲伤/无聊 3) 平静/放松，4) 快乐/快乐。除了用户对 Pepper 的问题（“你今天感觉如何）的回答之外，我们还在 Pepper 的平板电脑上显示了一个输入界面，其中我们使用了一个分为四个象限的圆圈，代表与两个维度组合相关的主要情绪模型和允许指示中间状态的箭头。为了避免混淆和误解，我们将代表面孔放在象限中。当用户仅通过声音输入来表达他的情绪时，我们根据其效价和唤醒将提供的情感状态映射到前面描述的四个象限中的一个。
我们计划在我们的实验室中对应用程序进行评估，在那里我们将创建一个布置得像客厅一样的空间来测试应用程序。我们将涉及 60 岁以上的成年人。我们计划评估机器人的用户体验，以及该方法在多大程度上允许收集精确且有用的注释，以逐步学习和改进日常生活及其与 WoMan 系统的情感状态的关系。
5.结论和未来工作展望
在这篇论文中，我们报告了将WoMan系统应用于日常学习任务及其与情感状态变化的关系的可能性。为此，我们为Pepper机器人设计了一个应用程序Daily Diary，该应用程序除了提供待办事项列表的典型功能外，还允许收集与情绪和上下文特征相关的带有注释的活动数据集。为了对此进行调查，我们首先使用WoMan学习了用户活动和情绪的模型，然后我们在监督模式下使用WoMan，检查情绪显着变化和偏离常规的同时发生。此外，我们将DD收集到的数据与智能环境的室内传感器在室内情况下可以检测到的数据相结合。在不久的将来，我们计划开发应用程序，并评估使用机器人的用户体验，以及该方法在多大程度上允许收集精确和有用的注释，以学习和逐步改进日常程序。此外，我们将利用学习的模型赋予机器人基于活动预测和情绪推理的主动行为。
