摘要
本申请涉及一种基于多模态数据识别的面试辅助方法，包括：采集求职者在面试过程中的多模态数据，并对多模态数据进行对齐时序处理，多模态数据包括视频流、音频流和文本数据；基于在对齐时序的多模态数据中提取的微表情特征、语音特征和文本特征判断求职者是否处于异常状态；响应于求职者的处于异常状态时，基于异常状态概率动态调整微表情特征、语音特征和文本特征对应的特征权重；基于调整后的特征权重、微表情特征、语音特征和文本特征计算异常状态概率值；根据异常状态概率值和类型阈值计算得到异常状态类型；根据异常状态类型，向面试官展示面试提示信息。本方法降低了对异常状态的误判率，提升面试分析的精准度与有效性。
