(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210519277.X (22)申请日 2022.05.12 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 张海军　许文健　 (74)专利代理 机构 北京慧加伦知识产权代理有 限公司 16 035 专利代理师 李永敏 (51)Int.Cl. G06Q 30/06(2012.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 服饰搭配推荐方法和装置以及用 于该装置 的训练方法 (57)摘要 本公开的实施例提供一种服饰搭配推荐方 法和装置以及用于该装置的训练方法。 该服饰搭 配推荐方法包括： 获取多个给定服饰单品的图像 和待搭配的多个候选服饰单品集的图像， 该多个 候选服饰单品集中的每个候选服饰单品集包括 一个或多个候选服饰单品； 基于该多个给定服饰 单品的图像生成与该多个候选服饰单品集同类 型的目标服饰单品集的 图像； 分别计算该多个候 选服饰单品集中的每个候选服饰单品集的图像 与该多个给定服饰单品的图像以及目标服饰单 品集的图像的相似度； 以及根据所计算的相似度 来推荐该多个候选服饰单品集中的至少一个候 选服饰单品集。 权利要求书3页 说明书11页 附图5页 CN 114881733 A 2022.08.09 CN 114881733 A 1.一种服饰搭配 推荐方法， 包括： 获取多个给定服饰单品的图像和待搭配的多个候选服饰单品集的图像， 所述多个候选 服饰单品集中的每 个候选服饰单品集包括 一个或多个候选服饰单品； 基于所述多个给定服饰单品的图像生成与所述多个候选服饰单品集同类型的目标服 饰单品集的图像； 分别计算所述多个候选服饰单品集中的每个候选服饰单品集的图像与所述多个给定 服饰单品的图像以及所述目标服饰单品集的图像的相似度； 以及 根据所计算的相似度来推荐所述多个候选服饰单品集中的至少一个候选服饰单品集。 2.根据权利要求1所述的服饰搭配推荐方法， 其中， 基于所述多个给定服饰单品的图像 生成与所述多个候选服饰单品集同类型的目标服饰单品集的图像包括： 通过卷积神经网络获取所述多个给定服饰单品的图像在所述卷积神经网络的多个层 中的视觉特征； 基于自注意力机制融合所获取的视 觉特征以得到融合后的特 征； 通过变分自编码器 基于所述融合后的特 征生成融合特 征； 以及 通过转置卷积神经网络基于所述融合特征生成所述目标服饰单品集的图像， 其中， 所 述转置卷积神经网络的层数与所述卷积神经网络的层数相同。 3.根据权利要求2所述的服饰搭配推荐方法， 其中， 分别计算所述多个候选服饰单品集 中的每个候选服饰单品集的图像与所述多个给定服饰单品的图像以及所述目标服饰单品 集的图像的相似度包括针对每 个候选服饰单品集： 通过所述卷积神经网络获取该候选服饰单品集的图像在所述卷积神经网络的所述多 个层中的候选 视觉特征； 以及 基于所述候选视觉特征， 所述多个给定服饰单品的图像在所述卷积神经网络的所述多 个层中的所述视觉特征， 以及所述目标服饰单品集的图像在所述转置卷积神经网络的多个 层中的层级特征来计算该候选服饰单品集的图像与所述多个给定服饰单品的图像以及所 述目标服饰单品集的图像的相似度。 4.根据权利要求3所述的服饰搭配推荐方法， 其中， 每个候选服饰单品集的图像与 所述 多个给定服饰单品的图像以及所述目标服饰单品集的图像的相似度被 计算为： 其中， sh表示该候选服饰单品集的图像与所述多个给定服饰单品的图像以及所述目标 服饰单品集的图像的相似度， l表示所述卷积神经网络的层数， hi表示所述候选服饰单品集 的图像在所述卷积神经网络的第i层的视觉特征所对应 的矩阵， gi表示所述目标服饰单品 集的图像在所述转置卷积神经网络的第i层的层级 特征所对应的矩阵， m表示所述多个给定 服饰单品的数量， xij表示所述多个给定服饰单品中的第j给定服饰单品的图像在所述卷积 神经网络的第i层的视 觉特征所对应的矩阵， 以及T表示 转置运算。 5.一种电子设备， 包括： 至少一个处 理器； 以及权　利　要　求　书 1/3 页 2 CN 114881733 A 2存储有计算机程序的至少一个存 储器； 其中， 当所述计算机程序由所述至少一个处理器执行时， 使得所述电子设备执行根据 权利要求1至4中任一项所述的服饰搭配 推荐方法的步骤。 6.一种服饰搭配 推荐装置， 包括： 图像获取模块， 其被配置为获取多个给定服饰单品的图像和待搭配的多个候选服饰单 品集的图像， 所述多个候选服饰单品集中的每个候选服饰单品集包括一个或多个候选服饰 单品； 目标图像生成模块， 其被配置为基于所述多个给定服饰单品的图像生成与 所述多个候 选服饰单品集同类型的目标服饰单品集的图像； 相似度计算模块， 其被配置为分别计算所述多个候选服饰单品集中的每个候选服饰单 品集的图像与所述多个给定服饰单品的图像以及所述目标服饰单品集的图像的相似度； 以 及 推荐模块， 其被配置为根据 所计算的相似度来推荐所述多个候选服饰单品集中的至少 一个候选服饰单品集。 7.一种训练方法， 用于训练根据权利要求6所述的服饰搭配推荐装置， 所述训练方法包 括： 获取第一组服饰套装的图像和第 二组服饰套装的图像， 所述第 一组服饰套装和所述第 二组服饰套装中的每 个服饰套装 包括多个相互搭配的服饰单品； 在每一轮训练中， 用所述第 一组服饰套装的图像来训练所述服饰搭配推荐装置以最小 化所述服饰搭配 推荐装置的损失函数； 在每一轮训练之后， 用所述第 二组服饰套装的图像来验证所述服饰搭配推荐装置的推 荐准确度； 以及 重复训练所述服饰搭配推荐装置， 直到完成预定的训练轮数或者所述推荐准确度收 敛。 8.根据权利要求7所述的训练方法， 其中， 用所述第 一组服饰套装的图像来训练所述服 饰搭配推荐装置以最小化所述 服饰搭配 推荐装置的损失函数包括： 分别将所述第一组服饰套装中的每 个服饰套装作为训练服饰套装； 对所述训练服饰套装的图像执 行以下操作： 选择所述训练服饰套装中的一个或多个服饰单品作为 正样本单品集； 将所述训练服饰套装中除所述 正样本单品集之外的服饰单品作为给定服饰单品集； 从所述第一组服饰套装中除所述训练服饰套装之外的服饰套装中选择与所述正样本 单品集同类型的服饰单品集作为负 样本单品集； 基于所述给定服饰单品集的图像生成与所述正样本单品集同类型的参考服饰单品集 的图像； 计算所述正样本单品集的图像与所述给定服饰单品集的图像以及所述参考服饰单品 集的图像的第一相似度； 计算所述负样本单品集的图像与所述给定服饰单品集的图像以及所述参考服饰单品 集的图像的第二相似度； 基于所述第一相似度与所述第二相似度之差来计算所述服饰搭配推荐装置的损失函权　利　要　求　书 2/3 页 3 CN 114881733 A 3