此外我们引入了一种新的损失函数称为

ditihekhatun16

自适应平衡域优先级它可以适应特定于域的困难以帮助有效地训练模型。由此产生的方法高效且可扩展与单域方法相比生成的模型在保持性能的同时模型大小和分别减少了和。多路径神经架构搜索为了鼓励积极的知识迁移并避免消极的迁移传统的解决方案构建了一个模型以便域共享大部分学习跨域共享特征的层称为特征提取然后在顶部有一些特定于域的层。然而这种同质的特征提取方法无法处理具有显着不同特征的域例如自然图像和艺术绘画中的对象。另一方面为每个模型手工制作统一的异构架构非常耗时并且需要特定领域的知识。是自动设计深度学习架构的强大范例。

它定义了一个搜索空间由各种可能成为最终模型一部分的潜在构建块组成。搜索算法从搜索空间中找到最佳候选架构以优化模型目标例如分类准确性。最近的方法例如通过使用端到端路径采 美国手机数据列表 样显着提高了搜索效率这使我们能够将从单域扩展到。受的启发分两个阶段构建模型架构搜索和训练。在搜索阶段为了共同找到每个域的最佳路径为每个域创建一个单独的强化学习控制器该控制器从超级网络中采样端到端路径从输入层到输出层即由搜索空间定义的候选节点之间所有可能的子网络的超集。经过多次迭代所有控制器都会更新路径以优化所有领域的奖励。在搜索阶段结束时我们获得每个域的子网。




最后将所有子网络组合起来为模型构建异构架构如下所示。由于每个域的子网络是独立搜索的因此每层中的构建块可以由多个域共享即深灰色节点由单个域使用即浅灰色节点或不由任何子网络使用即虚线节点。每个域的路径也可以在搜索过程中跳过任何层。假设子网络可以以优化性能的方式自由选择沿着路径使用哪些块而不是例如任意指定哪些层是同质的以及哪些层是特定于域的则输出网络既是异构的又是高效的。搜索的示例架构。虚线路径代表所有可能的子网。实线路径表示为每个域选择的子网以不同颜色突出显示。每层中的节点表示由搜索空间定义的候选构建块。下图展示了视觉领域十项全能挑战赛的十个领域中两个视觉领域的搜索架构。