多任务学习中的任务关系研究

给定多个相关的学习任务，多任务学习旨在利用各个任务之间的有效信息来提高它们的性能。如何利用任务之间的有效信息，即任务相关性来提升多任务学习模型的性能是多任务学习研究中的一个重要方向。本文将利用图神经网络和判别选择器来探究多任务学习中的任务关系，并利用该关系来提升模型性能。
在图神经网络方法中，本文提出了基于层次图神经网络的深度多任务增强特征学习。该模型由由两级图神经网络组成。第一级图神经网络是任务内图神经网络，用于聚合任务中的数据包含的所有信息以生成任务表示，称为任务嵌入。在第二级中，基于第一级中生成的任务嵌入，使用任务间图神经网络通过在所有任务之间共享信息来更新所有任务嵌入。最后利用任务嵌入来增强数据的特征表示，以提高模型性能。
在判别选择器方法中，本文提出了一个可靠多任务学习模型，它由公共编码器、私有编码器、判别选择器和私有解码器组成。具体来说，每个任务都有一个私有编码器、一个判别选择器和一个私有解码器，其中判别选择器用于学习如何将私有编码器和公共编码器组合到下游私有解码器中。在多个基准数据集上的实验证明了所提出的方法的有效性。
 

[1] CARUANA R. Multitask Learning[J]. Machine Learning, 1997, 28(1): 41-75.
[2] ZHANG Y, YANG Q. A Survey on Multi-Task Learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2021.
[3] BICKEL S, BOGOJESKA J, LENGAUER T, et al. Multi-task learning for HIV therapy screening[C]//Proceedings of the Twenty-Fifth International Conference on Machine Learning. 2008: 56-63.
[4] LIU H, PALATUCCI M, ZHANG J. Blockwise coordinate descent procedures for the multi-task lasso, with applications to neural semantic basis discovery[C]//Proceedings of the 26th Annual International Conference on Machine Learning. 2009.
[5] LIU S, JOHNS E, DAVISON A J. End-To-End Multi-Task Learning With Attention[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 2019: 1871-1880.
[6] LOZANO A C, SWIRSZCZ G. Multi-level Lasso for Sparse Multi-task Regression[C]//Proceedings of the 29th International Conference on Machine Learning. Edinburgh, Scotland, UK, 2012.
[7] MISRA I, SHRIVASTAVA A, GUPTA A, et al. Cross-stitch Networks for Multi-Task Learning [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 2016:3994-4003.
[8] OBOZINSKI G, TASKAR B, JORDAN M. Multi-task feature selection[R]. Department of Statistics, University of California, Berkeley, 2006.