本文共 1452 字，大约阅读时间需要 4 分钟。
PP-PLL: Probability Propagation for Partial Label Learning
假设
本文提出两个关键假设：
流形假设：特征空间中的样本遵循流形结构，即相邻样本的标签分布相似。 候选标签的互斥性：每个样本的真实标签隐藏在候选标签集中，且候选标签之间具有互斥性。 创新点
本文在部分标签学习领域提出了以下创新：
双凸正则化框架：结合了输入特征到真实标签的线性映射和基于流形假设的标签传播。 概率传播方法：通过交替优化实现概率传播，增强候选标签之间的互斥性。 拓扑结构作为附加信息：利用训练样本之间的拓扑关系（如k近邻构建的加权图）作为附加信息。 技术路线
论文的技术路线包括以下步骤：
构建加权图：使用k近邻（k-NN）方法构建有向加权图，捕捉训练样本之间的拓扑关系。 定义目标函数：设计包含保真项、正则化项和平滑项的双凸目标函数。 交替优化：通过交替优化分别更新标签分布矩阵和参数矩阵。 预测阶段：对未见样本计算其条件概率矩阵，并通过标签传播获得最终标签分布。 技术实现细节
加权图构建：基于k-NN构建有向图，权重通过优化线性最小二乘问题计算，并对权重矩阵进行归一化处理。 目标函数形式：[J(D, θ, F) = L(D, F, θ) + λΩ(θ) + μQ(F)]其中： - ( L(D, F, θ) )：保真项，使用KL散度衡量标签分布与条件概率的差异。
- ( Ω(θ) )：正则化项，采用Frobenius范数控制参数复杂度。
- ( Q(F) )：平滑项，基于流形假设确保标签分布的连续性。
优化过程：通过交替优化分别更新标签分布矩阵和参数矩阵。 初始化：条件概率矩阵初始化为候选标签集内的均匀分布。 具体数学公式
条件概率定义：[P(y_i = j | x_i, θ) = \begin{cases}\frac{\exp(θ_j^\top x_i)}{\sum_{j' ∈ S_i} \exp(θ_{j'}^\top x_i)} & \text{if } j ∈ S_i \0 & \text{otherwise}\end{cases}] 保真项：[L(D, F, θ) = \sum_{i=1}^{m} \sum_{j ∈ S_i} F_{ij} \log \frac{F_{ij}}{C_{ij}}] 平滑项：[Q(F) = \frac{1}{2} \sum_{i,j=1}^{n} w_{ij} \left| \frac{F_i}{\sqrt{D_{ii}}} - \frac{F_j}{\sqrt{D_{jj}}} \right|_2^2] 实验结果分析
UCI数据集：在不同部分标签比例（0.1到0.7）和干扰标签集大小（1到3）下，PP-PLL优于其他部分标签学习算法。 真实世界数据集：在Bird Song Classification、Automatic Face Naming、Facial Age Estimation和Objective Classification等任务中表现出色。 参数敏感性分析：PP-PLL在不同参数配置下表现稳定，迭代次数达到20-40次时模型收敛。 结论
PP-PLL通过概率传播和流形假设，增强了候选标签的互斥性，避免真实标签被假阳性标签淹没。在UCI数据集和真实世界数据集上表现优异，展现了良好的泛化能力和预测精度。
未来工作可探索更有效的加权图构建方法，并结合候选标签集的概率分布进一步优化模型。
转载地址：http://kmxfk.baihongyu.com/