Delving into Deep Imbalanced Regression

原创 已于 2025-01-07 14:09:37 修改 · 312 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#机器学习 #深度学习 #人工智能
于 2022-06-20 20:49:08 首次发布
本文研究了在Delving into Deep Imbalanced Regression中，针对IMDB-WIKI-DIR和AgeDB-DIR数据集，SMOTE和SMOGN在处理图像数据时的表现。实验发现它们可能降低性能，通过LDS、FDS的加入改善了模型，尤其是中样本和少样本区域。明天将补全实验结果。

今天的主要工作就是对 Delving into Deep Imbalanced Regression 这篇论文的复现。
针对不同的数据集有不同的设置：

  • 年龄预测
    ResNet-50 model as the backbone network for IMDB-WIKI-DIR and
    AgeDB-DIR datasets.
    实验结果：当应用于图像等现代高维数据时，与普通模型相比，SMOTER 和 SMOGN 甚至还会降低性能。
    在每个组中，添加 LDS、FDS 或两者都会导致性能提升，而 LDS + FDS 通常会获得最佳结果。
    最后，与普通模型相比，使用 LDS 和 FDS 保持或略微提高了整体和多样本区域的性能，但显着提高了中样本和少样本区域的性能。
imbalanced-regression:深入研究不平衡回归
05-10
深入研究不平衡回归 该存储库包含纸张的实现代码：。 深度失衡回归（DIR）旨在从具有连续目标的失衡数据中学习， 处理某些区域的潜在缺失数据，并推广到整个目标范围。 超越不平衡分类：DIR简介 从不平衡数据中学习的现有技术集中于具有分类索引的目标，即目标是不同的类别。 但是，许多实际任务涉及连续甚至无限的目标值。 我们系统地研究了深度失衡回归（DIR） ，其目的是从自然失衡数据中学习连续目标，处理某些目标值的潜在缺失数据，并推广到整个目标范围。 我们为计算机视觉，自然语言处理和医疗保健领域中常见的现实世界任务设计和基准化大规模DIR数据集，范围从单值预测（例如年龄，文本相似性得分，健康状况得分到密集值预测）例如深度。 更新 [02/18/2021]发布了。 该代码目前正在清理中。 请随时关注更新。 引文 @article { yang2021delving , title = {
长尾分布系列论文解析（二）Delving into Deep Imbalanced Regression
罟霖同学的站点
11-21 2074
长尾分布系列论文解析：回归问题中的长尾分布。相关论文：Delving into Deep Imbalanced Regression
Delving into Deep Imbalanced Regression论文学习
qq_43349542的博客
09-19 2463
List item
《论文阅读》Delving into Deep Imbalanced Regression
未知丶的博客
08-28 2559
留个笔记自用 Delving into Deep Imbalanced Regression 做什么 Imbalanced Regression回归不平衡问题 从具有连续目标的不平衡数据中学习，处理某些目标值的潜在缺失数据，并推广到整个目标范围，即如上图所展示，一些连续回归任务中数据分布不平衡，存在缺少某些值的情况，这会对网络的预测存在影响，极端情况下可能无论任何输入他的输出都会是某一类别 做了什么 这里提出了两种解决回归不平衡的方式。标签分布平滑(LDS)和特征分布平滑(FDS)，通过使用核分布在标
[论文评析]Delving into deep imbalanced regression, ICML，2021
MasterQKK
09-18 1227
Delving into deep imbalanced regression， ICML,2021, Feature Distribution Smoothing, FDS Label Distribution Smoothing, LDS, Calibration, imbalanced regression,
深入研究不平衡回归问题
idol24的博客
08-06 1388
来源：知乎—Yuzhe Yang作者：https://zhuanlan.zhihu.com/p/369627086来给大家介绍一下我们的新工作，目前已被ICML 2021接收为 Long oral presentation：Delving into Deep Imbalanced Regression。这项工作在经典的数据不平衡问题下，探索了非常实际但极少被研究的问题：数...
【论文阅读】Delving into Deep Imbalanced Regression
来日可期的博客
03-24 631
现实数据存在不平衡分布，即某些目标值的观测量明显较少。然而现有的技术集中在分类问题上，在连续目标的预测（回归问题）很少讨论。言简意赅的引出研究问题。本文的两个贡献：LDS: Label Distribution Smoothing. 获得影响回归预测错误率的真实标签分布（连续标签影响）。这一点在分类问题中不存在，分类的标签分布就是影响分类预测的真实分布。Feature Distribution Smoothing. 平滑标签分布，它的提出是由于一个直觉：相似标签的样本在特征空间也距离近。
ICML 2021 (Long Oral) | 深入研究不平衡回归问题
阿木寺的博客
05-15 2012
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：Yuzhe Yang|已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/369...
不平衡问题相关讨论
yodala的博客
05-26 802
2022/05/26类别不平衡的分类问题 类别不平衡的分类问题 重采样（re-sampling）：这是解决数据类别不平衡的非常简单而暴力的方法，更具体可以分为两种，对少样本的过采样，或是对多样本的欠采样。当然，这类比较经典的方法一般效果都会欠佳，因为过采样容易overfit到minor classes，无法学到更鲁棒易泛化的特征，往往在非常不平衡的数据上泛化性能会更差；而欠采样则会直接造成major class严重的信息损失，甚至会导致欠拟合的现象发生。 数据合成（synthetic samples）：若
长尾分布系列论文解析（三）On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond
罟霖同学的站点
11-21 1319
长尾分布系列论文解析第三篇：关注多域学习中的长尾分布问题。相关论文：On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond
imdb_wiki数据集的解析
yy2yy99的专栏
07-10 1178
代码及解析： import os import cv2 import re import time import random import shutil import glob import scipy.io import numpy as np from shutil import copyfile from datetime import datetime, timedelta from multiprocessing import Pool from config import confi
深度学习里的长尾分布（类别样本不平衡）
weixin_43913077的博客
07-16 3600
文章目录数据不平衡回归问题问题提出标签分布平滑（LDS）特征分布平滑（FDS）引用 数据不平衡回归问题 问题提出 如上图，我们根据图像预测age，但age是一个连续值，并且中年时的样本多，老年和青年的样本少。如果将不同年龄划分为不同的类别来进行学习的话，是不太可能得到最佳的结果，因为这种方法没有利用到附近年龄人群之间特征的相似性。 数据不平衡回归问题基本状况如上图所示，1）样本分不均衡，2）目标值是连续的，3）甚至有的目标值范围内会缺失数据。 注意：如果训练阶段，部分目标值范围内数据缺失，而在测试时，该
如何解决回归任务数据不均衡的问题？
华为云官方博客
06-11 4519
摘要：现有的处理不平衡数据/长尾分布的方法绝大多数都是针对分类问题，而回归问题中出现的数据不均衡问题确极少被研究。
生成模型 Generative Modeling by Estimating Gradients of the Data Distribution
c_y_w_的博客
06-24 319
得分函数定义为对数概率密度关于输入的梯度：因为是一个常数（或者说它只和参数有关，和输入的数据无关）。当我们对数据求偏导（梯度）时，对的导数直接等于0为什么不直接叫梯度？继承自传统统计学的 Fisher Score 命名传统；同时也为了与深度学习中"更新网络权重的参数梯度"做严格的功能性区分——得分函数是输出给图像的"修图方向向量"，而参数梯度用于更新网络自身。传统似然模型└── 死磕绝对概率 → 遇到不可积分母 Z_θ → 走进死胡同 ❌│▼朴素得分匹配（2019）
机器学习周报五十
weixin_60864619的博客
06-21 222
本周复现上周提到的论文3DGA的实验，并且阅读了论文SplattingAvatar。通过SplattingAvatar，补充了对之前的改进的不足，法线插值和重心插值可以得到一个非线性连续场，解决3dga只有重心插值，在三角面片内只有线形关系的问题。在之前也尝试过建立一个非线性连续人体场，缺乏理论指导，SplattingAvatar提供了思路。
AI 学习之旅 · 阶段二：机器学习
最新发布
AI_Encyc的博客
06-24 423
小明背下了所有练习题的答案，考试遇到新题就不会了 →过拟合小红理解了解题思路，遇到新题也能做对 →泛化能力强✅。
多层神经网络_深度神经网络_机器学习_大模型由来_设计大模型_损失_梯度下降---AI大模型系统从零开始0016
添柴程序猿的专栏
06-22 124
摘要：神经网络通过多层结构逐层提取特征，最终输出归一化概率。深度神经网络通过增加层数提取更复杂特征，但需防止过拟合。模型训练关键在于参数优化：随机初始化参数后，通过计算误差并梯度下降迭代调整参数。误差函数的设计至关重要，直接影响模型性能。训练过程需要大量计算，逐步减小误差直至收敛。实际应用中需根据误差变化动态调整步长，以获得最优模型。整个训练过程体现了机器学习从数据中自动学习规律的核心思想。（149字）
LLM大语言模型运行模式_机器学习_总误差影响因素---AI大模型系统从零开始0017
添柴程序猿的专栏
06-22 103
摘要：本文讨论了机器学习模型误差计算与参数调整的关键概念。通过概率分析（如0.91正确率对应0.0943误差）指出需关注预测置信度而不仅是准确率。重点阐释了总误差计算方法（6万张图片误差累加）及梯度下降原理，包括如何通过ln函数优化误差计算、15万字符的多语言输出场景处理，以及1.8万亿参数模型的超大规模梯度下降实现。同时解释了非线性变换（如将像素值二值化）对模型拟合能力的提升作用，强调每个训练步骤都需全局调整所有参数，体现现代大模型训练的核心机制。（149字）
LSTM预判+速度门控双保险自愈
2301_77211362的博客
06-21 285
模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值