论文梳理(图像标注)

自动图像标注是图像语义理解的关键,旨在为无标注图像添加语义关键词。该技术涉及计算机视觉、机器学习和信息检索,主要方法包括基于全局特征和基于区域划分的标注。现有的挑战在于解决低层视觉特征与高层语义之间的语义鸿沟。自动图像标注在图像检索、个人照片管理和互联网广告等领域有广泛应用。

自动图像标注总述:

是图像语义理解的热点,是 无标注图像内容的语义关键词
属于图像检索领域,是图像 语义检索(相当成熟 )关键
涉及计算机视觉,机器学习,信息检索
总实现思路:用(已标注图像集)或 关联,映射关系(可获信息 自动学习语义空间 与 视觉特征空间)。预测未知图像标注。

现实现方法:

基于分类的标注,概率关联标注,图学习的标注

相关的领域:

基于内容的 图像检索,瓶颈,巨大挑战(语义鸿沟:低层视觉特征,颜色 纹理形状 ,不能完全匹配 用户查询信息)
基于语义的 图像检索,仍旧是 难题

应用:

网络搜索引擎:用户喜好关键词查询,互联网搜索引擎基于 文本的图像检索,人工标注费时费力
个人桌面照片管理,互联网广告自动投放


题目:自动图像标注技术 研究进展

搜索源:知网
关键词:自动图像标注; 多示例学习; 多标记学习; 图学习; 概率建模;

摘要

自动图像标注(AIA):是图像语义理解的热点,是无标注图像内容的语义关键词
思想:用(已标注图像集)或 关联,映射关系(可获信息 自动学习语义空间 与 视觉特征空间)。预测未知图像标注。
现实现的方法:基于分类的标注,概率关联标注,图学习的标注
基于全局特征,基于区域划分

0     引言

基于内容的 图像检索,瓶颈,巨大挑战(语义鸿沟:低层视觉特征,颜色 纹理形状 ,不能完全匹配 用户查询信息)
基于语义的 图像检索,仍旧是 难题
为什么 出现了 AIA:用户喜好关键词查询,互联网搜索引擎基于 文本的图像检索,人工标注费时费力
AIA:解决 语义鸿沟(高层语义,底层特征 间 联系)
现有算法:在图像级别实现关键词标注, 未建立一一对应关系(图像和关键词 之间),
标准方法:标注,区域命名
不同角度分析标注:
图像特征表示机制:图像全局视觉信息 ,基于区域划分

  1. 图像全局视觉信息:面向图像场景 语义,图像特征,文本标注词完全分离,纯视觉比较图像相似性,有监督
    已经标注 图像(图像特征,标注词间关系),标注(比较视觉特征,传播标注词)
  2. 图像划分若干同 质区域,图像子块。基于区域划分(主流),图像语义标注。图像分割算法,有效划分语义对象单元。

本文 :

基于全局特征,基于区域划分(根据特征提取,表示机制 的不同)
其中,基于区域划分:分类的标注算法 ,概率关联模型的标注方法,基于图学习的标注方法(学习算法 不同 )

1     基于全局特征的自动图像标注方法

早期:相当于图像场景的自动分类

ova:面向 图像 场景语义(图像空间属性,产生现实场景有意义描述,验证 全局统计特征, 分析场景的对象存在与否),免去(图像分割)
面向显著兴趣点:显著区域的 局部描述 子向量空间,通过相似图像传播语义实现自动标注
Yav sk:单纯用(图像全局特征)语义标注,建模框架(鲁棒的非参数密度估计法),核平滑技术–>用全局的 颜色信息可以标注性能。分割方法硬划分

优点:

免除过程(图像区域分割,区域聚类,三维注释,面向对象分析)
适用:简单图形,背景单一(纹理图形,自然场景,建筑物图像)
特点:只提供粗粒度语义描述,无前景物体和背景差异(人注重有语义信息的特定目标,非背景)

缺点:

因为粗粒度,不能反映丰富的细节语义内容,标注性能不理想

希望改进:

将图像前景目标区域,从背景中分割,想要对象级语义描述,减少背景变化的影响,更接近语义检索目标
提取区域级的低层视觉特征,比全局特征更贴近实际理解,出现了基于区域划分的图像标准

2     基于区域划分的自动图像标注方法

基于区域划分:分割图像成若干区域(图像分割算法) --> 提取每个区域的低层视觉特征 --> 建立关联(图像区域和 标注词间,区域分块的标注算法不同:基于分类图像标注,概率关联模型的图像标注,基于图学习 )

2.1   基于分类的自动图像标注算法

标注问题看成图像语义分类问题(每个语义关键词–看成–类别标记,图像标注问题 --转化–图像分类问题 ):从图像分类角度解决标注问题。
传统图像分类:每幅图像 只属于某个语义类别
自动图像标注:

关键词角度 :每幅图像可同时属于多个语义类别(标注有多个关键词),标注问题是多标记学习问题
图像角度:整幅图看成多个 示例(区域)组成 的包,示例(没有概念标记),包(有概念标记),正包(包中正例>=1),反包(包中正例=0),给定的训练集上关键词只标注在整幅图像,未知对应关系(关键词和图像区域之间)

目前:分类标注(从示例学习的角度,或多标记学习 角度)标注 问题
相同点:利用(已知的标注数据)建立模型,描绘 关联或映射 关系(文本词汇 图像特征间)

2.2   基于概率关联模型的自动图像标注算法
2.3   基于图学习的自动图像标注算法
3     总结
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值