官方文档config详情:https://mmdetection.readthedocs.io/en/latest/tutorials/config.html
1、配置文件结构
在config/_base_文件夹下面总共有4个基础的组件,它们分别是:dataset、model、schedule、default_runtime。
2、配置文件命名风格
{model}_[model setting]_{backbone}_{neck}_[norm setting]_[misc]_[gpu x batch_per_gpu]_{schedule}_{dataset}
{xxx}是必选项,[yyy]是可选项
{model}:模型的类型 ,例如faster_rcnn、mask_rcnn等等.[model setting]: 给模型一些指定设置, 例如without_semantic for htc、moment for reppoints等等.{backbone}: backbone 的类型r50(ResNet-50),x101(ResNeXt-101)。(相当于特征提取网络){neck}: neck 的类型选择,例如fpn,pafpn,nasfpn,c4.[norm_setting]: 如果没有指定,那就默认为bn(Batch Normalization) , 还有其他可选的norm layer类型,比如gn(Group Normalization)、syncbn(Synchronized Batch Normalization).gn-head/gn-neck表示 GN 仅仅被用在head/neck模块上, gn-all 表示 GN 被用在整个模型上, 例如:backbone, neck, head这些模块。[misc]: 一些比较杂的模型设置或者插件,例如dconv,gcb,attention,albu,mstrain.[gpu x batch_per_gpu]: GPU的个数以及每块GPU上的batch size大小,默认为8*2(8块GPU,每块GPU上2个batch size,相当于batch size为16)。{schedule}: 训练的 schedule, 可选择的有1x,2x,20e等等.1x和2x分别表示 12 个epochs 和 24个epochs。 20e 被用在 cascade models中,它表示20个epochs. 对于1x/2x而言, 初始的学习率分别在第8/16个epeochs和第11/22个epochs以10的倍率递减。对于20e而言,初始的学习率在第16个epeochs和第19个epochs以10的倍率。{dataset}: 数据集有coco,cityscapes,voc_0712,wider_face这些选项。
3、faster_rcnn_r50_fpn_2x.py
首先介绍一下这个配置文件所描述的框架,它是基于resnet50的backbone,有着5个fpn特征层的faster-RCNN目标检测网络,训练迭代次数为标准的24次epoch。
# 模型配置
model = dict(
# model类型
type='FasterRCNN',
# 预训练模型:resnet50
pretrained='torchvision://resnet50',
backbone=dict(
# backbone类型
type='ResNet',
# 网络层数
depth=50,
# resnet的stage数量
num_stages=4,
# 输出的stage的序号
out_indices=(0, 1, 2, 3),
# 冻结的stage数量,即该stage不更新参数,-1表示所有的stage都更新参数
frozen_stages=1,
# normalization layers的配置,type 为norm layer的类型, 通常是 BN or GN,requires_grad参数是否训练BN中的gamma和beta参数
norm_cfg=dict(type='BN', requires_grad=True),
# 是否冻结BN中的统计信息(相当于模型eval的过程,不进行统计数据)
norm_eval=True,
# 网络风格:如果设置pytorch,则stride为2的层是conv3x3的卷积层;如果设置caffe,则stride为2的层是第一个conv1x1的卷积层
style='pytorch'),
neck=dict(
# neck类型
type='FPN',
# 输入的各个stage的通道数
in_channels=[256, 512, 1024, 2048],
# 输出的特征层的通道数
out_channels=256,
# 输出的特征层的数量
num_outs=5),
rpn_head=dict(
# RPN网络类型
type='RPNHead',
# RPN网络的输入通道数
in_channels=256,
# 特征层的通道数
feat_channels=256,
# 生成anchor的配置
anchor_generator=dict(
# 绝大多数都是用AnchorGenerator, SSD 检测器(单阶段的目标检测算法)使用的是SSDAnchorGenerator
type='AnchorGenerator',
# anchor的生成个数, 特征图上每一个位置所生成的anchor个数为scale * base_sizes
scales=[8],
# anchor的宽高比率.
ratios=[0.5, 1.0, 2.0],
# 在每个特征层上的anchor的步长(对应于原图)
strides=[4, 8, 16, 32, 64]),
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
# 均值
target_means=[0.0, 0.0, 0.0, 0.0],
# 方差
target_stds=[1.0, 1.0, 1.0, 1.0]),
# 分类损失函数配置
loss_cls=dict(
# 也提供FocalLoss等损失函数
type='CrossEntropyLoss',
# 是否使用sigmoid来进行分类,如果False则使用softmax来分类
use_sigmoid=True,
# 分类分支所占权重
loss_weight=1.0),
# box回归分支的损失函数配置.
loss_bbox=dict(
type='L1Loss', loss_weight=1.0)),
# RoIHead 封装了二阶段检测器的第二阶段的模块
roi_head=dict(
# RoI head的类型
type='StandardRoIHead',
# RoI feature extractor 用于 bbox regression.
bbox_roi_extractor=dict(
# 类型,大部分默认
type='SingleRoIExtractor',
roi_layer=dict(
# 同时还支持DeformRoIPoolingPack 和 ModulatedDeformRoIPoolingPack这两种类型.
type='RoIAlign',
# feature maps的输出尺度,相当于输出7*7.
output_size=7,
# 提取ROI特征层时的样本比例,0表示自适应
sampling_ratio=0),
# 提取特征的输出通道数
out_channels=256,
# 多尺度特征图的步幅
featmap_strides=[4, 8, 16, 32]),
bbox_head=dict(
# 全连接层类型
type='Shared2FCBBoxHead',
# 输入通道数
in_channels=256,
# 全连接层输出通道数
fc_out_channels=1024,
# ROI特征层尺寸
roi_feat_size=7,
# 分类器数量,改自己数据集时修改
num_classes=1,
# 同上
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0.0, 0.0, 0.0, 0.0],
target_stds=[0.1, 0.1, 0.2, 0.2]),
# 是否采用class_agnostic的方式来预测,class_agnostic表示输出bbox时只考虑其是否为前景,后续分类的时候再根据该bbox在网络中的类别得分来分类,也就是说一个框可以对应多个类别
reg_class_agnostic=False,
# 同上
loss_cls=dict(
type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
loss_bbox=dict(type='L1Loss', loss_weight=1.0))))
train_cfg = dict(
rpn=dict(
assigner=dict(
# RPN网络的正负样本划分
type='MaxIoUAssigner',
# 正样本的iou阈值
pos_iou_thr=0.7,
# 负样本的iou阈值
neg_iou_thr=0.3,
# 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3,则忽略所有的anchors,否则保留最大IOU的anchor
min_pos_iou=0.3,
# 是否匹配低质量anchor
match_low_quality=True,
# 忽略bbox的阈值,当ground truth中包含需要忽略的bbox时使用,-1表示不忽略
ignore_iof_thr=-1),
sampler=dict(
# 正负样本提取器类型
type='RandomSampler',
# 需提取的正负样本数量
num=256,
# 正样本比例
pos_fraction=0.5,
# 最大负样本比例,大于该比例的负样本忽略,-1表示不忽略
neg_pos_ub=-1,
# 把ground truth加入proposal作为正样本
add_gt_as_proposals=False),
# 不允许允许在bbox周围外扩一定的像素,0表示允许
allowed_border=-1,
# 正样本权重,-1表示不改变原始的权重
pos_weight=-1,
# debug模式
debug=False),
# 在训练过程中生成proposals的配置
rpn_proposal=dict(
# 在所有的fpn层内做nms
nms_across_levels=False,
# 在NMS之前的box个数
nms_pre=2000,
# NMS处理后保留的box个数
nms_post=1000,
# NMS处理之后所使用的box个数
max_num=1000,
# NMS过程所使用的阈值
nms_thr=0.7,
# 允许的最小的box尺寸
min_bbox_size=0),
rcnn=dict(
assigner=dict(
# RCNN网络正负样本划分
type='MaxIoUAssigner',
# 正样本的iou阈值
pos_iou_thr=0.5,
# 负样本的iou阈值
neg_iou_thr=0.5,
# 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3,则忽略所有的anchors,否则保留最大IOU的anchor
min_pos_iou=0.5,
match_low_quality=False,
# 忽略bbox的阈值,当ground truth中包含需要忽略的bbox时使用,-1表示不忽略
ignore_iof_thr=-1),
sampler=dict(
# 正负样本提取器类型
type='RandomSampler',
# 需提取的正负样本数量
num=512,
# 正样本比例
pos_fraction=0.25,
# 最大负样本比例,大于该比例的负样本忽略,-1表示不忽略
neg_pos_ub=-1,
# 把ground truth加入proposal作为正样本
add_gt_as_proposals=True),
# 正样本权重,-1表示不改变原始的权重
pos_weight=-1,
# debug模式
debug=False))
test_cfg = dict(
# 推断时的RPN参数
rpn=dict(
nms_across_levels=False,
# 在nms之前保留的的得分最高的proposal数量
nms_pre=1000,
# 在nms之后保留的的得分最高的proposal数量
nms_post=1000,
# 在后处理完成之后保留的proposal数量
max_num=1000,
# nms阈值
nms_thr=0.7,
# 最小bbox尺寸
min_bbox_size=0),
rcnn=dict(
score_thr=0.05,
# soft-nms is also supported for rcnn testing
nms=dict(type='nms', iou_threshold=0.5),
max_per_img=100))
# 数据集类型
dataset_type = 'CocoDataset'
# 数据集根目录
data_root = '/home/shawn/MyDataset/'
# 输入图像初始化,减去均值mean并处以方差std,to_rgb表示将bgr转为rgb
img_norm_cfg = dict(
mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
# Datasets配置
# 训练的pipeline,数据增强
train_pipeline = [
# 从文件读取图像
dict(type='LoadImageFromFile'),
# 用于给图像导入对于的标签,并使用bounding box标签数据
dict(type='LoadAnnotations', with_bbox=True),
# Resize图片并保持比例
dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),
# 图像反转以及比率
dict(type='RandomFlip', flip_ratio=0.5),
# 标准化
dict(
type='Normalize',
mean=[123.675, 116.28, 103.53],
std=[58.395, 57.12, 57.375],
to_rgb=True),
# 图像Padding 的配置,填充数目应该可以被整除
dict(type='Pad', size_divisor=32),
dict(type='DefaultFormatBundle'),
# 决定数据中哪些key可以被传入pipeline中
dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels'])
]
test_pipeline = [
dict(type='LoadImageFromFile'),
dict(
type='MultiScaleFlipAug',
img_scale=(1333, 800),
# 是否在test过程flip images
flip=False,
transforms=[
dict(type='Resize', keep_ratio=True),
# 由于flip=False这个RandomFlio将不会被使用。
dict(type='RandomFlip'),
dict(
type='Normalize',
mean=[123.675, 116.28, 103.53],
std=[58.395, 57.12, 57.375],
to_rgb=True),
dict(type='Pad', size_divisor=32),
# 将图片转化为tensor
dict(type='ImageToTensor', keys=['img']),
# 收集在test过程中必要的key
dict(type='Collect', keys=['img'])
])
]
data = dict(
# 每个gpu计算的图像数量
samples_per_gpu=2,
# 每个gpu分配的线程数
workers_per_gpu=2,
train=dict(
type='CocoDataset',
ann_file= data_root + 'annotations/train.json',
img_prefix= data_root + 'images/train/',
# 类型,如果就一个类型需要加逗号
classes=('polyp', ),
pipeline=train_pipeline),
val=dict(
type='CocoDataset',
ann_file=data_root + 'annotations/test.json',
img_prefix=data_root + 'images/test/',
classes=('polyp', ),
pipeline=test_pipeline),
test=dict(
type='CocoDataset',
ann_file=data_root + 'annotations/test.json',
img_prefix=data_root + 'images/test/',
classes=('polyp', ),
pipeline=test_pipeline))
evaluation = dict(interval=1, metric='bbox')
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
lr_config = dict(
# 优化策略
policy='step',
# 初始的学习率增加的策略,linear为线性增加,# warmup的策略, 还支持 `exp` 和 `constant`.
warmup='linear',
# 在初始的500次迭代中学习率逐渐增加
warmup_iters=500,
# 起始的学习率
warmup_ratio=0.001,
# 在第16和22个epoch时降低学习率
step=[16,22])
# 最大epoch数
total_epochs = 24
# 每隔几个epoch保存一下checkpoint
checkpoint_config = dict(interval=12)
#log_config = dict(interval=5, hooks=[dict(type='TextLoggerHook')])
log_config = dict(
# 每隔多少个epoch输出一个log文件
interval=6,
hooks=[
dict(type='TextLoggerHook'),
# Tensorboard logger
dict(type='TensorboardLoggerHook')
])
# 设置分布式训练的参数,也可以设置端口
dist_params = dict(backend='nccl')
# 日志等级
log_level = 'INFO'
# 加载模型的路径,None表示从预训练模型加载
load_from = None
# 恢复训练模型的路径
resume_from = None
workflow = [('train', 1)]
# 保存模型的文件夹路径(checkpoints和log文件都会保存在其中)。
work_dir = 'work_dir/faster_rcnn_r50_2x/'
4、cascade_rcnn_r50_fpn_2x.py
cascade-RCNN是cvpr2018的文章,相比于faster-RCNN的改进主要在于其RCNN有三个stage,这三个stage逐级refine检测的结果,使得结果达到更高的精度。
model = dict(
type='CascadeRCNN',
pretrained='torchvision://resnet50',
backbone=dict(
type='ResNet',
depth=50,
num_stages=4,
out_indices=(0, 1, 2, 3),
frozen_stages=1,
norm_cfg=dict(type='BN', requires_grad=True),
norm_eval=True,
style='pytorch'),
neck=dict(
type='FPN',
in_channels=[256, 512, 1024, 2048],
out_channels=256,
num_outs=5),
rpn_head=dict(
type='RPNHead',
in_channels=256,
feat_channels=256,
anchor_generator=dict(
type='AnchorGenerator',
scales=[8],
ratios=[0.5, 1.0, 2.0],
strides=[4, 8, 16, 32, 64]),
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0.0, 0.0, 0.0, 0.0],
target_stds=[1.0, 1.0, 1.0, 1.0]),
loss_cls=dict(
type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0),
loss_bbox=dict(
type='SmoothL1Loss', beta=0.1111111111111111, loss_weight=1.0)),
roi_head=dict(
type='CascadeRoIHead',
# RCNN网络的stage数量,在faster-RCNN中为1
num_stages=3,
# 3个RCNN的stage的loss权重
stage_loss_weights=[1, 0.5, 0.25],
bbox_roi_extractor=dict(
type='SingleRoIExtractor',
roi_layer=dict(type='RoIAlign', output_size=7, sampling_ratio=0),
out_channels=256,
featmap_strides=[4, 8, 16, 32]),
bbox_head=[
dict(
type='Shared2FCBBoxHead',
in_channels=256,
fc_out_channels=1024,
roi_feat_size=7,
num_classes=1,
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0.0, 0.0, 0.0, 0.0],
target_stds=[0.1, 0.1, 0.2, 0.2]),
reg_class_agnostic=True,
loss_cls=dict(
type='CrossEntropyLoss',
use_sigmoid=False,
loss_weight=1.0),
loss_bbox=dict(type='SmoothL1Loss', beta=1.0,
loss_weight=1.0)),
dict(
type='Shared2FCBBoxHead',
in_channels=256,
fc_out_channels=1024,
roi_feat_size=7,
num_classes=1,
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0.0, 0.0, 0.0, 0.0],
target_stds=[0.05, 0.05, 0.1, 0.1]),
reg_class_agnostic=True,
loss_cls=dict(
type='CrossEntropyLoss',
use_sigmoid=False,
loss_weight=1.0),
loss_bbox=dict(type='SmoothL1Loss', beta=1.0,
loss_weight=1.0)),
dict(
type='Shared2FCBBoxHead',
in_channels=256,
fc_out_channels=1024,
roi_feat_size=7,
num_classes=1,
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0.0, 0.0, 0.0, 0.0],
target_stds=[0.033, 0.033, 0.067, 0.067]),
reg_class_agnostic=True,
loss_cls=dict(
type='CrossEntropyLoss',
use_sigmoid=False,
loss_weight=1.0),
loss_bbox=dict(type='SmoothL1Loss', beta=1.0, loss_weight=1.0))
]))
train_cfg = dict(
rpn=dict(
assigner=dict(
type='MaxIoUAssigner',
pos_iou_thr=0.7,
neg_iou_thr=0.3,
min_pos_iou=0.3,
match_low_quality=True,
ignore_iof_thr=-1),
sampler=dict(
type='RandomSampler',
num=256,
pos_fraction=0.5,
neg_pos_ub=-1,
add_gt_as_proposals=False),
allowed_border=0,
pos_weight=-1,
debug=False),
rpn_proposal=dict(
nms_across_levels=False,
nms_pre=2000,
nms_post=2000,
max_num=2000,
nms_thr=0.7,
min_bbox_size=0),
# 注意,这里有3个RCNN的模块,对应开头的那个RCNN的stage数量
rcnn=[
dict(
assigner=dict(
type='MaxIoUAssigner',
pos_iou_thr=0.5,
neg_iou_thr=0.5,
min_pos_iou=0.5,
match_low_quality=False,
ignore_iof_thr=-1),
sampler=dict(
type='RandomSampler',
num=512,
pos_fraction=0.25,
neg_pos_ub=-1,
add_gt_as_proposals=True),
pos_weight=-1,
debug=False),
dict(
assigner=dict(
type='MaxIoUAssigner',
pos_iou_thr=0.6,
neg_iou_thr=0.6,
min_pos_iou=0.6,
match_low_quality=False,
ignore_iof_thr=-1),
sampler=dict(
type='RandomSampler',
num=512,
pos_fraction=0.25,
neg_pos_ub=-1,
add_gt_as_proposals=True),
pos_weight=-1,
debug=False),
dict(
assigner=dict(
type='MaxIoUAssigner',
pos_iou_thr=0.7,
neg_iou_thr=0.7,
min_pos_iou=0.7,
match_low_quality=False,
ignore_iof_thr=-1),
sampler=dict(
type='RandomSampler',
num=512,
pos_fraction=0.25,
neg_pos_ub=-1,
add_gt_as_proposals=True),
pos_weight=-1,
debug=False)
])
test_cfg = dict(
rpn=dict(
nms_across_levels=False,
nms_pre=1000,
nms_post=1000,
max_num=1000,
nms_thr=0.7,
min_bbox_size=0),
rcnn=dict(
score_thr=0.05,
nms=dict(type='nms', iou_threshold=0.5),
max_per_img=100))
img_norm_cfg = dict(
mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
dataset_type = 'CocoDataset'
# 数据集根目录
data_root = '/home/shawn/MyDataset/'
train_pipeline = [
dict(type='LoadImageFromFile'),
dict(type='LoadAnnotations', with_bbox=True),
dict(type='Resize', img_scale=(1333, 800), keep_ratio=True),
dict(type='RandomFlip', flip_ratio=0.5),
dict(
type='Normalize',
mean=[123.675, 116.28, 103.53],
std=[58.395, 57.12, 57.375],
to_rgb=True),
dict(type='Pad', size_divisor=32),
dict(type='DefaultFormatBundle'),
dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels'])
]
test_pipeline = [
dict(type='LoadImageFromFile'),
dict(
type='MultiScaleFlipAug',
img_scale=(1333, 800),
flip=False,
transforms=[
dict(type='Resize', keep_ratio=True),
dict(type='RandomFlip'),
dict(
type='Normalize',
mean=[123.675, 116.28, 103.53],
std=[58.395, 57.12, 57.375],
to_rgb=True),
dict(type='Pad', size_divisor=32),
dict(type='ImageToTensor', keys=['img']),
dict(type='Collect', keys=['img'])
])
]
data = dict(
samples_per_gpu=2,
workers_per_gpu=2,
train=dict(
type='CocoDataset',
ann_file=data_root + 'annotations/train.json',
img_prefix=data_root + 'images/train/',
classes=('polyp', ),
pipeline=train_pipeline),
val=dict(
type='CocoDataset',
ann_file=data_root + 'annotations/train.json',
img_prefix=data_root + 'images/train/',
classes=('polyp', ),
pipeline=test_pipeline),
test=dict(
type='CocoDataset',
ann_file=data_root + 'annotations/train.json',
img_prefix=data_root + 'images/train/',
classes=('polyp', ),
pipeline=test_pipeline))
evaluation = dict(interval=1, metric='bbox')
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
optimizer_config = dict(grad_clip=None)
lr_config = dict(
policy='step',
warmup='linear',
warmup_iters=500,
warmup_ratio=0.001,
step=[16, 22])
total_epochs = 24
checkpoint_config = dict(interval=12)
log_config = dict(
interval=5,
hooks=[
dict(type='TextLoggerHook'),
dict(type='TensorboardLoggerHook')
])
dist_params = dict(backend='nccl')
log_level = 'INFO'
load_from = None
resume_from = None
workflow = [('train', 1)]
work_dir = 'work_dir/cascade_rcnn_r50_fpn_2x.py'
5、服务器运行以及可视化
参数修改
#训练自己的COCO数据集,需要自己修改的地方有num_classes、data_root、classes(全部都要)
#若显存较小可修改img_scale=(1333, 800)为img_scale=(800, 500)
#如果要设置不同epoch,修改lr_config下的step以及total_epochs
#特征提取层model下的pretrained以及depth
服务器运行(举例)
#服务器运行命令,--gpu-ids哪块GPU运行,运行前nvidia-smi查看哪块gpu空闲
python tools/train.py configs/cascade_rcnn_r50_fpn_2x.py --gpu-ids 1
#后台运行cascade_r101.txt是日志输出文件
nohup python tools/train.py configs/cascade_rcnn_r101_fpn_2x.py --gpu-ids 1 > cascade_r101.txt 2>&1 &
tensorboard可视化
#服务器在根目录运行
tensorboard --logdir=work_dir
#windows cmd运行
ssh -L 16006:127.0.0.1:6006 {xx@ip地址}
#本地运行
http://localhost:16006/

3010

被折叠的 条评论
为什么被折叠?



