。

我们可以搜索一种类型的对象#xff08;单对象检测#xff0c;如本教程所示#xff09;或多个对象#xff08;多对象检测#xff09;。

通常#xff0c;我们使用边界框定义对象的位置。

有几种方法可以…

一、说明

在对象检测任务中我们希望找到图像中对象的位置。

我们可以搜索一种类型的对象单对象检测如本教程所示或多个对象多对象检测。

通常我们使用边界框定义对象的位置。

有几种方法可以表示边界框

[x0

在本教程中我们将重点介绍在iChallenge-AMD竞赛的医学眼部图像中找到中央凹的中心。

二、获取数据

有两个主要资源可以获取数据。

第一个是iChallenge-AMD网站

https://amd.grand-challenge.org/。

您首先需要注册参加比赛然后可以下载数据。

第二种方式不需要注册它是从

https://ai.baidu.com/broad/download

下载。

在这里您需要下载图像的“[训练]图像和AMD标签”和带有标签的Excel文件的“[训练]光盘和中央凹注释”。

下载并提取数据后您应该有一个文件夹

文件Fovea_location.xlsx其中包含每个图像中中央凹的中心位置。

三、探索数据

pd.read_excelpath_to_labels_file

index_colIDprintHeadprintlabels_df.head

excell

pltplt.rcParams[figure.figsize]

6amd_or_non_amd

我们可以看到中央凹位置的两个主要组但更重要的是对于某些图像中央凹质心的标签是00。

最好从数据框中移除这些图像。

labels_df

现在我们想查看图像的随机样本并标记中央凹的中心。

为此让我们定义一个函数来加载带有标签的图像另一个函数根据标签在中央凹周围绘制一个边界框。

PIL

npload_image_with_labellabels_df

idimage_name

ImageDraw.Drawimage.rectanglec_x-w//2

c_y-h//2

show_image_with_bounding_boximage

label

从上图中我们需要注意的第一件事是对于不同的图像图像的尺寸是不同的。

我们现在想了解图像尺寸的分布。

为此我们在数据集中收集图像的高度和宽度。

heights

Image。

openimage_path.sizeheights.appendh

widths.appendwsns.histplotxheights

hueamd_or_non_amdsns.histplot(xwidths,

hueamd_or_non_amd)

数据增强是非常重要的一步它让我们扩展数据集特别是当我们有一个小数据集时就像我们的情况一样并使网络更加健壮。

我们还想应用一些转换来使网络的输入保持一致在我们的例子中我们需要调整图像的大小使它们具有恒定的维度。

除了图像的增强和转换外我们还需要照顾标签。

例如如果我们垂直翻转图像中央凹的质心将获得我们需要更新的新坐标。

为了更新标签和图像的转换我们将自己编写一些转换类。

import

torchvision.transforms.functional

tfclass

RandomHorizontalFlip:Horizontal

flip

max_translation[0]self.max_translation_y

__call__(self,

int(np.random.uniform(-self.max_translation_x,

w)y_translate

int(np.random.uniform(-self.max_translation_y,

h)image

brightness_factorself.contrast_factor

contrast_factorself.gamma_factor

gamma_factordef

np.random.uniform(-self.brightness_factor,

brightness_factor)if

np.random.uniform(-self.brightness_factor,

contrast_factor)if

np.random.uniform(-self.brightness_factor,

gamma_factor)return

scale_labelTrue):self.scale_label

scale_labeldef

unscale_labelTrue):self.unscale_label

unscale_labeldef

image_label_sample[1].tolist()image

image.sizeif

将它们连接起来。

然后我们将完整转换应用于带有标签的图像。

Compose

from

load_image_with_label(labels_df,

transformation

show_image_with_bounding_box(new_image,

new_label)

要将数据加载到我们的模型中我们首先需要构建一个自定义数据集类它是

PyTorch

处理我们可以通过索引从整个数据集中获取图像和标签的方式__len__()-

import

labels_df.reset_index(dropTrue)self.transformation

transformationdef

[Fovea_X,Fovea_Y]].values.astype(float)image,

label

在实际创建数据集对象之前我们需要将数据拆分为训练集和验证集。

我们用于将其拆分为训练数据帧和验证数据帧。

scikit-learnlabels_df

from

random_state42)train_transformation

Compose([Resize(),

show_image_with_bounding_box(*(ToPILImage()((image,

label))))

show_image_with_bounding_box(*(ToPILImage()((image,

label))))

下一步是定义一个数据加载程序一个用于训练数据集一个用于验证数据集。

train_dataloader

中进行随机排序因为当我们将数据拆分为训练数据集和验证数据集时我们已经对数据进行了随机排序。

现在让我们看一个批处理看看结果是否符合预期。

image_batch,

out_channels):super().__init__()self.base1

nn.Sequential(nn.Conv2d(in_channels,

in_channels,

paddingsame),nn.BatchNorm2d(in_channels),nn.ReLU(True)

)self.base2

nn.Sequential(nn.Conv2d(in_channels,

out_channels,

paddingsame),nn.BatchNorm2d(out_channels),nn.ReLU(True))def

forward(self,

ReLU。

然后我们将原始输入添加到结果中并应用第二步该步骤再次由卷积层组成然后是批量归一化和

ReLU但这次我们更改了过滤器的数量。

现在我们已准备好构建模型。

class

first_output_channels):super().__init__()self.model

nn.Sequential(ResBlock(in_channels,

first_output_channels),nn.MaxPool2d(2),ResBlock(first_output_channels,

first_output_channels),nn.MaxPool2d(2),ResBlock(2

first_output_channels),nn.MaxPool2d(2),ResBlock(4

first_output_channels),nn.MaxPool2d(2),nn.Conv2d(8

kernel_size3),nn.MaxPool2d(2),nn.Flatten(),nn.Linear(7

2))def

num_params],col_width20,row_settings[var_names]

七、损失和优化器

torch.optim.Adam(net.parameters(),

lr1e-4)

centroid_to_bbox(output_labels)target_bbox

centroid_to_bbox(target_labels)return

torch.trace(box_iou(output_bbox,

target_bbox)).item()

None:optimizer.zero_grad()loss.backward()optimizer.step()return

loss.item(),

在此步骤中我们将训练模型以找到中央凹。

我们首先定义一个辅助函数来进行训练步骤这意味着遍历数据加载器中的所有数据使用我们之前的函数获取损失并更新训练案例中的权重并跟踪损失和

IoU

None:model.train()else:model.eval()running_loss

0running_iou

running_loss/len(dataloader.dataset),

running_iou/len(dataloader.dataset)

现在我们有了进行培训所需的一切。

我们定义了两个字典来跟踪损失和

IoU

torch.optim.Adam(model.parameters(),

lr5e-5)for

{epoch1}/{num_epoch})training_loss,

trainig_iou

train_val_step(train_dataloader,

model,

optimizer)loss_tracking[train].append(training_loss)iou_tracking[train].append(trainig_iou)with

torch.inference_mode():val_loss,

val_iou

None)loss_tracking[val].append(val_loss)iou_tracking[val].append(val_iou)if

val_loss

model)torch.save(model.state_dict(),

loss:

{trainig_iou:.2})print(fValidation

loss:

最后我们想看一些图像看看模型的预测在多大程度上接近中央凹的真实坐标。

为此我们基于之前的函数定义一个新函数但这次我们为预测绿色和目标红色绘制边界框。

show_image_with_bounding_box

def

show_image_with_2_bounding_box(image,

label,

image.copy()ImageDraw.Draw(image).rectangle(((c_x-w//2,

c_y-h//2),

widththickness)ImageDraw.Draw(image).rectangle(((c_x_target-w//2,

c_y_target-h//2),

widththickness)plt.imshow(image)

model.load_state_dict(torch.load(best_model.pt))

model.eval()

rng.choice(range(len(val_dataset)),

n_rows

output.squeeze()))plt.subplot(n_rows,

n_cols,

ii)show_image_with_2_bounding_box(image,

output,

在本教程中我们介绍了为单个对象检测任务构建网络所需的所有主要步骤。

我们首先探索数据清理和排列数据然后构建数据增强函数以及数据集和DataLoader对象最后构建和训练模型。

我们得到了相对不错的结果欢迎您尝试通过更改模型的学习参数和架构来提高性能。