图片标注工具 labelme 中的 AI 多边形（AI-Polygon）如何使用

独立观察员  2023 年 9 月 16 日

 

最近使用过深度学习图片标注工具 labelme，发现其中有个 “Create AI-Polygon” 功能，也就是创建 AI 多边形，发现好像网络上基本没有相关介绍的文章，所以我打算来抛砖引玉一下。

 

1、安装

1.1、安装 Python

下载地址：https://www.python.org/downloads/windows/ 

下载之后运行安装包，记得勾上加入环境变量的选项：

 

安装 pip（用于下载和安装其它 Python 包）：

 

可以选择安装路径：

 

比如我就是安在 D 盘：

 

1.2、更改 pip 的源网络

参见 清华大学开源软件镜像站 https://mirrors.tuna.tsinghua.edu.cn/help/pypi/ 

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

 

可以看到切换镜像前后，下载速度有很明显的差异：

 

1.3、安装 labelme

这个就简单了，直接在 cmd 窗口使用 pip install labelme 来安装即可：

 

会顺带安装好各种依赖，包括所需的 QT 相关的包等等：

 

2、常规使用

直接在 cmd 窗口使用 labelme 命令启动：

 

下面是软件界面概览，总体还是比较直观的：

 

通过创建各种标注形状来在图片上标注目标对象，其中比较常用的就是多边形、矩形、圆形等，然后还有本文将要介绍的 “AI 多边形”：

 

比如使用多边形的话，就是用一个个点围绕目标，最后首尾衔接，然后就可以填写标签了：

 

如果不满意，还可以对多边形进行编辑：

 

其它形状就更简单了，直接框选起来就行了，比如圆形。标注好之后，右边就会显示标注的多边形以及标签了：

 

然后按 Ctrl S 保存出一份 json 文件就大功告成了，当然也可以设置为在每个标注完成时自动保存，也就是点击一次 File–Save Automatically：

 

上图中还体现了一些快捷键，比如 上一张（A）、下一张（D）。还有一些常用的快捷键（其实也都是通用的快捷键），比如 撤销多边形的当前点（Ctrl Z）、撤销多边形的所有点（Esc）等。

 

3、创建 AI 多边形

AI 多边形 其实也就是智能化的多边形，或者说自动多边形。就是鼠标点击或者移动过程中，会自动形成一系列点，围绕住你可能想标注的目标对象。

创建 AI 多边形的方法就是，在图片上右键 –Create AI-Polygon：

 

3.1、下载模型

因为没有选择创建 AI 多边形时，界面顶部的 AI Model 是不能选择的，而且默认选中的是 balanced 版本的模型。所以，第一次选择创建 AI 多边形时，后台会去下载 balanced（平衡）模型：

 

这个模型的关键字是小写的 “L (l)”，然后每个模型都有两个文件，一个 encoder 的（比较大，几十到几百 MB），一个 decoder 的（比较小，几 MB）。

总共有三个模型（快速、平衡、准确），另外两个一个更小一个更大，对应关系如下：

 

如果在软件上切换的时候让它自动下载比较慢的话，可以到 GitHub 上进行下载：

https://github.com/wkentaro/labelme/releases 

 

推荐还是使用 “平衡” 的这个，“速度” 的基本没有智能，“准确” 的效果也有点迷看情况选用吧。

 

如果是自己手动下载，需要重命名为正确的名称，具体名称以命令行输出的为准，然后放到正确的目录（C:Users{用户名}.cachegdown）：

 

如果不方便下载，可在公众号 “独立观察员博客” 中回复 “labelme” 获取网盘地址。

 

3.2、使用及效果展示

下载好模型之后，使用就比较简单了，基本点一两个点，移动几下鼠标，目标就被围绕得八九不离十了，然后双击一下出现标签填写框，之后就和普通的标注流程一样了。

 

以下是一些展示：

 

当然，如果要求严格的话，复杂的对象基本还是需要手动编辑一下点位的，比如这张就是编辑过后的：

 

4、资源

完整演示过程视频：https://www.bilibili.com/video/BV1Sw411i7bq/ 

AI 模型分流下载：在公众号 “独立观察员博客” 中回复 “labelme” 获取网盘地址。