|
4 A1 s, v& `) Y8 D. A9 |% e+ Y hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
% q% q/ |. o8 x; D/ u 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 ; n1 z, A; f z3 f3 O% \# g
好嘛，举手之劳。 , d; t. g0 o9 L! n, I i
5 M* ~# g3 p U; }% r 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 - L B) p: a, h- Y/ t. v/ F
% y8 K* h# @7 `* p
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
7 ^" h7 g- A# F+ h& J 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
6 P; d8 t% J/ u& I! D" | 先看这两张图 6 n+ l: A* h8 }# m7 ?) |" ^
+ d, }/ E* g2 [8 h- a 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
1 b: d( n% U9 e0 K
6 l6 }$ i1 ~$ p 第二张是一张声呐图像，显示的是海底的一辆自行车。 3 B3 ?8 W4 I. P6 P5 G
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 $ N8 H! c. J+ l5 a+ c5 K
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
( q. z- R" a5 d5 \% `5 S 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 + S5 M4 Z" E# L+ x$ {. H# d
' x' R$ M0 x. C M/ S0 A
你看这就是辆小汽车 i8 d$ P( E' E( l
+ V- W x& N3 h$ M
这就是人工堤坝和沙坡
, }2 A8 x9 k5 ^ 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
9 \# r! ]$ j1 }9 L1 Z! | 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 # X: z8 Q& ~: _( J; \* ?: j& M
+ \' Q( D2 I+ j( z" a! W8 j0 Q 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”）
: F7 k8 o8 _/ y 而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
' e! Y0 w- P. M # H: d1 L; F3 U5 f$ |& h5 `
大致就是这么个意思，你品，你细品。
( \: v; I9 ~' A. {' h ]/ ^ 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
/ {7 _0 {6 c6 S 2020“水下目标检测算法赛”
9 P! j/ ]- t7 @. s1 l4 T 水下目标检测算法赛（声学图像赛项） / 讨论区
. A) a) ^4 o& y8 X: U 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
, z8 X6 W- _/ ]4 q3 ~
! a. @9 ^1 F! d3 [ 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。
4 X$ Q1 }5 R- ?3 T! b 讲完图像之后，我们再来讲讲题该怎么做
9 F3 E7 ^- I# w* V$ q, g 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 ! E/ m$ I4 H7 h' T1 k }; I
举个例子： . x# `8 X9 V) c: a8 ~
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN . Q0 b9 p( ^" T |- h& B% I
老师给的论文中，使用的方法为CNN/FCN 0 {, w2 Z/ \; c3 V1 \
, c8 K6 d+ U0 l- K$ k- v* E 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
) H. A* g2 W; n5 Q 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
6 E7 d: [5 r& [6 | “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” + B5 X' ~7 h3 A0 Y$ k
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
2 s* h( l* ^- n8 j2 e" v! t 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
+ O6 G) E, v/ |4 C. w! y
) P+ I1 E/ l" R- S d0 ^, F 最后，要进行我们的传统项目，也是大家最最最期待的环节： ' ?0 z, g7 U9 E- ~* s
官方baseline公布
/ ?8 h. K2 Y1 u0 H8 D2 M; M 使用Google Object Detection 完成水下目标检测 3 F& v/ c& B) ]: G
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
( g/ f. X6 F* Q1 u 项目优雅介绍了baseline的使用全流程，欢迎大家试用 6 k1 }7 s9 h' X+ A5 M( L
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 : B$ ~% S- x/ |% y$ V! E. b" Z
懒人版声学 Baseline
7 W! ^; H8 b+ P- S https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
7 H4 \2 }0 [, `1 Z 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
* `- |( M. q& _5 H8 G 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
" d) f. O5 g8 X% p8 _/ Z 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
+ s ^+ x2 E. M7 L 6 }( L% {9 D9 s' ]; K
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
3 Y% i. }. V. M: g# v 你不算我不算，声呐图像怎么办？
# J$ _" I5 u9 z$ ?# ?- `* C8 k7 Y 你参赛我参赛，海底世界任我探！ / s7 e8 Q# K! K- C
期待在排行榜上看到各位的大名。以上。
, Y/ C" X) b! K8 j$ J$ H. ]& m( O6 { 相关资料： $ l; r! E. m- o- Y, x
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. ) _9 i/ O2 d, F) [. b L, b: g- ?! ]' N
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
: B( R* [5 W3 C6 E$ b+ k7 ?) I J \9 a C6 G. h# M
" d) I8 D# r9 }) Z# p9 r$ k% ^! p
2 f( t8 t4 T( B! U# Y1 v
5 Q/ ]2 J; H5 p7 }' q v, P. R" \
| 
