|
( L$ Z% h# q1 J- P( Z1 u hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com& V3 `( q# n8 T) w5 k+ o4 _
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
4 D/ D& w5 E, ^. h 好嘛，举手之劳。 : e$ N# S6 y3 v$ _ A: b5 q
+ ]# r: P2 n6 w5 q! W 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
( p; O9 d' H/ I! S. r" Q2 ^
7 o; e. J- v* V+ R8 G( S: a" V- r 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 4 D! h$ n6 A, V
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
7 l) {7 w% O/ S+ q& B: C b" M 先看这两张图 + \' I& |$ @' c' ~2 \- v8 {
2 R- h6 s. F; ~. M
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
% c- \; w% l' m5 s& L# P. B $ H4 q* g$ f( |! _
第二张是一张声呐图像，显示的是海底的一辆自行车。
: I% z" b4 E' [; ` 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
; V2 S/ o& N; I9 p- F 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 ! c+ ~3 O) o2 s: X
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
. S. G; [* H; s0 |# e- H* ~1 Q" u
# o8 g7 G: B( O, V7 a 你看这就是辆小汽车
9 P8 H3 P" H. d+ x+ i9 T! C1 ]
5 v' H7 o# D+ t' L 这就是人工堤坝和沙坡 # B9 a: v7 c3 B& A
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 5 u* q, S1 T" c( X0 W
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
7 W5 ?7 |" C* l) @& c- [
3 j2 S0 C1 V3 V: z0 [ 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） - h. Q4 M0 P8 b$ t, B0 v
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
: H- Q( m3 x! H) d/ t
7 Z& c2 s( R D4 _; h% A 大致就是这么个意思，你品，你细品。
, e- D7 I8 U/ l. K4 u# S9 E 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
: b% i/ z& U( {) c& X1 s 2020“水下目标检测算法赛” ( | i9 \. E/ | [( ]0 p; ]
水下目标检测算法赛（声学图像赛项） / 讨论区 ) W2 j8 J1 ~8 |6 b" E/ j" \
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
* e, ]& u7 W( x- ~2 i
, A6 o* z% I! H& {* H 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 / ~8 {2 ]: Z' p# n! ]) i( ~
讲完图像之后，我们再来讲讲题该怎么做 % _+ u0 f9 ^# `+ k# X& [
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 8 x: c. f# S! m) O) ~+ ?+ [
举个例子： 9 b* c1 ~) z- R1 E7 O
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 0 s$ B2 Y3 U: G" i. E/ Q! N5 l
老师给的论文中，使用的方法为CNN/FCN 5 D3 ]9 W0 S7 ~2 `4 n: N( x; ]' U
8 v. F" r8 P1 u* b; i 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
$ ?( T& @6 P) l4 e4 L0 q 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： $ n: n) p* O5 H' N# _; D& c
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” , O/ Q- \) I& i; i9 }+ r8 U
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
J: H( ?$ p9 F- K* n 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
# S1 @: [7 P D- W/ P4 ` 0 U% A, P8 i. a/ q. O
最后，要进行我们的传统项目，也是大家最最最期待的环节：
6 l* J: I1 @% B' C5 D" u; y' w 官方baseline公布. G1 w+ P1 y2 |: K
使用Google Object Detection 完成水下目标检测 $ q3 ]1 y) ]/ j
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e ! J" v, C, y, u0 o& q
项目优雅介绍了baseline的使用全流程，欢迎大家试用 , N$ r( C# ~( s5 P1 b8 r7 `4 D
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
. D/ H+ `% V+ O# o$ r" r 懒人版声学 Baseline ' a$ T( }. H% ]& Q0 G( \
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 , A, W: K0 l+ P6 |, g1 f) {6 B
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 3 e' h! c; W+ I1 F+ i( z S7 x, W
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
/ A- M" n4 w, \5 m' P! H1 }0 a6 B 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
* H8 s+ P" a2 p+ J8 L ! I5 C4 {# D3 D
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
& V, n# x+ t2 z6 K7 O 你不算我不算，声呐图像怎么办？ 8 b- u, B. r5 E0 q0 F8 X
你参赛我参赛，海底世界任我探！ 4 {1 @. A4 v$ `- {6 K
期待在排行榜上看到各位的大名。以上。
2 a' E/ a- B" h3 _7 ?6 F. Q$ D- v 相关资料：
7 k; i9 c: n! n 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. - t- m1 ^2 ] v* W
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
6 V' F" r- \& m: c5 T) e
0 g. N+ b: j5 G# _: ~' g% i! ?- l* g5 z' w7 e( i/ F
7 t* i/ N' l2 Q' n1 o4 B- K9 d; b5 k d
| 
