|
. q4 p8 p. X/ V3 s3 Q2 B
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
( o2 K* {; `& V8 F 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 4 Y" H0 @3 G9 S3 ?4 [3 A$ s
好嘛，举手之劳。 5 ]6 S) z) ^6 k k' e
: b4 ]8 T' X7 S0 Q9 b 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 + p; q; S f) W q& \
) f* n: P2 ~8 @6 A" K
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
9 I) \2 t, m0 A7 a5 ^( N( D 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
3 r# k+ Z% y4 |" L 先看这两张图 , I, m5 x4 `: d4 q8 _, O
2 P+ d: Y$ X5 q' J: q* P
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
4 q/ \4 x. A: y+ H1 d( w% { , U, R* c2 ~- m. Z+ C
第二张是一张声呐图像，显示的是海底的一辆自行车。
: i& r, \$ ]/ a3 f, e, l 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 6 }# u- N; U9 j& Y' @# n% v) d
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
R- Y- N6 P8 R 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
+ S* `! U; V) H( s5 n
6 |( Z( Y6 |0 R' U! } 你看这就是辆小汽车
/ j; V6 b+ L. R6 E' W1 z
7 d: o) i( A+ v2 w' J( L 这就是人工堤坝和沙坡
; F9 l& o: Y) M* y 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 2 P8 A- q% F; w0 d) j* e& F
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 u( d0 [. z+ x3 M- y
6 X) W9 q& H! ]1 H t9 f/ F" Y
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 0 @5 B# R6 z* Q$ n
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 " u, x) J6 m& A$ U" K5 m! u
7 n0 `8 X8 L1 `9 |% n 大致就是这么个意思，你品，你细品。
! q, F+ D& Z1 k 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
0 y9 W- A' @: ^6 o; p R4 i. } 2020“水下目标检测算法赛”
1 m( p: w" y5 \- \$ T- ^* i* ^& p 水下目标检测算法赛（声学图像赛项） / 讨论区 " w! N+ N. D1 a# u
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ 1 F4 u/ }- Y! `- F
! U4 s. Q9 @7 _! Y* J: e: k: a 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 7 z' {! h: A3 T5 G8 k0 g! U
讲完图像之后，我们再来讲讲题该怎么做 4 Y7 g$ o5 l) O* J& Q
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 7 E& x5 H, o( n( i3 i; O2 H8 \
举个例子： ! Z+ P8 i E0 v* k6 ^6 D
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
1 S0 A/ f1 I, d, b 老师给的论文中，使用的方法为CNN/FCN / w: Y2 a" B( r2 H
7 h3 j4 a1 B1 a t$ P& d" _7 D
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 ( H6 ]# `$ n( ?
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： , \9 M0 k! V7 n$ P. L
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
9 r/ f& P) S9 {5 G; ^ 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
! N; A5 ^" F8 v x 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
. l1 h" C7 D# S( V, a- n \ # G/ U: n# q5 h$ Y0 W" M
最后，要进行我们的传统项目，也是大家最最最期待的环节：
4 C! n. E! n* E$ P. D$ } 官方baseline公布
- ^2 C B. @: l0 J0 j+ U. R; c 使用Google Object Detection 完成水下目标检测
( `: [; f, P, i. V https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e . E9 v" G$ @3 C6 ^5 {
项目优雅介绍了baseline的使用全流程，欢迎大家试用
' \, b4 F$ a2 ^# ` 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
/ B5 R/ [ o% e- c# {/ W 懒人版声学 Baseline
5 p4 }* K9 Z% c0 o https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 , T; q2 @* P, Z7 |+ y% l N+ H
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 , r4 k" W3 f9 y" J; p$ ?
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
+ [' M5 ?% k0 z2 V/ I# @# v" F) L 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
+ S1 Y9 c6 ?6 C9 v c 9 g4 ~' G$ t- e/ C3 e& I8 i( W* o8 l
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。 , f$ J: g& H5 _' `0 U
你不算我不算，声呐图像怎么办？ + L- y/ Q" ?4 o. E9 D4 b
你参赛我参赛，海底世界任我探！
4 R5 X7 n6 _% v9 j' G. B2 z3 o. P 期待在排行榜上看到各位的大名。以上。 ) p/ y% h( W6 z5 P8 p7 H4 S: ?- s
相关资料： 2 g9 S! a. f+ ~( F% ?
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. R3 C. p1 M0 g! o; r( B2 N
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 * R7 M9 K* n- Z: h2 u& x- v t% }$ _- A
5 v" v8 _& r1 n. Z# r7 J, f0 \) a- M8 l
2 N0 L- U: M) h9 o
. \ W) N& b$ M! U) W
| 
