|
5 V8 h. c+ c' L1 r9 m; } hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
+ e: w: H9 Z; t. K7 e 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 , W: v8 T Y& l. I
好嘛，举手之劳。
2 `' L4 ^9 ]: `
t9 W" e, k" w* I0 i' j& e- `" F- d 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 4 Z% [) M6 H/ r/ R2 ]7 }
9 {; [ G1 W* O; P4 f
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
: x$ U0 a" b0 Y0 c 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 + x& ~. I' x* b ~
先看这两张图 , O8 t5 s! l+ F: l! F
$ b% s6 q6 N: m C0 b 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） + K0 t) P4 t$ N* s+ k6 z M+ a
4 |$ U; a3 c M3 H2 a N0 I 第二张是一张声呐图像，显示的是海底的一辆自行车。 3 {3 Y6 z/ M0 y2 M0 l# q- `8 [# \
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 ; f! q, n% _, h4 }* B6 {% H
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
q2 W5 D+ X5 r 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
% x- q4 ^4 U, p! _; c+ v1 _
7 X: g5 b8 Q3 I5 H6 s* B 你看这就是辆小汽车
8 s! A8 v3 J7 Q 7 l7 [4 h9 B& O
这就是人工堤坝和沙坡
; `% K$ L' |* ` _3 q2 Q 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
0 `& p! S1 m5 Z J 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 & y& _4 m3 b+ [+ H9 \- t/ \, I$ L
# y8 T. d! w. w/ X 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） / [: Y6 J2 ?4 h( I# i/ R
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
4 A1 r& z) e" L3 h- q/ F1 ?
7 B8 ^9 @! X% |, N5 x3 `2 p- l; H 大致就是这么个意思，你品，你细品。
' X' J# y" J# @. ~ Q; n9 X; e 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
: S4 Z; E$ d- e. O 2020“水下目标检测算法赛”
0 o$ M) z2 ~+ M% h- R 水下目标检测算法赛（声学图像赛项） / 讨论区
! r: o$ G. ?, ?4 V. d; O5 g" p 有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
9 t- j8 R& c% W9 k2 V$ @' u 7 c5 z( `) X' O8 ~7 ^ O8 ?
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 * v+ _2 I8 x% j+ ?0 M! u1 h
讲完图像之后，我们再来讲讲题该怎么做
+ I# h" T8 W5 B4 }: o& ` 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
; F. s% B7 U9 u 举个例子：
0 V0 B) g2 e2 C$ Z1 v WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 6 n! U; X2 k' F4 I' X! T* t" E
老师给的论文中，使用的方法为CNN/FCN V$ `$ t( Q, v6 p9 v- M% _
: a' U$ D4 t; e1 z$ E
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 ' s" ~7 [4 K* C1 F6 _. g
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
5 |1 Q( r5 \, A. } “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
7 j; ]" v: {' p. ^3 b/ V' { 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 7 _! @* b t" x9 s- y
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ : S& Q3 W3 w6 T2 Z. k& x
0 T: K# |$ ~) Z7 g' z6 @2 N3 `6 h 最后，要进行我们的传统项目，也是大家最最最期待的环节：
& W# w' G7 Y; K' f 官方baseline公布
; `# D3 L! V7 Q7 l& H 使用Google Object Detection 完成水下目标检测 # D% k) {" }3 s4 w7 \
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e - q8 O$ \# }- K& R9 {- U! g1 M
项目优雅介绍了baseline的使用全流程，欢迎大家试用
2 _' D8 p' U5 b8 j+ z: _, J: O 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 # H0 `# s1 _3 O- X L# O, K: G+ _
懒人版声学 Baseline
# z# q2 V, [9 t' _5 i N% U6 U https://www.heywhale.com/mw/project/5e69d767ae2d090037791205
' j: b8 m# G6 k2 W& k- E! g$ @ 某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 3 b( ~3 q; z/ O) y: L9 o
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 & |0 G3 ^7 }1 R; N6 {/ O
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 1 I% _$ o+ x+ ~# |8 H
& }8 A W M }( h 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
# l8 @ F0 a9 y 你不算我不算，声呐图像怎么办？
& W8 j. Q% G0 @1 k- J2 c 你参赛我参赛，海底世界任我探！
7 Y7 m2 o0 e8 V* ]- d: U C 期待在排行榜上看到各位的大名。以上。 0 k8 Q' }& @0 {* k: l7 m6 \8 k
相关资料：
% ~2 W- X- l4 n) Y l" @ 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. 9 _& l: d3 g8 o' G2 n8 Q
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
R& w8 @9 }. I. P' M" T$ f7 D4 k" A/ Y, c7 k+ x6 n; H5 ]7 c
3 z2 J; U3 q v; F* [& j$ C2 R; ]+ G/ T
( i) O, B+ c# b: a% W. x) e$ T
| 
