|
# @8 U; {4 a% _; Z/ S2 C k- u hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com( R. N- _% M# K& u4 U6 m" n+ v
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 ) ~( n( C' `! H* O7 a9 e5 F
好嘛，举手之劳。
4 H, c2 A' M% T3 S
% S" a% r) b( D, t 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的 % K* |" Y) s& o E
0 e! T, a. b0 y/ N6 d7 Z% M$ O
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
( Q. @/ }9 H- d8 S: [ 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
, g% {, j }- U+ H: U 先看这两张图
2 r( _3 L) x0 D/ ] |; l& }
+ I; Q0 [" G5 M9 P 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
8 k$ D: m6 d* b7 } " ?0 m: m. h7 |; v
第二张是一张声呐图像，显示的是海底的一辆自行车。 ' V$ ^( @" u2 S+ A
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
1 `; Q* [* x2 U+ b1 Q, a% S 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。
& S( x) F, X" x 有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。
# C6 c. M' P9 Q2 P) ?3 _ - \! z$ a1 g) t" c" ~
你看这就是辆小汽车
% W0 K1 B# K) }5 |* |, q
* p5 o2 C* t! v) L6 o 这就是人工堤坝和沙坡
/ s# G u1 K I9 y3 q. |# R3 |6 L 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 $ [$ n7 }4 x7 |# G! ]0 j/ a! f3 Y: Y
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 0 v5 E r1 d( y( H" Z
$ ~& S$ m: k* R
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） % Q# y( o! G/ ~% q7 R
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
z4 \( V- |; a0 `2 b
' {3 R+ {, w) k# U 大致就是这么个意思，你品，你细品。
3 B6 Z$ R' t# P 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 7 G5 A" g; {( g* S. ^" {7 H5 j& |
2020“水下目标检测算法赛” - X1 r6 w" X1 R: n. X$ C+ ]: w* ?1 e% A
水下目标检测算法赛（声学图像赛项） / 讨论区 % u' o1 g; V3 j% Y
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？
) ]0 [/ y( m2 S. }- q& ?% Z
( |) I5 x. }! M' e$ Z# ^0 j0 U 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 ; s! v! Z8 E3 q0 H% T6 D4 c
讲完图像之后，我们再来讲讲题该怎么做
0 h: @& m3 O0 }6 X& E0 R* t- S 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
# N( F% J/ N6 z$ F6 y 举个例子：
( n- F }" u8 W: G( Z, y8 T WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
/ [3 |. t% k0 o. S 老师给的论文中，使用的方法为CNN/FCN * S" u9 i& H, r0 E$ @ \" `/ K
6 |$ K$ E2 A' d# ] 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
7 q2 L5 A P) F' X3 _ 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： 3 @; X# r: n" w z) G2 E( R
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。” % ]2 F0 ~3 b, t; _
以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
5 K" S! W3 h% I4 p* h 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？
- H% f8 {% j7 O0 { 0 R* N, g4 S1 ~2 K
最后，要进行我们的传统项目，也是大家最最最期待的环节：
" r" Y! O$ t) S! z5 j 官方baseline公布
4 U) e E0 B. j2 o8 G- x 使用Google Object Detection 完成水下目标检测
3 o$ ]& v7 U( T" K1 |0 Q https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e : T6 \) Z2 V9 V1 G
项目优雅介绍了baseline的使用全流程，欢迎大家试用
5 y, _' r9 X% Z/ t" T" V- z [ 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
# N1 n( |' U) P9 M7 ^% R, Q7 x/ X- _ 懒人版声学 Baseline ' B d( L0 `3 j" M& X
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 3 F: S1 D- H! ?% g9 Y* k( J9 `( W# {
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 ( I1 m' `$ ?4 Y& T$ f
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 ; o, W( x; q* t% I% k$ s6 H, _
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 0 b5 v& O k: ?* E
2 B& V7 [/ j/ }% a* j- K$ a 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
. R! {, ]* D8 {$ J 你不算我不算，声呐图像怎么办？
1 I' }% j6 h5 a" U2 Q: V 你参赛我参赛，海底世界任我探！ 3 I4 v7 _9 O- S+ e
期待在排行榜上看到各位的大名。以上。
1 C y( B# P. n- c 相关资料：
- K- d, S$ j7 M1 [ 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
0 a) | Y) _! O, Z) V7 Y7 | 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
6 a, |. |; D. c- E; N: u) ?
1 Q3 M8 b. o3 ]* f9 G
% j0 S& R# G' v4 c/ h$ Q6 R1 x6 `* H8 S, T3 j& a
0 X1 \( F( U1 X | 
