3 c* D, ?- e- N 前言
% r3 ?; d. b: F 前段时间忙工作的事情，所以没有给大家及时更文，近期小瑞根据各版块的知识重新划分了一下结构，新加的版块有“专题强化”和“可视原理”，专题强化这块日后会经常写一些单一性知识的文章，和其他版块的内容相关性不大但是也是必须要知道的一些内容。可视原理这块小瑞想把各个算法用视频或者其他方式来展现其实现原理。让大家更容易理解算法的本质。好了，先说这么多，今天的内容是小瑞在工作中遇到的一些问题，周末抽空给大家整理总结一下。今天的主要知识就是在 Tensorflow 中的数据处理及读取数据的方式.
% v8 D" Z" l' s% d
1. 图像处理
6 q0 k: R; i0 a& w; Y/ f% Z% a3 A
常见的图像处理有图像去燥、图像超分辨、图像增强等等。要对图像进行处理，首先要构建所需要的数据库，处理的数据的方式也是多种多样，常见的有:
4 m/ e U( U7 @
- Y. |6 q, `9 z4 |; ? 图像颜色域的变化(例如RGB转Gray)
( Y' p, Q* @7 P
数据增强 (Data augmentation)将图像翻转，缩放，裁剪，旋转等
4 L. L* A& z8 w 图像块(Image patch) 就是从整张图像中, 扣下小块的小图像,这么做主要是因为可以增加训练数据的量, 另外小块的图像训练起来速度更快, image patch的合理性是基于卷积神经网络的感受野(Receptive field)通常不会太大.
" f/ q0 @# k) [6 o1 b+ R 做完这些，然后就需要为深度网络喂数据,还需要写Batch Generator, 就是用来生成一个batch的东西.
, w0 j8 d2 W# s/ B
训练方案
0 W* Z- V, k0 i" y3 X1 d. i
构建数据库的部分是独立, 也就是说我们对找到的图像做预处理, 将预处理的结果保存起来, 这就算构建好训练的数据库了, 训练时从数据库里直接拿数据进行训练
8 X) i+ |, ^! u2 M1 _ 训练时实时地预处理一个batch的图像, 将处理的结果作为训练的输入
2 |: |1 Y/ E1 ]- }5 H 第一种方法将训练集的构建和网络的训练分开，并且将预处理结果存在电脑中，这样做训练的代码会比较简单，且直接读入处理好的数据能让训练速度更快，当然，不足的地方就是不够灵活，如果预处理的方式改变了(例如, 原本是RGB转HSV, 现在我要RGB转Gray), 那么需要重新构建一个数据库，造成硬盘空间的浪费. 第二种方法虽然训练速度不如第一种，但是足够灵活, 一般来讲主要关注第二种方法. 在TensorFlow中，图像处理主要由tf.image模块支持, batch generator主要用tf.data.Dataset实现，下面来看下整个流程的具体实现. 事先准备了一个文件夹, 存放了19张图片, 作为我们本章代码的示例图片
: F! Z% E" N9 g. b* [- J8 O
$ E: Q6 @' i4 B6 f& V5 ~
对于训练来讲, TensorFlow提供了一整套图像预处理以及数据生成的机制，这里实现了一个简单的常用的数据处理框架, 总结为三步:
3 c* _5 t0 Y8 m3 Q4 p
9 l/ E& N) @% U: K. h 获取所有图片的路径
: x$ V8 v0 @/ T8 N 图片预处理的代码
& p3 H9 l; h' W3 G 定义数据生成器
) E% \ K; f0 i* v+ k 2. 图像处理相关代码
* d; _9 N! n/ n$ |, k% @1 G$ c
( G8 l: D- [* C' @, ~ 1. 获取图片路径
" A1 g, X; P: X6 D. a( O 
% a/ s0 I: z- A1 L8 o
8 K) i6 w" U0 [' b# Y! r 
3 h8 B, ^4 U5 @9 A. ^
' h8 d) ~( f" l/ M7 J
2. Batch Generator
6 S, y+ l5 V& H7 S, P0 }/ f0 @) P
! n# _: o4 |4 n" e- D4 \ 
) W% H; D8 T4 [) \
# ^; [: Z+ v2 a; y3 e) {2 b& U
3 f9 K; U, g0 p8 ~
3. 处理效果
) N7 N6 P8 f# k, d3 K1 z7 k
! y: v# {% ]. g; D$ O: ?
3 Z0 F6 Z! j* s% \+ @& x
