关于机器学习数据挖掘中的数据预处理问题？

1 j; P0 q& t/ D( c4 K% V

J# q7 T! K1 e8 |6 _/ X2 |' y

铁甲将军夜渡关

朝臣带漏五更寒

山寺日高僧未起

看来名利不如闲 啪！（醒木的声音）

5 ~# K) J& A. L( J

一周没有更新了【吃瓜】

因为了小小的科（摸）研（鱼）任务

8 L' \5 |) \( D2 u; v9 X+ R

忙

都忙

忙点好啊（主要是早上不起床）

/ Y6 A. y8 s4 ^5 ^2 J6 I# Y3 ~' e

$ \2 Y6 Z, Z" n+ H* D( K

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

7 J+ ` z+ a/ u1 Y' ^0 q G5 u: N

在学习机器学习算法时，为了更好的理解算法的基本思想

6 k- Z9 i: u% \5 D( ^1 C

会用到处理过的很干净的数据集

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

都可能导致无法匹配模型需求

7 M+ E. ~0 u, B3 i8 W) ^9 [

这时候就需要进行数据预处理工作

数据预处理（无量纲化）

& j3 Q3 J) d/ a6 U9 I; S" C

把不同规格的数据转为到统一规格就是无量纲化

比如我们判断环境参数对浮游植物的影响

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

$ F! O7 K' c) x

这会放大温度的影响效果

5 N0 u) y4 j! O1 _! s; t6 |% j& L! M

数据归一化

, b, m( ?8 g. w& w: `# }

将数据收敛到[0,1]之间该过程就是数据归一化

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

from sklearn.preprocessing import MinMaxScaler def mm(): 3 Q: P9 T: e4 ^ O6 M+ z/ A """ & E8 }+ |( x" F- x2 C, Q 归一化处理 - }+ C6 r4 H$ h% m( Z" E """ # V5 C4 S. o" g: S# t # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 2 ?* a: V$ e2 P8 L& f) r" f mm = MinMaxScaler(feature_range=(2, 3)) # g" `6 P4 l% ?6 b7 m; V6 Q data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) ' b D$ j* T8 R' X3 n8 R print(data) + }5 U: @. f* Z1 o$ S1 ?9 P return None 4 p; f$ g' b" c7 M+ K* s if __name__ == "__main__": mm() " N2 T/ X" Q8 w- W. m7 G

7 O& s1 l. @* _$ `2 L

数据标准化

标准化后的数据服从均值为0方差为1的正态分布

from sklearn.preprocessing import StandardScaler 0 a2 u' g& T, ^8 i # x = x-mean/γ mean：平均值 γ：标准差 9 Q+ G/ x9 A- J& W9 n4 q # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 / g/ m6 b5 O" x: \# k def stand(): " k* m. l3 i$ C6 C """ ( m: I* d9 b, H8 Z0 Q 标准化缩放 """ ; g0 ?2 V+ S" o. }4 @2 l" I std = StandardScaler() ' ^& L7 `; l2 B6 f pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] ' q5 a/ e$ }& M7 S- H data = std.fit_transform(pre_data) print((1000-2000)) print(pre_data) print(data) / c& i3 Z0 q4 c5 ~/ b return None 1 W5 d4 m: X; F; E1 f7 y . t" k! Z/ x! _& T' E9 \ if __name__ == "__main__": stand() 1 x) F( ]" H9 J- r- n, t9 y8 x

0 U; ^( Z* M% b6 H, O

下一期讲一讲特征工程

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

% \5 j0 @3 e# ?/ @2 r

# Y5 I+ @4 `9 U* q# ^3 [