|
1 B/ f* Q; s" Q( W. v5 [
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
& G+ p; U! L* _8 l+ d 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
9 K1 c/ [& g( ]& D 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 6 W7 ?$ t. Q( ^$ {0 M
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 % t! Q, \* S3 d" e- \: g) J6 I
1. 数据类型的转换 7 i0 a5 p/ J& ]4 e% ? s8 F
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 / u5 ?! M$ h v0 s) a) C5 D
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
/ S" H0 [* W! m% J s* I ! P( S' }( R5 q& y3 U
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
! H' X+ n0 R. W# \+ W+ o 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
$ [6 @: R2 t A* q8 } $ x; o+ {. c- K( h( \; R
2. 字符串的对比 + g) i2 ?' q: F+ W
第二个经常需要处理的问题是，字符串的对比 ! ^! g, T6 ^- t/ e1 T
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
/ B4 \! O' t2 a9 G 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 $ O9 q% G9 G6 X( B. _
strcmp(abc,abc) f- s& ^/ o1 I! O p _) \
判断字符串中是否包含某种字符串，可以使用contains函数 & T" T3 I- g; O; o8 A
contains(abc,ab) % D2 I; y3 t* P% n) E9 a0 g3 t
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 # i/ a! Z* X+ y4 g/ c6 l
regexp(abac,a)
* n) o+ A0 z1 b3 L: b- R! u 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 3 e S- Y$ O( u) C
a = strcmp(Cell_variable,abc);( Y; S0 X, c5 _
b = find(a == 1) % i; q2 V: U2 {! v- @
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
9 ?. q- G7 S) W, P+ P0 T a = contains (Cell_variable,ab);; B1 g8 ?' V" g* S- L7 {
b = find(a == 1)
; q# c a! H; w/ E' R. ?9 i/ R 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 1 }6 q- f1 I. f# Z: ~
3. 文件的读取写入 8 i2 M+ Y J7 G& K4 o3 [
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 ' w% T, K5 h; [) N6 a* E
mat, txt, excel是平时最常碰到的文件类型 " a" H0 q+ I0 I" C1 L9 V2 J
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 ( y, }) L. d7 O3 L) n
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
7 x) J8 W, M) D7 n( _ A! R7 m txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 . V5 ?) A& A2 K
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
7 h, x: D! | I* m 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
4 R* W+ b) n) Q* q# ? u- B9 { 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
# F- ^. Z$ R& g3 M' B4 Z0 K w
6 m* P$ M: N, m" O: `6 |, `
+ h5 r: i9 l# ^
# g! M9 m: j* e$ o6 O4 v- V2 T txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 3 h: [5 | Q5 Q
fid = fopen(test.txt,wt);' N; ~0 _# V6 c) K) i+ e, w6 i) B
fprintf(fid,test1\n);( p1 h% k$ Y$ G' O" B5 D$ J
fprintf(fid,test2\n);1 D) Z: t4 B9 q
fclose(fid);
) e; U" x; c# H( _' o6 C 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 # X9 n4 }! F5 G
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
/ Z1 W7 T1 N6 Y' L& c5 Q [num,txt,raw] = xlsread(filename,sheet,xlRange)
' Q% f! F+ p) x9 M xlswrite(filename,A,sheet,xlRange) 4 g8 b! G6 b* n9 f( p6 Y
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable 5 V3 M2 M& q2 w" a% x0 x7 V: V9 M
T = readtable(filename)9 R2 V+ m$ d! s" o; W
writetable(T,filename)
1 E* Z9 O/ w2 c& } 2 y% ~/ S8 v3 [+ N
如果数据是cell元胞的话，替代的函数是readcell和writecell % Q* C# J, G6 K9 O; J% Q
T = readcell(filename)0 N A: `4 R/ ]4 ?( d0 j
writecell(T,filename) 4 j* ]3 i1 U$ \% l. s
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 N( F( k4 g- X, Y* C" \
4. 数据可视化 4 P, e7 I7 Z, J4 e. a( m, I
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
g1 ^* ~+ {% d2 t) V* l 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
/ M! |3 D4 N1 w3 x' x/ a( t 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
" d+ y0 E7 T% w2 M U) f1 P/ Z; X 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
' z; p( u* ^( h4 Y0 x
$ ?* O3 W* x' e 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 * ?& S. T9 o, i0 T7 _, K
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
/ j) d. ] h' L$ [ : z# b/ G3 ^! T e' K' p+ X' d
' n; x; S" t6 M- ~, \ |
1 D1 U' X, T9 x: C# j# l 5. 数据处理的常用函数
# m! g4 f$ n! R0 J+ E& | 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
3 i9 j3 U3 K+ u: s; C; u# \ 再安利大家几个平时我在处理数据时最常用的几个函数
/ Z$ U, \/ H5 v" X* P% Y 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
9 B# R, g0 i, z7 h: _7 n C = unique(A)
4 v& l; a& l! Y unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
- ^: u; s3 ?9 ~- d: P! g; E4 m% F$ L9 Z 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 8 { _& Q4 I1 g2 t0 ] e& O8 n
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
+ X* ?# {/ E+ Z B = sort(A,dim,direction) + a6 z# G, ~4 m/ k6 n
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 * v$ s: t/ x3 d# V5 B$ i
B = sortrows(A,column ,direction) 4 J( r$ C$ a* Q# t* i
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 - O0 y4 V7 x/ F8 M8 f5 U
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 ; H6 l: @2 K0 [8 @- k+ T2 S
9 |: x. q' I6 N& }2 `! U
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
) C. G# X: ~8 T: V3 ^& N 比如reshape，可以根据自己的需求对数组进行重构
6 ] d/ r& R5 Z6 E: g* s isequal，可以用来确定两个数组是否相等
4 K- O3 n l8 r/ k# v datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
$ r$ P$ R" t# e1 l: l 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
, {8 G+ _( ]6 g& H/ A7 {) a. D) x8 }7 Y3 Q- z X ~
6. 数据爬取
: K' v* V7 F3 c9 E0 ]8 O. s 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
4 U; `8 Z9 z3 e# k& l 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
, [# |: X6 l7 m \: q( } 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
' ~' C. W7 N* a 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
C1 f6 l6 u2 N" V9 u/ | v$ V0 n data = webread(url)
+ g! [* B8 d( F) |5 N& b 爬取到数据之后，再通过regexp函数正则法处理网页数据
+ X) q/ b8 ]% O 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
. A" q8 w7 b0 ?. X- ]. V 7. 薅系列工具 ( I% U* c0 H( E* |$ O9 t! n
最后一部分要安利给大家的是，由我自己开发的薅系列工具 ' @" }' q" Z) H4 a( T
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 # h. b% n2 v& |* m! [7 u
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
; T- l1 c, n) S& ]' k 2 x/ E0 J% i" u+ p, z4 ~/ }) E
, b/ {1 g; U& v+ S5 Y% j
& l8 V6 x$ X8 ^ 1 C+ l$ B5 I5 _5 T" y: d
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
0 q0 ]$ |2 g% w; |; e3 Z
# i, g5 Q6 c% f 打浦桥程序员：背几段MATLAB代码就那么难吗？ - c: H. I) p/ {+ U3 W
2 E; g2 b. @4 B- `" y3 V2 U! i / R3 l1 ~1 M: Y# O
; o, ?- ?7 M/ I" A
l+ e" d, c$ A! q/ ?* G
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 " N& {) l i- E5 B7 l% O+ o
. r, c+ I5 |/ ?. \) q + ]/ @1 }4 m9 B; }( _. N
4 K6 _/ z" V8 E" H1 x2 J
# |6 _2 i2 s6 \# y: C/ r, [ 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
: h* C. ^3 \ ]! X
; {& p: @) T. R5 k: @ 不知觉间，写了这么多字
' O! G9 m5 E7 {) b5 c 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
1 P& ]& m0 }7 d& h- S 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 / g% G3 x! u+ {. q
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
3 ? d- S4 P, X" h1 u3 ^! o' \# y6 [' k7 x/ ?: j
' t9 w% s, k& I" v: i: |6 Z
; ~% b. c. f6 ?$ L* C# [
) N& n' B8 e( i, b' v | 
