|
6 v! R: [) Z' i* F& H
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 ' w6 }1 U3 N# N" E J4 |
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 % V3 S- K& m/ _1 {
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
! h% w" g% q8 R) I( i 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 9 f% y- Q1 b4 u4 c' X; F* q# T! T
1. 数据类型的转换
2 ]7 r, L0 y/ N3 Z2 e$ @6 C% q 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 7 P- I0 H% g5 D/ @7 r: C; ~* x
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” " g. Q3 l) P8 S) S! q: Y1 p, \
y' z( Q a) d) M9 X) ^
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct $ \1 r9 Z2 I8 _1 u! ~* C: f+ P
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
; w" s. h4 y' P1 n; g 0 H i" W6 I' ~
2. 字符串的对比
* D, f8 H6 N8 W ?. z6 x 第二个经常需要处理的问题是，字符串的对比 $ H2 J& ]( [& n+ a0 K. n
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
: m5 ~) K$ W8 s! w! ~" { 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 7 F6 j4 G0 i- T" H# s5 B
strcmp(abc,abc)
# A: S4 ?) j z$ _, ?( P 判断字符串中是否包含某种字符串，可以使用contains函数 6 D/ Q! T# E% d: F5 ^1 p% [
contains(abc,ab) * N2 B3 ]- t2 u; [, f1 r+ v7 G
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 & K% j( R7 } A' _* Z
regexp(abac,a) 0 w) J6 O- v+ I8 s
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 9 e- M# B. n% O8 O, a7 @
a = strcmp(Cell_variable,abc);
! n7 ~% }/ `: ~* `1 M b = find(a == 1) . P1 m+ ~" [( l' w f& A
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 8 }" M$ H3 U3 L8 U% R
a = contains (Cell_variable,ab);: B# t( F8 g9 C8 \3 B i
b = find(a == 1) ~5 [) I! O0 H$ n
掌握上面这两点，在平时处理cell的字符串，基本上就够用了 + Q+ }. ~' U+ t% Z3 N; E+ j
3. 文件的读取写入 W8 W1 U1 ~: L) o# @0 s% [
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 / `3 @6 u8 G8 s5 O- F
mat, txt, excel是平时最常碰到的文件类型
. Y, j9 F6 u( W, ]5 E7 O1 f+ ^ mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
! t: H7 N3 @! ]6 `5 J+ w$ p5 X) O- i 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
; C- c( b8 N, Y0 L4 l. c txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
3 A) f. u$ {2 Y! J7 Z3 ^ 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
, s$ C& r. a4 x; J$ T8 k( T 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
) \; c) \2 n' W+ ` 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 . A8 A- D, h; _1 ^
- @- h3 f% i; O
7 w4 K" t1 c$ Z( \. Q2 U: U
1 u5 a- b, t% P2 U/ z) d0 X txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
' B1 A- Q! u- S" ]) c. F" E" e fid = fopen(test.txt,wt);4 j" s* i4 B/ @8 j& t* X
fprintf(fid,test1\n);
! v" `- R# O) Z0 u3 I fprintf(fid,test2\n);
A, w1 {$ D! Z6 q( h fclose(fid);
# t9 ^* [5 p& t2 O: } 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 5 n1 Z% f6 u+ \3 }9 O' E% Y: @6 ~& N
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 , Z- U. n7 x D1 J) H9 j# W/ W; U
[num,txt,raw] = xlsread(filename,sheet,xlRange)
7 G( V2 X J$ O( i4 c" U. q2 o xlswrite(filename,A,sheet,xlRange)
2 R( v4 }: @2 }7 H( N5 { 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable & a2 c' d' Y2 F, t
T = readtable(filename)
4 Y8 H) P) A% r0 s. S writetable(T,filename)/ b0 @, t5 h, Z! A7 N/ t
! V( W. Z5 x+ e4 q! J0 g: Y! }
如果数据是cell元胞的话，替代的函数是readcell和writecell
1 o% i7 l0 a# R# _" B( ~" U T = readcell(filename)0 ^; d H$ W- O! z% h8 O' V4 y; g4 m
writecell(T,filename) ! \5 ]* s/ }2 j' _1 p
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 & c, }5 P2 b) \1 t9 J# t" d
4. 数据可视化 ( [ `; E* W% e& ^' i' w9 e) x# ~8 l
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
1 r3 {2 F9 W6 R! [ 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
8 h8 f4 ~* F0 e 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
1 J" d( c F0 R3 e8 g: E 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 . z/ I; ]" T; X0 Q- Q( |0 y; y! E
( q! d2 a: q8 |! l9 q$ m 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
2 A6 [' f% X" h1 P% k% u$ \: ^! r, R; k 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 # q) j* ^* w/ J4 F) F) \
$ {. x3 m4 Y: C: ^. Z
* L# C5 b0 v4 d3 u5 d) `& f- i! l3 J
0 D6 [; G" P3 l2 r 5. 数据处理的常用函数
; H/ \- P# A7 [, d3 o% z 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
; }/ F- @$ h% W' p) J6 G. n 再安利大家几个平时我在处理数据时最常用的几个函数 6 D9 T- w" y* P; E: T. Z4 N$ K
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
# g, w% D9 o! U C = unique(A)
) q! T% }2 y) [ unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 ( I1 X* Q6 `8 {9 t* C. \ I
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 3 E* q0 |- ?! C" x n6 o
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
! ^ A7 w8 O5 n7 h1 ~5 o B = sort(A,dim,direction) 5 U- i! Y& I' W' a- H$ F, X% i
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 0 z+ O* h [# Q ^3 _5 X- ^5 m4 @
B = sortrows(A,column ,direction) : R A9 l* F' r+ F4 x' m# F
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
, [( f. ?% D R0 \5 t# c8 x 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 , W: A% W0 q; C$ @3 @0 U
3 S/ u) W$ Q: g) w 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 / j$ k; ?! d) C& U5 E3 T
比如reshape，可以根据自己的需求对数组进行重构 ! U3 O% k% e% ^0 }4 D L, _
isequal，可以用来确定两个数组是否相等 $ B/ {" Q( _' \
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 7 @, O# S6 b" Z& z1 v# v
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 1 M/ ]6 Y7 ^$ `! e$ T( n
* @% f' g1 n7 |! h3 ~4 w
6. 数据爬取
% N( v2 G- K* i5 _9 U 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 # h5 E: d0 G8 h) S" H) E
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 - S' m9 M) A5 s9 t+ U0 \/ k
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 , q# S$ y, p; u; \1 {! W
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
( `/ c' W! L- s( b2 R* X data = webread(url)
, Q) p) O3 Q6 O0 O& | 爬取到数据之后，再通过regexp函数正则法处理网页数据 / | y! K5 g4 i$ j
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
5 [! C' b) s% W d; h 7. 薅系列工具
% y. B4 x% F( h( W* c/ J 最后一部分要安利给大家的是，由我自己开发的薅系列工具 # X5 y% G, S+ T8 @- m8 i
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
$ _! h5 a, M% c9 e. S8 `1 | 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
( Q2 l: [2 R7 F9 t# `, x* P 4 m( y/ J4 b; B
2 x: g% J; c- b7 e! u
3 E1 G& a B$ \* x. t/ K
2 M* K" h& `& y! Y' F, ]% y5 n4 I* ? 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
' m- z8 f% Z3 s$ g 9 c8 F K6 A8 \
打浦桥程序员：背几段MATLAB代码就那么难吗？ 4 I% y7 S$ _$ s, V
1 i( R; E( @ r% _1 S( P 3 t7 C- w, m/ z) ~: f
" J4 U; d( E; d2 V7 p* v
" m9 I0 b& P X5 o9 _+ w# f 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
5 j7 s8 E9 `$ A/ m, e2 | + H" f) b% Q+ b$ k! }' H
! Z" j. m5 D. i5 I5 K2 Q 7 X: e. c, H" g+ j' k
) a( D- d9 i& V I w9 d+ M
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 8 r* m h" v- L) d2 w
3 n% t1 O: D% k2 t t
不知觉间，写了这么多字
3 P2 l5 x6 i% ? x 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 1 v% A/ Z+ B% s- K5 L
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 9 s5 Y V7 ?' R# M; |
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
9 z4 d- o c s$ M Z! t% J# f" u8 ^% E2 b# F4 P
, O) A# O5 [! s2 B: w
; z. R: Q$ j7 ~9 d2 L+ o( K
* p+ h: N8 V# C | 
