海洋数据处理软件 -海洋数据科学

: n% }4 J7 v+ t) x% I9 [

2021.10.24更新：两个小Tips：1️⃣这个包我现在不用了，毕竟主力平台还是Win，现在推荐使用ProPlot来画图（ProPlot — ProPlot documentation），真的很好用（导师看了都直呼内行，开个玩笑）！2️⃣文中提到的EOF的代码就别看了（属于是早年的腊鸡代码），现在推荐直接使用eofs（Package description — eofs 1.4.0 documentation (ajdawson.github.io)）来完成EOF的计算。

& C1 j w3 b9 Z6 M

2021.01.31更新：

创建新环境时请将Python版本指定为3.6，否则会冲突导致无法安装。

一点感想：PyNgl和PyNio也不再更新了，美帝又去更新自己的Geocat包了，可惜啊Geocat我自己初次尝试，连安装都很大困难，还是学学人家cartopy吧，要不是cartopy画图太丑。

更新：

3 V% _/ Q; v1 J+ {8 k, c

conda create --name pyncl --channel conda-forge/label/cf201901 pynio pyngl netcdf4 xarray ncl scipy

此安装代码不建议在使用，速度慢，容易掉线。

输入命令：vi ~/.condarc

. V; Y0 ~3 _/ |9 I, U

讲最后一行的 -default 直接删除(前提是已经增加了清华或中科大源)

! N! s( s! b. V

然后在新环境下使用conda install xxx 依次安装pynio pyngl netcdf4 xarray ncl scipy即可快速安装

- ^9 K4 w$ P5 N9 T6 W4 I

如果换源之后还是不行

数据可视化的软件和库有很多，但是对于大气和海洋数据的可视化，因为涉及到投影、海岸线的绘制，支持的还非常少。

& n8 h V/ y3 i2 {- d2 W5 |

主要的有：

①Grads：易用性很差，常常是数据处理计算出来再由Grads读取来绘制。同时语法也比较奇怪。对Win10的支持也不是很好。

, H- L9 F: t! h7 |9 l

②NCL：NCL(The NCAR Command Language)是一种专门为大气海洋科学数据处理以及数据可视化设计的高级语言。其实是PyNgl和PyNio的前代产品。

③MATLAB：很好用但是主攻方向不在地球科学，绘制出来的图片稍微欠缺没敢。(个人感觉)

3 k. S. v; }) \' O: y

④Cartopy：Python下的一个库，由英国气象局开发，Basemap的继承产品(Basemap在2020年不再维护)，主要基于matplotlib实现可视化。目前还不是很完善，容易出现奇奇怪怪的问题。

! Z# P% }1 L2 A C: ]

⑤PyNgl：NCL的续作由NCAR负责开发。绘制美观，功能强大，绘图时允许高度自定义。放一张官网扒的图

5 Q, v8 r4 e) Q9 V& I$ ^2 a

还是挺美观的。

' i# m N+ Q2 W$ V5 z! j

为什么选择Python？因为 人生苦短,我用Python！！！ 它语法简单高效，一般来说上手三天即可(但是精通永无止境)，学习曲线很平滑。

既然PyNgl是Python下面的一个库，那么直接用conda安装不就完了吗，理论上来说是的，但是关键在于：

它不支持Win10！！！

它不支持Win10！！！

它不支持Win10！！！

( Q9 J. D+ N, Z% U* P

这对于不常用Linux的科学工作者或者学生来说是很麻烦的事情，大多数人的主力系统都是Win10，当然macos系统也不需要参考此教程，可以直接利用conda安装。

幸运的是微软家有一个很好用的东西：子系统(WSL)，Windows Subsystem for Linux（简称 WSL）是一个为在 Windows 10 上能够原生运行 Linux 二进制可执行文件（ELF 格式）的兼容层。它是由微软与 Canonical 公司合作开发，目标是使纯正的 Ubuntu 14.04 “Trusty Tahr”映像能下载和解压到用户的本地计算机，并且映像内的工具和实用工具能在此子系统上原生运行。

, q7 M. Z9 K+ a& y

相比于 VMware 等虚拟机，WSL 占用内存和 CPU 资源更少，在 WSL 上运行软件的消耗和直接在 Windows 上差不多。而且，Windows 下可以直接访问 WSL 的环境。

& d9 [ |3 `2 g3 {1 S

安装子系统步骤:

①开启 WSL 可选特性

在控制面板的“启动或关闭 Windows 功能”中勾选“适用于 Linux 的 Windows 子系统”。

或在 PowerShell 中运行下述代码：

( P2 ]! N* E& F9 D& F4 [

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux

②下载安装

! r1 @8 F7 t' i5 {3 e' n

打开 Microsoft Store，搜索 Linux，就会显示 Ubuntu、suse 等几个发行版，点击进行安装即可。这里选择了 Ubuntu(第一个)。

% y& y4 h# m5 t. Y2 M6 H

; u) s. |+ }+ d' X( p" K- y: F* u

下载之后启动菜单里就会出现Ubuntu的图标了。让我们启动它，按照上面的提示等待几分钟，就可以进入初次登陆设置账号的界面。

图片来自https://wu-kan.cn/_posts/2018-12-14-Windows-Subsystem-for-Linux/

设置账号密码就完成了安装

& q' @4 e2 c2 |1 p7 g) }

图片来自https://wu-kan.cn/_posts/2018-12-14-Windows-Subsystem-for-Linux/

关于Linux的命令可以自行查阅，只需要会cd，ls，pwd等简单命令即可。

需要注意:如无必要不要输入下面命令，因为更新后貌似会有些问题，导致PyNgl无法使用。

! R; n& m+ N4 O& f2 r" }& I

sudo apt update -y sudo apt upgrade -y

子系统下anaconda的安装：

+ n, w* d* L- @0 w

①首先从清华镜像Tsinghua Open Source Mirror下载ananconda在linux下的镜像，并放到Win10系统的任意位置(这里假设是D盘)

/ u7 d- x4 g# ^$ W4 g

接着在子系统中输入下面命令

bash /mnt/d/Anaconda3-2020.02-Linux-x86_64.sh#mnt其实是挂载到了本地的硬盘

/ E0 z1 [& K j+ [

一路回车，注意在正式安装前会弹出安装地址，记下这个位置。然后他会开始安装，等就行。

②环境变量的设置(保证在子系统的任意位置均可使用Python和conda命令)

: w2 M. R) `4 O. S6 `

1，输入 vi ~/.bashrc (打开了一个编辑器)

& \ B1 w+ I! F- N$ b

2，按一下i键，进入编辑模式

3，在最后输入export PATH=/home/lishanliao/anaconda3/binPATH 要换成你自己的目录，如果你是一路回车安装的一般只要把lishanliao换成你自己的用户名即可

" b& k ? H9 ]6 `4 V

4，按下shift+i旁边那个冒号键)，输入wq 保存并退出。

8 ^+ ]6 p, S& B+ X% {0 R1 m

5，输入source ~/.bashrc 重新加载环境变量

4 P1 a1 t8 |: d3 y- w8 n, b

6，如果你害怕不会用这个编辑器，可以直接在命令行中输入下面命令，在执行5即可

echo export PATH ="/home/liang_yu/anaconda3/binPATH" >> ~/.bashrc#还是要换成你自己的路径

4 `/ z* ^% v# c) P" ?$ b7 `

③conda下载源更换(加快库的下载速度)

( k" }6 S* h9 d* m7 M

直接在linux命令行中输入下面命令(复制粘贴即可)

9 i6 L8 D% I: o. `. v

conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/ 9 h; g% b0 |8 P% U* _. T0 S% d# S4 ?& Y" i conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/ 0 V2 N: m, G1 V. ` conda config --set show_channel_urls yes

. h* q0 L) K3 ?% ^; L

④PyNgl的安装

在linux命令行中输入下面命令，他会自行安装，可能会出现网络错误，要么多试几遍要么挂梯子

conda create --name pyncl --channel conda-forge/label/cf201901 pynio pyngl netcdf4 xarray ncl scipy

) V* R0 G6 J, k+ @, Z0 L

我并没把库安装在base环境下，而是创建了一个新的环境叫pyncl，因为好像有某些冲突。

安装完成后，输入python，在输入 import Ngl，如果没有报错就是成功了。

: M$ s8 e+ F$ c3 O$ M# L

⑤接下来就可以画图啦

0 ~: J) i0 S, ?9 }

现在win10下写好代码，保存成.py文件

% G# L' y: j8 z) U

首先激活环境，输入下面命令

1 q# A) ~' f N2 I+ j

conda activate pyncl

) S; d4 j* _# K. d; a

接着输入,它会自动执行。

) `$ y* c: N2 ?) q

python /mnt/d/file.py

最后展示一下示例图和代码

: f z4 i- o! V% f/ I( w

7 d3 I' b5 p% L0 K, X- _! p; @

代码示例(前半部分是EOF的计算，可以不看)

8 O% z" C- O; |9 w

"""实现了自由调整子图的位置,没有使用panel的面板绘图,使用了新的地图投影""" import Ngl ( o0 j/ O3 Z" a! w8 A# \5 a import numpy as np import math 1 ]% ]6 j0 l0 a0 r import netCDF4 as nc : x: V5 C1 G0 W% g7 f a def EOF_3d(data_3d,lat,lon,K): """data_3d表示三维数据 & S; \4 W6 F$ A( p9 z4 {: ?7 X! L 例如某一时间段,某一区域范围 的SST数据,需先做拉直运算 K是int表示去前K个模态 同时考虑到时空转换K不能大于n ) [- J* X! D0 V( U) ~ 因为L_Q的形状为[n,n],看表达式就可以看出来""" 5 x6 ?- C% ?% W1 i1 U1 R2 |3 h# B5 d: p lat_n,lon_n,time=data_3d.shape m=lat_n*lon_n;n=time#m为个点数,n为观测次数 n# \; o3 d8 b m=m-np.count_nonzero(data_3d[:,:,0]!=data_3d[:,:,0]) X=np.empty((m,n)) ! m2 I; Z2 a+ S. w3 M k=0 : C4 V% l! P+ S/ H5 r) ^% [ for i in range(lat_n): 5 i& _' t! h, ] for j in range(lon_n): if (np.isnan(data_3d[i,j,0])):#考虑陆地 ; K( S: t1 p& k print (land) else: #考虑地球因素乘于cos(纬度) " \ f7 K' T4 l! m7 M4 D X[k,:]=data_3d[i,j,:]*(math.cos(math.pi*lat[i]/180))**0.5 ; w1 i! p9 O2 g- I% C k=k+1 ' I6 P L: n, t X_mean=X.mean(axis=1).reshape((m,1)) X_d=X-X_mean#利用距平阵计算 ; |! r0 q& T5 c7 h/ {$ B% l: e if (m<=n):#不使用时空转换 + `' F. K* X- u- K; r' {, H S=np.dot(X_d,X_d.T)/n lambda_,L=np.linalg.eig(S) else: 9 \% T, ]+ n* \ w S_Q=np.dot(X_d.T,X_d)/m lambda_Q,L_Q=np.linalg.eig(S_Q)#注意L_Q的形状 . C" n* g* K. Z lambda_=lambda_Q*(m/n) * d0 T2 k$ [ ?0 B6 ? L=np.empty((m,K)) for i in range(K): l_Q=L_Q.real[:,i] L[:,i]=np.dot(X_d,l_Q.T)/(m*lambda_Q[i])**0.5 9 p# ?" L/ F2 `: |; N+ R lambda_=lambda_.real[0:K];L=L.real[:,0:K]#避免复数的问题 , W& O5 m, G$ R/ Q- a# g: c3 s Y=np.dot(L.T,X_d) ! q" x/ t- k! \ p=np.empty((K,n)) - I( K5 I o2 C1 R- ^ e=np.empty((m,K)) for i in range(K): 8 s/ E+ R h, z e[:,i]=lambda_[i]**0.5*L[:,i] 3 z% x: i$ Y: S |- R% M p[i,:]=Y[i,:]/lambda_[i]**0.5 #将e恢复为空间性 e_2d=np.empty((lat_n,lon_n,K)) for m in range(K): / x3 H. o9 \) U& [ k=0 for i in range(lat_n): # W0 }% Y) `3 u; s1 N' ^ for j in range(lon_n): if (np.isnan(data_3d[i,j,0])): e_2d[i,j,m]=np.nan / _, O( k) `# y R2 | else: e_2d[i,j,m]=e[k,m]/(math.cos(math.pi*lat[i]/180))**0.5 k=k+1 return lambda_,e_2d,p,Y & S% j# X( ?6 }4 }" j* i% X0 h2 ^4 p #------------------ * u7 v; v8 u, C: D2 N! w5 ~ #时间:2000-2018年每年1月(624开始19个月) #区域:0-85,120-245 #lat[2:37] 35 #lon[48:99] 51 file="/mnt/c/Users/59799/Desktop/slp.mon.mean.nc" & ^% o+ C8 y8 G #file=rC:\Users\59799\Desktop\slp.mon.mean.nc 4 [3 ?9 n) \# S, ^; a data = nc.Dataset(file) lat = np.array(data.variables[lat]) lon = np.array(data.variables[lon]) # B8 W6 }4 k1 R9 h! [7 t time = np.array(data.variables[time]) # M, `) T% S: \ slp = np.array(data.variables[slp]) data_3d=np.empty((35,51,19)) time=624 for k in range(19): for i in range(35): for j in range(51): data_3d[i,j,k]=slp[time,2+i,48+j] time=time+12 lad,e_2d,p_t,y=EOF_3d(data_3d,lat[2:37],lon[48:99],10) & V( ]6 g- y/ \ s. F #绘图 #BlueWhiteOrangeRed plot=[] 0 f8 P: o: I" u wks_type = "png"#子系统没有可视化模块,输出成png图片在打开来看 ; R5 X4 b0 d& V1 n2 X* f7 c wks = Ngl.open_wks(wks_type,"/mnt/c/Users/59799/Desktop/EOF_first_model")#图片保存到本地的桌面 + x! C5 [$ T5 A2 C2 [1 q& D% E cnres = Ngl.Resources() cnres = Ngl.Resources() cnres.nglDraw = False#因为要绘制叠加图先阻止画图 * r* c) u; l6 m% ]' [+ b, e cnres.nglFrame = False#关闭框架与上一条搭配使用 cmap = Ngl.read_colormap_file("BlueWhiteOrangeRed")#读取colorbar,官网可查啊 cnres.cnFillPalette = cmap[:,:]#不完整使用整个色图,只是用颜色定义值的第五行开始 5 A6 m& f2 j4 }1 ^ C/ _ s9 A cnres.cnFillOn = True #等值线填充 cnres.cnLinesOn = False#不画等值线 5 n5 ]8 I# D0 [/ k. `8 C" T% ] cnres.cnLineLabelsOn = False#不画等值线标签(等值线数值) cnres.lbOrientation = "horizontal"#水平放置colorbar 1 P( }9 ?! M0 w0 s cnres.mpProjection = "Orthographic" cnres.sfXArray = lon[48:99]#经度对应为x轴 4 _. b P8 W0 ]( ] cnres.sfYArray = lat[2:37]#纬度对应为y轴 cnres.mpCenterLonF = lon[48:99].mean() 5 v: J, J( A/ X% B+ C" o cnres.mpCenterLatF = lat[2:37].mean() 4 u4 L: n [3 z& u# p #cnres.mpLimitMode = "LatLon"#规定经纬度范围时需要使用,否则规定无效 #cnres.mpMinLonF = lon[48:99].min()#不加范围限制则图片为所规定中心纬度经度显示的全球视角(数据只在规定范围有的话会出现无数据的空白区域(海岸线依旧存在)) #cnres.mpMaxLonF = lon[48:99].max()#不加范围限制则图片为所规定中心纬度经度显示的全球视角(数据只在规定范围有的话会出现无数据的空白区域) # ~7 B1 {8 b5 Y! a7 N5 {* D3 Z #cnres.mpMinLatF = lat[2:37].min()#不加范围限制则图片为所规定中心纬度经度显示的全球视角(数据只在规定范围有的话会出现无数据的空白区域) % A4 _3 M8 B' j% E: A- i; t9 s #cnres.mpMaxLatF = lat[2:37].max()#不加范围限制则图片为所规定中心纬度经度显示的全球视角(数据只在规定范围有的话会出现无数据的空白区域) cnres.nglMaximize = False#必须关闭最大化绘图不然下面的调整plot box的参数是无效的 1 W0 c& m) r- A8 |2 q cnres.vpXF = 0.08 # The left side of the box cnres.vpYF = 0.75 # The top side of the plot box cnres.vpWidthF = 0.4 # The Width of the plot box 5 X6 Z, q# ~0 N" ~6 z8 i4 l& ~ cnres.vpHeightF = 0.5 # The height of the plot box cnres.mpGeophysicalLineThicknessF =3.3 #海岸线宽度(粗细程度) 默认的太小了 ) A' t% a, \' K! {7 Z6 J7 ] cnres.mpFillOn = False#不开启地图填充,关于陆地海洋内陆水的填充自然不需要 cnres.tiMainString = "e_first_model" / Q* q7 t- [: Z3 a p1= Ngl.contour_map(wks,e_2d[:,:,0],cnres) . ?0 o2 w$ d: C- g& o& B; } xyres = Ngl.Resources() 7 l3 \1 D7 O* o. T) z xyres.nglDraw = False#因为要绘制叠加图先阻止画图 xyres.nglFrame = False#关闭框架与上一条搭配使用 xyres.nglMaximize = False#必须关闭最大化绘图不然下面的调整plot box的参数是无效的 xyres.vpXF = 0.59 # The left side of the box xyres.vpYF = 0.645 # The top side of the plot box xyres.vpWidthF = 0.4 # The Width of the plot box 3 h* q. }) H8 b6 f) j d& p3 C, M4 @ xyres.vpHeightF = 0.32 # The height of the plot box xyres.tiXAxisString = "Jan of Each Year" 2 V9 `0 y5 n6 j9 |0 @" V' z xyres.tmXBMode = "Explicit" # Define your own tick mark labels. 5 W! M( p$ g& R: ^% _ xyres.tmXBValues = list(range(1,20,1))# Values from 1 to 19. xyres.tmXBLabels = ["00","01","02","03","04","05","06","07","08","09","10","11","12","13","14","15","16","17","18"] xyres.tiMainString = "p_first_model" x=np.arange(1,21,1) 2 s& P( n% e: r7 H7 Q- ~4 e p2 = Ngl.xy(wks,x,p_t[0],xyres) - `- b/ q* j8 }; J. M 3 e) T! v& ]3 ]3 V$ d3 p) D Ngl.draw(p1) - U% T+ t% X( @" |+ L Ngl.draw(p2) Ngl.frame(wks) Ngl.end()

: s+ F- n3 L, B7 E6 o) E 7 l+ @; k) b+ Q3 b( c, C $ [' {. K) j3 ]( X, S