|
! _6 r# Q, a+ X6 _. U
如何去思考并研究气象问题本身是一个需要不断学习和练习的过程,大量高质量的项目可以加深我们对气象科学中经典模式的深刻理解,从而可以掌握用合适的机器学习方法去进行气象研究和应用。在这里,我们集结了和鲸社区内优质的气象数据科学教程&项目,为气象er们提供了学习+实战的最佳平台!
; D# O- P) s" @& ?. X) A& M 和鲸社区提供了相对自由的学习、研究、应用的方式,你可以在社区获得:
9 a B1 z- E1 \ 气象数据科学语言教程用 Fortran/Python 语言进行数据读取/数据处理/数据分析/数值计算的实用气象项目气象可视化应用(雷达数据、地理信息数据、海洋数据等)项目阶梯难度的机器学习算法项目优秀气象项目/论文的整体复现 ! M" V. e$ f3 L9 q8 {
同时,你也可以系统地精进实战能力!训练营、Workshop 和练习赛等系列活动极大地丰富了气象研究的应用场景,从小白到进阶高手,与20w 数据科学业内人士+近1000位气象人同场竞技:
, {- E. b, v+ e3 Q% u3 g, S 题目全部来自业内大牛提供的气象场景案例不用处理环境装包,精力全放在解决具体气象问题上支持多种气象数据科学主流语言:Python、Fortran、Julia、R活动提供讨论区进行讨论,可以参考别人的思路,灵活交流和分享复现自动出分,实时获取每次代码实践的准确性和算法效率,精确了解个人代码在所有提交代码中运行效率排名
9 d( L% c; ]; l" R* r 另外,在线数据科学平台 ModelWhale提供了学习和研究气象的工具及开箱即用的编程环境:
0 ^, ~4 y7 M! ~4 ]2 G9 ]! @ 环境免安装,一键复现和鲸社区优秀丰富的气象数据科学教程和项目内置 Cartopy 等海量镜像,Python、Julia、R、Fortran 登录即用,并支持 WRF 模式Canvas 无代码图形化建模、Notebook 编程随需选用,还可相互转化GPU 分布式离线训练,训练记录超参数比对多类型数据源灵活接入,数据权限分级管理,数据安全有效保障 ( a% n* m5 K: I+ R) [( j' M8 I# T
所有的社区资源,都确保代码的完整,及在对应镜像下一键运行复现!(注:如有疑问欢迎留言与技术小哥切磋)铺垫结束,下面正文开始! , q' p4 y) b* G3 Y. z$ L$ S
1.气象数据科学语言教程(1)Python 基础 : y2 z# `! {4 j( b
说明:Python 在气象、人工智能、机器学习领域受到火热追捧,很大程度上在于它拥有非常庞大的第三方库,以及强大的通用编程性能。因此,想要逐渐掌握 Python 数据分析,可以通过学习和了解如何利用 Python 调用 Python 的各种第三方库和工具包,感受运用 Python 进行数据分析的便利性。
9 U0 ~" T5 C2 @2 p 科赛 x 机器之心从零上手Python关键代码 . k. y" U7 [' G4 z+ M
Python基础 Python100例 - v% f7 H1 B' c# r
Python入门教程
3 ?) Z* b1 _. f- g! ]; c (2)Numpy教程 . a' d P1 t$ w$ b! X/ u1 R
说明:Numpy 是 Python 数值计算的基石,它提供多种数据结构、算法以及大部分设计 Python 数值计算所需的接口。Numpy 能够赋予 Python 快速处理数组的能力,除此之外,Numpy 的另一个主要用途是在算法和库之间作为数据传递的数据容器。
# h" K% ~, a9 y' \7 v0 L6 x N 教程: 4 Z9 z7 P1 H1 {; O% f$ ~. s# z
Numpy快速上手指南——基础篇 0 \9 D3 n& K& ?% t
Numpy快速上手指南——进阶篇 2 H5 |8 m/ w1 z+ T
Numpy入门教程
+ I6 C, ~! H5 D. F* Y Numpy实战全集
: Y/ @" j: T5 Q" ?8 l 练习题:
- ~5 F' b7 D5 w9 z, t/ k 这100道练习,带你玩转Numpy ; z8 C7 [3 r+ x/ W* P, l! q% D
(3)Pandas教程
* T/ R. ~; H, }: t* i4 S 说明:Pandas 为数据分析提供了高级数据结构和函数,使得利用结构化、表格化数据的工作快速、简单、表现力。做数据分析主要使用的 Pandas 对象是 DataFrame(用于实现表格化、面向列、使用行列标签的数据结构)和 Series(一种一维标签数组对象)。 2 Y4 v: f4 }% T5 C/ w3 j& I$ X
教程:
/ h0 T1 C& M# ^) u Pandas入门教程(1) / Z: g+ o; [; N- a& n1 n- k
Pandas入门教程(2)
4 _! a* f! k( F& Y2 U0 f/ x Pandas入门教程(3)
5 v* h. {3 \$ Q; [, ` 【Pandas教程】像写SQL一样用Pandas 4 L+ _: ?# G2 g3 _. q3 F' E
高效分析:如何用pandas快速处理数据
w" J' u3 v7 E2 T9 \: Z Pandas基础命令速查表 5 p3 D3 }6 ^ v4 H# V
练习题:
4 j. F5 ?( x# N Pandas120题 , k U8 _) n! \8 }
50道练习带你玩转Pandas 1 R5 l3 V) l! W$ N& j% B* j3 q
这十套练习,教你如何使用Pandas做数据分析 # q" ^% \8 V( M- Y8 q( B
(4)Xarray实例 ) Y1 h( v# Y) E( f( p: ~% a
说明:由于气象数据大多为多维数据,Xarray 提供了一种高效读取和处理多维数据的方式方法,它特别适合处理 netCDF 文件,在类似于 NumPy 的原始数组上以尺寸、坐标和属性的形式引入标签,从而能提供给研究人员更直观,更简洁和更少出错的体验。该软件包包括一个庞大且不断增长的功能库,使用这些数据结构可以实现对气象数据的高级分析和可视化。
, \" E2 `; Y5 u* z. D( d. C( j xarray实例大全-目录气象行业数据分析案例
+ |5 F8 \6 f( j! j8 N+ z: H4 a0 s xarray实例大全(一)-气象数据示例
5 R# u- d7 z* ]& N2 [ xarray实例大全(二)-月平均时间序列计算季节性平均值
. b' B/ }* k4 _9 i0 {7 X+ U( N: P xarray实例大全(三)-比较加权与非加权平均温度
C8 N. b1 @: A7 H xarray实例大全(四)-多维坐标的使用 ( _& z3 Z: |: [. Q8 f; }6 u! K
xarray实例大全(五)-可视化库 * [; `* y" c+ h
xarray实例大全(六)-ROMS海洋模型示例
$ |. }2 b# M0 a3 n& }2 T: m xarray实例大全(七)-GRIB数据示例
' t, ?- `! _: l3 A+ h7 { xarray实例大全(八)-使用applyufunc
6 q; y! w1 B% p xarray高阶利用dask并行读取数据 1 s# v' E% Y \1 h+ C, ~: I3 c
2.气象数据读取/数据处理/数据分析/数值计算 / @9 O9 Q# H# h- e; u' X
Workshop第一期:初探气象数据Part1 # ~; R0 \1 e4 A- ^. H
Workshop第一期:初探气象数据Part2 8 m+ s1 r, z- M* }3 B k: k
Python读取气象数据nc格式文件的入门级操作 0 a! l1 K# v j P9 j
Python处理HDF格式数据示例 . C; b: n0 K! o2 B. ?) k
利用Python的requests和json包获取台风数据 2 n( f9 x+ m& k8 W, G8 S& s
基于Python的Grads文件解析 0 f0 s: R/ q$ ~7 O: t5 ^# ]! H8 Z
CALIPSO卫星数据处理 6 C6 h. B% i" d F- u
摸鱼的气象& ython : }7 e& c' e# @
Python之以温度为例的气象数据缺测处理方法 . \* z# J4 n( I
Python之一个简单的风数据处理和分析案例 8 _, [, |& Z' `4 |4 n+ ]
常用气象数据下载——ERA5再分析(grib格式) 1 f/ P, Y3 @( u; i' u
常用气象数据下载——我国台风历史轨迹数据 6 L& L+ [& h5 f; [! d" s
常用气象数据下载——耦合模式比较计划(CMIP6)
1 o. q5 X, V" V1 e& z# Z0 ` 常用气象数据下载——TEMIS遥感数据
# c* l" B8 o) ?$ ^! D7 g5 X 常用气象数据下载——实时空气质量数据
, J/ Q$ @) K6 b( T 常用气象数据下载——Hamawari8 8 k) c9 F; v0 v9 ?8 R
常用气象数据下载——NCEP再分析资料 d' H7 G4 h- l' x4 s: R
常用气象数据下载——探空资料
; d! h7 a# X8 W9 r& g2 [3 @ 气象之批量下载气象数据(EC;NCEP;CMIP)(python)
# l; V' V% f( F+ y 气候变化趋势分析常用方法 3 ?" }5 J" u& B" P5 f9 P; {
气象分析之气候变量场时空结构的分离-EOF
/ W2 g" P3 T3 f6 W, s 气象数据处理——重采样(Regridding)
) @: f+ Z# }' I# ? f& w. L 气象数据处理——湿位涡剖面分析 % M7 J- V8 w" ?
气象数据分析——集合经验模态分解(EEMD) 6 z' s6 d- K# N: `7 Q
气象数据分析——相关系数与时间相关系数 2 H' O& o" a6 ~9 U
气象数据分析——旋转经验正交函数(REOF)
- I+ u+ {2 ]6 w) u# ~ 气象数据分析——经验正交分解(EOF)
5 R4 i. P( z& C9 P- O3 P: N$ |) K/ B 气象数据分析——我国逐年降水的经验正交分解
@7 m5 i' x' G, g& f 气象数据处理加速器——cdo 0 K" w* N& z G; W" P1 S. Y) P$ _
气象数据统计方法
9 C) e7 S% I( _5 T$ }0 F: [) E r 供水管网压力预测(异常识别与缺失补全)
1 q0 } [2 m# E 特征重要性评估——Lasso回归系数
! @2 G' V, b2 H) Q& @4 | 2020华为杯E题——数据探索性分析 % l! A' q2 P4 ^4 v
WRF模式模拟数据后处理(计算篇) % O D" F: k; J( l/ r+ _$ N; M* E
结构方程模型(SEM)构建
' C& @7 }" ~: Y' K- l/ [* Y; ?& Y9 f5 P# A! O 多元多项式回归拟合能见度 6 v( R4 W+ y, c
两个变量场的相关分析——SVD分解
- y) }2 t& n0 w( g( H' U7 } 小波分析——海温数据的时频域分解 ; p1 ^% T/ t# E a" R. w
基于DEM数据计算坡向、坡度和流向
5 g g! M7 [; b# c 基于随机森林对特征重要性排序 ! I4 D! i* X8 q
基于DBSCAN算法的人类活动GPS数据挖掘 6 D& d, f3 w3 @
基于ERA5数据分析中国区域气温与降水数据的时空分布 ; o2 Q, y' f" o W0 L
最常见的10种图像滤波方法 ; [ Y- @& D1 m+ h
3.气象可视化(1)Cartopy绘图教程
" `$ t7 t9 E u" G 气象数据可视化库-Cartopy官网例程大全(中文翻译版) * D+ N$ U# h1 Z+ z+ H; b2 S
Cartopy——绘制不同投影的地图 . w' A1 t d" h, x+ }
Cartopy 调用天地图在线服务(原创)
: D: T! a6 t* n6 U: ]/ d Cartopy绘图中国地图最正确的使用方式 , ~7 `& t2 L1 e, @0 Q1 s8 A
(2)Metpy绘图教程 ; a0 V+ f5 `7 Y, O3 q
Metpy气象数据可视化库官网例程大全——目录 # Z) |; L) v8 {4 |# H
大气科学可视化示例——降水量 4 A* n* M4 y: b: K( [- j! w$ m% [9 j
大气科学可视化示例——AWS S3 NEXRAD 档案存取和绘图
* | L% R/ b' R: } 大气科学可视化示例——声明300hPa
" o& P8 U( H2 {. l r& ^$ C 大气科学可视化示例——飓风追踪器
3 d& c: }) A$ I# S0 G 大气科学可视化示例——观测数据截面
- \. {% ~ b2 ?' h, a2 P# J4 ` 大气科学可视化示例——在旧版DIFAX图表上高空观测 5 b/ p e H, z& e% x8 @8 h7 b
大气科学可视化示例——风切变矢量
) d. G* j' S6 p& k+ q
, K6 r; u3 y" A$ A2 z
2 b/ ^! L* r5 s1 T9 k
1 l, v9 M9 W6 m u6 R& C3 K0 t5 N
7 J8 j- v1 }0 j6 U2 x2 K$ l9 M |