收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
$ @5 e7 o! w8 y9 A

Koa -- 基于 Node.js 平台的下一代 web 开发框架

& {* u, a8 L0 Z

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

9 E: K: j. g; w" q

英文官网:http://koajs.com

: K3 {. Q9 V+ ^. u. U* q$ j! w

中文官网:http://koajs.cn

u+ O. m0 j9 x5 L7 W

1.koa

1 I8 ]* y- Q; ]5 S p3 D

安装koa包: npm i -S koa@latest

- B/ {' G4 K% D2 C9 U

引入: const koa = require("koa");

实例化对象: const app = new koa;) n0 w$ ^$ z- Y7 g: W4 d

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

$ ^' E1 C1 Y% B0 d* n8 R

use()函数中必须使用异步 async; use可是调用无数次;

% v1 E8 S. z: y& J# k# e

其中有两个参数:

1 f/ h0 {9 Y8 j0 E- x; a

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

4 W) B: ]- L1 T6 N+ o) q( J3 t

b)next: next(),将本次控制权交给下一个中间件。

' \3 ~5 n# ~7 u/ n

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

6 T" U" \$ m% m* v% G* ^: v

1. next参数的使用demo

) f) W- _ s5 t* k& }
`const Koa = require(``"koa"``);`" ^+ W6 f6 B4 }9 o& Z6 k `const koa =` `new` `Koa();` / \$ O( b, i3 T! r* X9 Q# G `//中间件1`% A& `, y% C5 }7 w6 A; I, G: E `koa.use(async (ctx, next) => {`* S/ @2 X$ |* {0 v, G8 G: ` `console.log(``"1 , 接收请求控制权"``);`$ t/ g9 m7 s, j& z1 f `await next();` `//将控制权传给下一个中间件`3 Q. m( P( K( h1 N. U `console.log(``"1 , 返回请求控制权"``);` % Q2 z- G7 n: B7 w, K5 e$ H `});` `//将中间件注册到koa的实例上` # J: [# y( y7 A' S `//中间件2` b$ [; g/ c' `/ ?/ ?% I+ Y `koa.use(async (ctx, next) => {` . P. ]; _( t- j7 u7 P7 W* Z `console.log(``"2 , 接收请求控制权"``);` , v' l% t4 b) w: R6 r& Z await next();` ( z7 S8 U8 z! j5 d) c `console.log(``"2 , 返回请求控制权"``);`& l% a4 a! Z9 y3 H- @+ b `});`, ?5 Q# T0 D0 {: I7 [: X( ^! C4 W `//中间件3`& j6 w9 I _ i) `) A8 o' M. v `koa.use(async (ctx, next) => {` ! N/ q1 h9 i3 B" F' R B& G! q U `console.log(``"3 , 接收请求控制权"``);` " }6 h# g4 F( ?7 Z `console.log(``"3 ,返回请求控制权"``);`1 K# K' a6 f& q' E4 C, G `});`1 | D( s2 j1 R: z& @2 P `koa.listen(3000, ()=>{` , u2 }3 Z$ `# h& L: m7 u$ w `console.log(``"开始监听3000端口"``);` " i, W$ [; I( i( {: [ `});`
- S. j. f: h8 D8 o n0 k, @; a2 C

注:当中间件中没有next(),不会执行下面的中间件

! ~% Y* u. x& Q' Z" ^( t6 C

访问localhost:3000的效果图;

( I- E( }. e; R/ R$ n# w
/ Q$ V& _/ T. M8 h% r

注:会有两次操作是因为图标icon也会请求一次

' L2 H' g9 w* _2 X5 Q

2.ctx参数的使用demo

* e$ ?. D" v e6 E
`const Koa = require(``"koa"``);` / w: ]* s& n, Q! `9 A `const koa =` `new` `Koa();`# I% q: B0 v3 q# N1 X# | `koa.use(async (ctx, next)=>{`9 x5 U! r( P, F. X- J `ctx.body =` `"body可以返回数据,"``;` 0 q4 l0 p( D6 |3 ~ `ctx.body +=` `"可以多次调用,"``;`; F$ T! Z- e& t2 K* U `ctx.body +=` `"不需要end()"``;` * P9 C/ Q+ y* x9 [! N6 }: M% W4 r `});` ; b% w4 w7 Y' t$ w3 J. a+ v" {: `) h; ? `koa.listen(3000, ()=>{`* |+ _# h7 I+ a. E9 T5 @ `console.log(``"监听开始"``);` " W8 R5 a' l' T `});`
3 F; ]8 B4 V" w

效果:

! Q0 ~8 g0 B- { l4 p, `& Q, f
4 s$ L+ |- S( _9 t

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

% c0 q! E1 H! ?- B6 ?$ ?: g9 c+ y
`const Koa = require(``"koa"``);` 6 N) H3 d, O m4 J2 ?9 h& r `const koa =` `new` `Koa();` * y' S; Q3 ~5 g: q5 S1 c `koa.use(async (ctx, next)=>{`1 s% D1 B* Y$ r2 {% S# W `ctx.body = ctx.url;` % v6 ~( I2 |5 s `ctx.body = ctx.path;` . ]) J& [0 g6 q: h `ctx.body = ctx.query;` 4 o1 s6 U/ k$ ]5 [/ ? `ctx.body = ctx.querystring;` / R% T& z8 j) i; y `});`3 v3 x3 X$ ^: C ? `koa.listen(3000, ()=>{`! h+ ]3 H2 s6 d$ H `console.log(``"监听开始"``);`* ~/ j5 h8 k- x4 {* J `});`
/ ~9 M2 k) d0 e j6 ?

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

6 ^, I8 S% V+ V6 ~* Z2 O Y2 k7 H

1. url: 整个路径

1 u. J9 q4 g7 r
# m+ E! R6 o! A4 ~" I+ ~' w5 X% Q

2. path: 非查询部分

5 o+ v' f# d! q8 ]* O
1 V3 G K% p. {, d

3. query: 将查询部分转为JSON对象

* _* }! V& H0 }
, _2 i7 \# Q# o" \

4. querystring: 将查询部分转为字符串

, B$ R& _/ J2 C8 a
; r$ }" n& c; V) ^- W# I7 T

5. ctx.state ,ctx.type 表示状态吗和类型

2 Q# x, j) R4 K, u

2.简单爬虫练习

( G+ N, M+ p% n4 G+ j

安装request,cheerio模块

+ [3 G/ ~3 N( B" ?% O2 [& C
`npm i -S request: 请求模块`% R; W' D: k3 v$ C: c `npm i -S cheerio: 抓取页面模块(JQ核心)`
4 ?7 y3 c# k2 s" P5 ]- i q j

抓取网页数据案例(随机网页)

; N0 C; S; p* d
`//导入模块` / a5 g6 \( g! p# b9 l0 c+ I- ^ `const request = require(``"superagent"``);` `//导入请求模块`8 s+ q/ y& i2 Y: Z# Z/ A: }3 [ `const cheerio = require(``"cheerio"``);` / }8 ?1 L; @3 S2 M. T% d0 J6 Z1 W `const {join} = require(``"path"``);` " Z0 Y0 ~3 g8 p( X2 S" R `const fs = require(``"fs"``);`* J$ i. R8 T4 q6 s* h( `+ V7 ~ `let arr = [],` `//存放数据` + F/ [" d' a( V& N4 f( b `reg = /\n|\s+/g,` `//replace中使用`, L: w- j h- x/ { `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;` - }( \. k6 A/ _% C `request`7 f" h: N' L5 b) n8 f* T `.get(url)` 8 T1 n& ?/ H4 u( g5 n `.end((err, res) => {` 6 h- ~) x. i: n! P `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用` - |7 c6 ?. r x9 R# F! j5 x" s3 D `$(``".course-item"``).each((i, v) => {`0 Z. ~ U; e: F( L `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点`- O D0 g9 B$ o( G' v `const obj = {`9 Y- c/ P, n% h S `imgSrc : $(v).find(``"img"``).prop(``"src"``),`; e3 ^! _" P; r) Q0 Y1 ~ `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),`3 E) q* V0 x8 D+ L# V1 x: A* O5 z `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),` . |. Q9 P4 V* W/ t0 |+ v1 x `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`! L [/ E! f" k1 G6 L `};` . n- \ H) B2 U2 H# v `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接`+ X- e# x/ \( E o& K! W; Y0 c3 M `arr.push(obj);` `//把对象放进数组里` " v' E6 q; z% G7 [& h6 p `});` 8 o2 |' a- {9 o7 o" c6 p# } `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中`/ }0 C1 q) |4 C4 E `});`
8 k# O& [' f; s& N6 W9 d% f$ @

以上就是本文的全部内容,希望对大家的学习有所帮助

4 \+ P8 s5 p" g2 j) }7 x. z2 [6 n! v& I; D 2 g" K' z5 Z9 D$ n3 y1 R. | # b. { u1 \2 q( u: o7 N1 f! r( S4 }/ ^
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2026-4-7
快速回复 返回顶部 返回列表