分析Nodejs的Stream模块-柠檬ai自媒体

本文主要讲解“分析Nodejs的Stream模块”，简单明了，易学易懂。请跟随边肖的思路，一起学习学习“分析Nodejs的Stream模块”！

一、开篇分析

流是一个抽象接口

节点中的许多对象。例如，对HTTP服务器的请求是一个流，stdout也是一个流。流是可读的、可写的或两者都有。

最早接触Stream是从早期的unix开始的，几十年的实践证明，Stream的思想可以轻松开发一些庞大的系统。

在unix中，流是由“|”实现的。在节点中，作为内置的流模块，使用了许多核心模块和三方模块。

和unix一样，节点流的主要操作是。pipe()，用户可以通过使用背压机制来控制读写之间的平衡。

Stream可以为开发人员提供可重用的统一接口，Streams之间的读写平衡可以通过抽象的stream接口来控制。

TCP连接既是可读流也是可写流，而Http连接则不同。http请求对象是可读流，http响应对象是可写流。

流的传输过程默认以缓冲区的形式传输，除非你为他设置了其他编码形式。以下是一个例子：

1.pfont size='3 '

2./font/p

3 . pfont size=' 3 ' var http=require(' http ')；/font/p

4 . pfont size=' 3 ' var server=http . createserver(function(req，res){/font/p

5 . pfont size=' 3 ' RES . write header(200，{ ' Content-Type ' : ' text/plain ' })；/font/p

6.pfont size='3'res.end('你好，熊！') ;/font/p

7 . pfont size=' 3 ' })；/font/p

8 . pfont size=' 3 ' server . listen(8888)；/font/p

9.pfont size='3'console.log('在端口8888上运行的http服务器.') ;/font/p

运行后会有乱码，因为没有设置指定的字符集，比如“utf-8”。

只需修改它：

var http=require(' http ')；

2 . pfont size=' 3 ' var server=http . createserver(function(req，res){/font/p

3 . pfont size=' 3 ' RES . write header(200，{/font/p

4 . pfont size=' 3 ' ' Content-Type ' : '纯文本/纯文本；字符集=utf-8 '/Add charset=utf-8/font/p

5 . pfont size=' 3 ' })；/font/p

6.pfont size='3'res.end('你好，熊！') ;/font/p

7 . pfont size=' 3 ' })；/font

8. 　　server.listen(8888) ;

9. 　　console.log("http server running on port 8888 ...") ;

　　运行结果：
　　为什么使用Stream
　　node中的I/O是异步的，因此对磁盘和网络的读写需要通过回调函数来读取数据，下面是一个文件下载例子
　　上代码：

2. 　　var http = require('http') ;

3. 　　var fs = require('fs') ;

4. 　　var server = http.createServer(function (req, res) {

5. 　　fs.readFile(__dirname + '/data.txt', function (err, data) {

6. 　　res.end(data);

7. 　　}) ;

8. 　　}) ;

9. 　　server.listen(8888) ;

　　代码可以实现需要的功能，但是服务在发送文件数据之前需要缓存整个文件数据到内存，如果"data.txt"文件很
　　大并且并发量很大的话，会浪费很多内存。因为用户需要等到整个文件缓存到内存才能接受的文件数据，这样导致
　　用户体验相当不好。不过还好(req,res)两个参数都是Stream，这样我们可以用fs.createReadStream()代替fs.readFile()。如下：

　　var http = require('http') ;

2. 　　var fs = require('fs') ;

3. 　　var server = http.createServer(function (req, res) {

4. 　　var stream = fs.createReadStream(__dirname + '/data.txt') ;

5. 　　stream.pipe(res) ;

6. 　　}) ;

7. 　　server.listen(8888) ;

　　.pipe()方法监听fs.createReadStream()的'data' 和'end'事件，这样"data.txt"文件就不需要缓存整
　　个文件，当客户端连接完成之后马上可以发送一个数据块到客户端。使用.pipe()另一个好处是可以解决当客户
　　端延迟非常大时导致的读写不平衡问题。
　　有五种基本的Stream：readable，writable，transform，duplex，and "classic” 。(具体使用请自己查阅api)
　　二，实例引入
　　当内存中无法一次装下需要处理的数据时，或者一边读取一边处理更加高效时，我们就需要用到数据流。NodeJS中通过各种Stream来提供对数据流的操作。
　　以大文件拷贝程序为例，我们可以为数据源创建一个只读数据流，示例如下：
　　var rs = fs.createReadStream(pathname);

2. 　　rs.on('data', function (chunk) {

3. 　　doSomething(chunk) ; // 具体细节自己任意发挥

4. 　　});

5. 　　rs.on('end', function () {

6. 　　cleanUp() ;

7. 　　}) ;

　　代码中data事件会源源不断地被触发，不管doSomething函数是否处理得过来。代码可以继续做如下改造，以解决这个问题。

1.

2.

3. 　　var rs = fs.createReadStream(src) ;

4. 　　rs.on('data', function (chunk) {

5. 　　rs.pause() ;

6. 　　doSomething(chunk, function () {

7. 　　rs.resume() ;

8. 　　}) ;

9. 　　}) ;

10. 　　rs.on('end', function () {

11. 　　cleanUp();

12. 　　}) ;

　　给doSomething函数加上了回调，因此我们可以在处理数据前暂停数据读取，并在处理数据后继续读取数据。
　　此外，我们也可以为数据目标创建一个只写数据流，如下：
　　var rs = fs.createReadStream(src) ;

2. 　　var ws = fs.createWriteStream(dst) ;

3. 　　rs.on('data', function (chunk) {

4. 　　ws.write(chunk);

5. 　　}) ;

6. 　　rs.on('end', function () {

7. 　　ws.end();

8. 　　}) ;

　　doSomething换成了往只写数据流里写入数据后，以上代码看起来就像是一个文件拷贝程序了。但是以上代码存在上边提到的问题，如果写入速度跟不上读取速度的话，只写数据流内部的缓存会爆仓。我们可以根据.write方法的返回值来判断传入的数据是写入目标了，还是临时放在了缓存了，并根据drain事件来判断什么时候只写数据流已经将缓存中的数据写入目标，可以传入下一个待写数据了。因此代码如下：
　　var rs = fs.createReadStream(src) ;

2. 　　var ws = fs.createWriteStream(dst) ;

3. 　　rs.on('data', function (chunk) {

4. 　　if (ws.write(chunk) === false) {

5. 　　rs.pause() ;

6. 　　}

7. 　　}) ;

8. 　　rs.on('end', function () {

9. 　　ws.end();

10. 　　});

11. 　　ws.on('drain', function () {

12. 　　rs.resume();

13. 　　}) ;

　　最终实现了数据从只读数据流到只写数据流的搬运，并包括了防爆仓控制。因为这种使用场景很多，例如上边的大文件拷贝程序，NodeJS直接提供了.pipe方法来做这件事情，其内部实现方式与上边的代码类似。
　　下面是一个更加完整的复制文件的过程：
　　var fs = require('fs'),

2. 　　path = require('path'),

3. 　　out = process.stdout;

4. 　　var filePath = '/bb/bigbear.mkv';

5. 　　var readStream = fs.createReadStream(filePath);

6. 　　var writeStream = fs.createWriteStream('file.mkv');

7. 　　var stat = fs.statSync(filePath);

8. 　　var totalSize = stat.size;

9. 　　var passedLength = 0;

10. 　　var lastSize = 0;

11. 　　var startTime = Date.now();

12. 　　readStream.on('data', function(chunk) {

13. 　　passedLength += chunk.length;

14. 　　if (writeStream.write(chunk) === false) {

15. 　　readStream.pause();

16. 　　}

17. 　　});

18. 　　readStream.on('end', function() {

19. 　　writeStream.end();

20. 　　});

21. 　　writeStream.on('drain', function() {

22. 　　readStream.resume();

23. 　　});

24. 　　setTimeout(function show() {

25. 　　var percent = Math.ceil((passedLength / totalSize) * 100);

26. 　　var size = Math.ceil(passedLength / 1000000);

27. 　　var diff = size - lastSize;

28. 　　lastSize = size;

29. 　　out.clearLine();

30. 　　out.cursorTo(0);

31. 　　out.write('已完成' + size + 'MB, ' + percent + '%, 速度：' + diff * 2 +

32. 'MB/s');

33. 　　if (passedLength < totalSize) {

34. 　　setTimeout(show, 500);

35. 　　} else {

36. 　　var endTime = Date.now();

37. 　　console.log();

38. 　　console.log('共用时：' + (endTime - startTime) / 1000 + '秒。');

39. 　　}

40. 　　}, 500);

　　可以把上面的代码保存为
"copy.js" 试验一下我们添加了一个递归的 setTimeout (或者直接使用setInterval)来做一个旁观者，
　　每500ms观察一次完成进度，并把已完成的大小、百分比和复制速度一并写到控制台上，当复制完成时，计算总的耗费时间。

感谢各位的阅读，以上就是“分析Nodejs的Stream模块”的内容了，经过本文的学习后，相信大家对分析Nodejs的Stream模块这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是，小编将为大家推送更多相关知识点的文章，欢迎关注！

内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/73037.html

分析Nodejs的Stream模块

相关推荐

Ajax中外部数据格式有哪些

狗丢了怎么办,狗狗丢了实在找不到，怎么办

怎样可以,一个人怎样才能实现自己的目标

JAVA怎么读取文本文件内容

SpringBoot中常用的注解有哪些

怎样查看conda的python环境(如何关联jupyter和conda)