JavaScript内核与高级编程之：`Node.js`的`Http`模块：其`Agent`在连接池中的作用。 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

各位观众老爷们，大家好！今儿咱们聊聊Node.js里一个低调但关键的家伙——http模块的Agent，以及它在连接池里扮演的角色。这玩意儿，说白了，就是个连接管理的“老鸨”，啊不，是“连接管理员”。

一、HTTP请求的“前世今生”：没Agent的日子

在深入了解Agent之前，咱们先回顾一下HTTP请求的简单流程。假设你写了个Node.js脚本，要从某个网站抓取数据，代码大概长这样：

const http = require('http');

const options = {
  hostname: 'www.example.com',
  port: 80,
  path: '/',
  method: 'GET'
};

const req = http.request(options, (res) => {
  console.log(`状态码: ${res.statusCode}`);

  res.on('data', (chunk) => {
    console.log(`响应体: ${chunk}`);
  });

  res.on('end', () => {
    console.log('响应中已无数据。');
  });
});

req.on('error', (error) => {
  console.error(`请求遇到问题: ${error.message}`);
});

req.end();

这段代码看着挺简单，但每次执行都会发生什么呢？

建立连接： Node.js会与www.example.com的80端口建立一个新的TCP连接。
发送请求： 发送HTTP请求。
接收响应： 接收服务器返回的数据。
关闭连接： 请求完成后，TCP连接会被关闭。

问题来了！如果你的脚本需要频繁地向同一个服务器发送请求，比如每秒发送10个请求，那么每秒就要建立和关闭10个TCP连接。这可不是闹着玩的，建立和关闭连接是相当耗费资源的。就像你每次去隔壁老王家借个扳手都得重新敲门，打招呼，寒暄几句，用完再道别，关门一样，繁琐得很！

二、Agent闪亮登场：连接池的守护者

Agent的作用就是解决这个问题。它维护了一个连接池，用于缓存已经建立的TCP连接。当需要发送新的请求时，Agent会先检查连接池里有没有可用的连接。如果有，就直接拿来用；如果没有，才新建一个连接。请求完成后，连接不会立即关闭，而是放回连接池，等待下次使用。

还是借用老王家的例子，有了Agent，就像你在老王家有了一把钥匙，随时可以开门进去拿扳手，用完再放回去，省去了敲门、寒暄等繁琐的步骤。

三、Agent的用法：简单粗暴有效

默认情况下，http.request和https.request都会使用一个全局的Agent实例。这个全局Agent的默认行为是：

最多维护5个连接。
对每个主机（hostname和port的组合），最多维护5个连接。

你可以通过自定义Agent来改变这些行为。比如，你想让你的脚本对www.example.com保持更多的连接，可以这样做：

const http = require('http');

const agent = new http.Agent({
  keepAlive: true,
  maxSockets: 10, // 每个主机最多10个连接
  maxFreeSockets: 5, //空闲时最多保持5个连接
  timeout: 60000 // 60秒超时
});

const options = {
  hostname: 'www.example.com',
  port: 80,
  path: '/',
  method: 'GET',
  agent: agent // 使用自定义的Agent
};

const req = http.request(options, (res) => {
  console.log(`状态码: ${res.statusCode}`);

  res.on('data', (chunk) => {
    console.log(`响应体: ${chunk}`);
  });

  res.on('end', () => {
    console.log('响应中已无数据。');
  });
});

req.on('error', (error) => {
  console.error(`请求遇到问题: ${error.message}`);
});

req.end();

这里，我们创建了一个新的Agent实例，并设置了maxSockets为10，这意味着Agent最多会为www.example.com保持10个连接。keepAlive: true 表示启用keep-alive，连接使用后不会立即关闭。

四、Agent的配置项：精细化管理

Agent有很多配置项，可以用来精细化地管理连接池。下面是一些常用的配置项：

配置项	类型	描述
`keepAlive`	`boolean`	是否启用keep-alive。如果启用，连接会在请求完成后保持打开状态，以便下次使用。默认为 `false`。
`keepAliveMsecs`	`number`	当使用 `keepAlive` 时，在发送新的 HTTP 请求之前，连接保持空闲的最长时间（以毫秒为单位）。默认为 1000 毫秒。只有当 `keepAlive` 为 `true` 时才有效。
`maxSockets`	`number`	`Agent` 允许创建的最大套接字数。默认为 `Infinity`。每个 unique 的 origin 拥有一个套接字池。一个 origin 由请求的协议、主机名和端口组成。
`maxFreeSockets`	`number`	在空闲状态下，`Agent` 允许保持的最大套接字数。仅当 `keepAlive` 为 `true` 时才有效。默认为 256。
`timeout`	`number`	套接字在空闲状态下保持打开状态的最大毫秒数。仅当 `keepAlive` 为 `true` 时才有效。
`scheduling`	`string`	指定套接字调度策略。可以是 `'fifo'`（先进先出）或 `'lifo'`（后进先出）。默认为 `'fifo'`。 `'fifo'` 意味着套接字按照它们被放入空闲列表的顺序进行选择。 `'lifo'` 意味着套接字按照它们被放入空闲列表的逆序进行选择。

五、深入连接池：理解Agent的工作原理

要真正理解Agent的作用，我们需要深入了解连接池的工作原理。

连接的创建： 当需要发送请求时，Agent会先检查连接池里有没有可用的连接。如果没有，Agent会创建一个新的TCP连接，并将它放入连接池。
连接的复用： 当有新的请求需要发送到同一个服务器时，Agent会从连接池里取出一个空闲的连接。如果连接池里没有空闲的连接，但连接数量还没有达到maxSockets的限制，Agent会创建一个新的连接。
连接的释放： 当请求完成后，连接不会立即关闭，而是被标记为空闲，并放回连接池。
连接的清理： Agent会定期清理连接池里的空闲连接，防止连接过多占用资源。timeout参数控制了连接在空闲状态下的最长存活时间。超过这个时间，连接会被关闭。maxFreeSockets参数控制了空闲连接的最大数量。超过这个数量，多余的连接会被关闭。

六、Agent的种类：Global Agent与Custom Agent

Node.js提供了两种类型的Agent：

Global Agent： http和https模块默认使用的Agent实例。所有没有指定agent选项的请求都会使用Global Agent。Global Agent的连接池是全局共享的。
Custom Agent： 你自己创建的Agent实例。你可以通过agent选项来指定使用哪个Agent实例。Custom Agent的连接池是独立的，只为使用该Agent实例的请求服务。

使用Custom Agent的好处是可以更好地控制连接池的行为，避免多个模块之间相互影响。比如，你有一个模块需要频繁地向某个服务器发送请求，可以创建一个Custom Agent，专门为这个模块服务。

七、Agent的应用场景：性能优化的利器

Agent在很多场景下都能发挥作用，提升性能：

高并发请求： 在高并发的场景下，使用Agent可以显著减少TCP连接的建立和关闭次数，降低服务器的负载。
长连接： 对于需要保持长时间连接的应用，比如WebSocket，使用Agent可以更好地管理连接，避免频繁地建立和关闭连接。
反向代理： 在反向代理服务器中，使用Agent可以更好地管理与后端服务器的连接，提高代理服务器的性能。

八、Agent的坑：小心驶得万年船

虽然Agent有很多优点，但使用不当也会带来一些问题：

连接泄漏： 如果你的代码没有正确地处理响应，或者忘记调用req.end()，可能会导致连接泄漏，最终耗尽连接池的资源。
DNS缓存： Agent会缓存DNS查询的结果。如果服务器的IP地址发生变化，Agent可能仍然使用旧的IP地址，导致请求失败。可以通过设置lookup选项来禁用DNS缓存。
连接超时： 如果服务器长时间没有响应，连接可能会超时。可以通过设置timeout选项来调整超时时间。

九、Agent的调试：排查问题的帮手

调试Agent的问题可能比较棘手，因为连接池的行为比较复杂。以下是一些调试技巧：

查看连接池状态： Agent提供了一些方法可以用来查看连接池的状态，比如agent.sockets、agent.freeSockets。
使用抓包工具： 可以使用Wireshark等抓包工具来分析HTTP请求和TCP连接。
增加日志： 在代码中增加日志，记录连接的创建、复用和释放过程。

十、Agent的替代方案：新的选择

除了http.Agent，还有一些其他的连接池管理方案可供选择，比如：

node-pool： 一个通用的资源池管理库，可以用于管理各种类型的资源，包括TCP连接。
undici： 一个高性能的HTTP客户端，内置了连接池管理功能。

这些替代方案可能提供更多的灵活性和性能优势，可以根据具体的需求选择合适的方案。

总结

http模块的Agent是Node.js中一个重要的连接管理工具。它可以有效地减少TCP连接的建立和关闭次数，提高HTTP请求的性能。但使用Agent也需要注意一些问题，比如连接泄漏、DNS缓存和连接超时。通过深入理解Agent的工作原理，并掌握一些调试技巧，你可以更好地利用Agent来优化你的Node.js应用。

希望今天的讲座能帮助大家更好地理解Agent的作用。下次再见！

发表回复 取消回复

发表回复取消回复