Node.js 中如何实现一个安全的文件上传服务，并处理文件类型、大小和存储安全？ - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

各位朋友们，晚上好！我是你们的老朋友，今天咱们来聊聊 Node.js 文件上传这事儿。别看这事儿不大，水可深着呢。一不小心，你的服务器就成了别人随意上传文件的“公共厕所”了。所以，咱们得好好研究研究，怎么才能实现一个安全又靠谱的文件上传服务。

一、欢迎来到文件上传的“战场”

文件上传，听起来简单，无非就是客户端把文件发过来，服务器接收一下，存起来。但实际上，这里面暗藏杀机。各种攻击，各种恶意文件，防不胜防。所以，做好安全措施，是咱们的首要任务。

二、Node.js 文件上传的“武器库”

Node.js 提供了很多模块来处理文件上传，其中最常用的就是 multer 和 formidable。咱们今天主要讲 multer，因为它用起来更方便，功能也更强大。

Multer: 一个 Node.js 中间件，用于处理 multipart/form-data 类型的表单数据，主要用于上传文件。

三、搭建你的“堡垒”：服务器端代码

首先，你需要安装 multer：

npm install multer --save

然后，在你的 Node.js 代码中引入它：

const express = require('express');
const multer  = require('multer');
const path = require('path'); // 用于处理文件路径
const fs = require('fs'); // 用于文件系统操作
const app = express();
const port = 3000;

// 静态资源目录，用于访问上传的文件
app.use(express.static('public'));

接下来，我们要配置 multer，告诉它文件应该存放在哪里，以及文件名应该怎么生成。

// 创建 uploads 目录，如果不存在
const uploadDir = path.join(__dirname, 'public', 'uploads');
if (!fs.existsSync(uploadDir)) {
  fs.mkdirSync(uploadDir, { recursive: true });
}

// 配置 multer 的存储
const storage = multer.diskStorage({
  destination: function (req, file, cb) {
    // 指定文件存储路径
    cb(null, uploadDir);
  },
  filename: function (req, file, cb) {
    // 生成唯一的文件名，防止重名
    const uniqueSuffix = Date.now() + '-' + Math.round(Math.random() * 1E9);
    const fileExtension = path.extname(file.originalname); // 获取文件扩展名
    cb(null, file.fieldname + '-' + uniqueSuffix + fileExtension);
  }
});

const upload = multer({ storage: storage });

这段代码做了这些事情：

destination：指定文件存储的目录。这里我们创建了一个 public/uploads 目录。
filename：指定文件名。我们用时间戳和随机数生成唯一的文件名，防止重名。同时，保留了原始文件的扩展名。

现在，我们可以创建一个处理文件上传的路由了：

app.post('/upload', upload.single('avatar'), (req, res) => {
  // `avatar` 是 HTML 表单中 file 类型的 input 标签的 name 属性值
  if (!req.file) {
    return res.status(400).send('No files were uploaded.');
  }

  // 文件信息在 req.file 对象中
  console.log(req.file);

  // 文件上传成功，返回文件信息
  res.send('File uploaded successfully! File path: /uploads/' + req.file.filename);
});

app.listen(port, () => {
  console.log(`Server listening at http://localhost:${port}`);
});

这段代码做了这些事情：

upload.single('avatar')：这是一个 multer 中间件，用于处理单个文件上传。'avatar' 是 HTML 表单中 file 类型的 input 标签的 name 属性值。
req.file：上传成功后，文件信息会保存在 req.file 对象中。你可以从中获取文件名、文件大小、文件类型等等。

四、客户端的“冲锋号”：HTML 表单

为了上传文件，我们需要一个 HTML 表单：

<!DOCTYPE html>
<html>
<head>
  <title>File Upload</title>
</head>
<body>
  <form action="/upload" method="post" enctype="multipart/form-data">
    <input type="file" name="avatar" />
    <button type="submit">Upload</button>
  </form>
</body>
</html>

注意：

enctype="multipart/form-data"：这个属性是必须的，它告诉浏览器以 multipart/form-data 格式发送表单数据。
name="avatar"：这个属性要和服务器端 upload.single('avatar') 中的 'avatar' 对应。

把这个 HTML 文件放在 public 目录下，然后启动你的 Node.js 服务器，就可以访问它了。

五、文件类型验证：识别“伪装者”

仅仅依靠文件扩展名来判断文件类型是不可靠的。因为攻击者可以轻易地修改文件扩展名，把一个恶意文件伪装成图片或文本文件。

我们需要读取文件的 Magic Number (也叫文件签名) 来判断文件类型。每个文件类型都有一个或多个 Magic Number，它们是文件开头的一段固定字节。

const mmm = require('mmmagic'); // 引入 mmmagic 模块
const { Magic } = mmm;

const magic = new Magic(mmm.MAGIC_MIME_TYPE); // 初始化 Magic 对象

const allowedMimeTypes = ['image/jpeg', 'image/png', 'image/gif']; // 允许的文件类型

const storage = multer.diskStorage({
  destination: function (req, file, cb) {
    cb(null, uploadDir);
  },
  filename: function (req, file, cb) {
    const uniqueSuffix = Date.now() + '-' + Math.round(Math.random() * 1E9);
    const fileExtension = path.extname(file.originalname);
    cb(null, file.fieldname + '-' + uniqueSuffix + fileExtension);
  }
});

const fileFilter = (req, file, cb) => {
  const filePath = path.join(uploadDir, file.originalname); // 临时文件路径
  const buffer = fs.readFileSync(filePath); // 读取文件内容到 Buffer

  magic.detect(buffer, (err, mimeType) => {
    if (err) {
      console.error(err);
      return cb(new Error('Error detecting MIME type.'), false);
    }

    if (allowedMimeTypes.includes(mimeType)) {
      cb(null, true); // 允许上传
    } else {
      cb(new Error('Invalid file type. Allowed types are: ' + allowedMimeTypes.join(', ')), false); // 拒绝上传
    }
  });
};

const upload = multer({
  storage: storage,
  fileFilter: fileFilter,
  limits: {
    fileSize: 1024 * 1024 * 5 // 限制文件大小为 5MB
  }
});

这段代码做了这些事情：

引入 mmmagic 模块： 使用 npm install mmmagic --save 安装。
初始化 Magic 对象： const magic = new Magic(mmm.MAGIC_MIME_TYPE); 创建了一个 Magic 实例，并指定了要检测的 MIME 类型。
定义允许的文件类型： const allowedMimeTypes = ['image/jpeg', 'image/png', 'image/gif']; 定义了一个允许上传的文件类型数组。
创建 fileFilter 函数： 这个函数会在文件上传之前被调用，用于验证文件类型。
- 读取文件内容： const buffer = fs.readFileSync(filePath); 读取上传的文件内容到 Buffer。
- 使用 magic.detect 检测文件类型： magic.detect(buffer, (err, mimeType) => { ... }); 使用 mmmagic 库检测文件的 MIME 类型。
- 判断文件类型是否允许： if (allowedMimeTypes.includes(mimeType)) { ... } 判断检测到的 MIME 类型是否在允许的列表中。
配置 multer：
- fileFilter: fileFilter： 将 fileFilter 函数添加到 multer 的配置中。
- limits: { fileSize: 1024 * 1024 * 5 }： 限制文件大小为 5MB。

六、文件大小限制：控制“胃口”

为了防止上传过大的文件，占用服务器资源，我们需要限制文件大小。

const upload = multer({
  storage: storage,
  fileFilter: fileFilter,
  limits: {
    fileSize: 1024 * 1024 * 5 // 限制文件大小为 5MB
  }
});

limits.fileSize：限制文件大小，单位是字节。这里我们限制文件大小为 5MB。

七、存储安全：保护“宝藏”

上传的文件可能会包含恶意代码，如果直接存储在服务器上，可能会造成安全隐患。所以，我们需要对上传的文件进行安全处理。

不要将上传的文件直接放在 Web 根目录下： 最好放在一个只有服务器才能访问的目录中。
对上传的文件进行重命名： 防止文件名被猜测或利用。
使用 CDN： CDN 可以缓存静态资源，减轻服务器压力，并且可以提供一定的安全保护。
使用文件扫描工具： 定期扫描上传的文件，检测恶意代码。

八、代码示例：完整的服务器端代码

const express = require('express');
const multer  = require('multer');
const path = require('path');
const fs = require('fs');
const mmm = require('mmmagic');
const { Magic } = mmm;

const app = express();
const port = 3000;

// 静态资源目录
app.use(express.static('public'));

// 创建 uploads 目录
const uploadDir = path.join(__dirname, 'public', 'uploads');
if (!fs.existsSync(uploadDir)) {
  fs.mkdirSync(uploadDir, { recursive: true });
}

// 允许的文件类型
const allowedMimeTypes = ['image/jpeg', 'image/png', 'image/gif'];

// 初始化 Magic 对象
const magic = new Magic(mmm.MAGIC_MIME_TYPE);

// 配置 multer 的存储
const storage = multer.diskStorage({
  destination: function (req, file, cb) {
    cb(null, uploadDir);
  },
  filename: function (req, file, cb) {
    const uniqueSuffix = Date.now() + '-' + Math.round(Math.random() * 1E9);
    const fileExtension = path.extname(file.originalname);
    cb(null, file.fieldname + '-' + uniqueSuffix + fileExtension);
  }
});

// 文件类型验证
const fileFilter = (req, file, cb) => {
  const filePath = path.join(uploadDir, file.originalname); // 临时文件路径
  const buffer = fs.readFileSync(filePath);

  magic.detect(buffer, (err, mimeType) => {
    if (err) {
      console.error(err);
      return cb(new Error('Error detecting MIME type.'), false);
    }

    if (allowedMimeTypes.includes(mimeType)) {
      cb(null, true); // 允许上传
    } else {
      cb(new Error('Invalid file type. Allowed types are: ' + allowedMimeTypes.join(', ')), false); // 拒绝上传
    }
  });
};

// 配置 multer
const upload = multer({
  storage: storage,
  fileFilter: fileFilter,
  limits: {
    fileSize: 1024 * 1024 * 5 // 限制文件大小为 5MB
  }
});

// 处理文件上传的路由
app.post('/upload', upload.single('avatar'), (req, res) => {
  if (!req.file) {
    return res.status(400).send('No files were uploaded.');
  }

  console.log(req.file);
  res.send('File uploaded successfully! File path: /uploads/' + req.file.filename);
});

// 错误处理中间件
app.use((err, req, res, next) => {
  console.error(err.stack);
  res.status(500).send(err.message); // 返回错误信息给客户端
});

app.listen(port, () => {
  console.log(`Server listening at http://localhost:${port}`);
});

九、总结：打造坚固的文件上传服务

安全的文件上传服务需要考虑很多方面，包括文件类型验证、文件大小限制、存储安全等等。通过使用 multer 模块，并结合文件签名验证和安全存储策略，我们可以打造一个坚固的文件上传服务，保护服务器的安全。

文件上传安全checklist:

安全措施	描述	代码示例
文件类型验证	使用 Magic Number 验证文件类型，防止伪装文件。	`const mmm = require('mmmagic');`… `magic.detect(buffer, (err, mimeType) => { ... });`
文件大小限制	限制文件大小，防止占用过多服务器资源。	`limits: { fileSize: 1024 * 1024 * 5 }`
文件存储位置	不要将上传的文件直接放在 Web 根目录下，放在只有服务器才能访问的目录中。	`destination: function (req, file, cb) { cb(null, uploadDir); }` // `uploadDir` 指向安全目录
文件重命名	对上传的文件进行重命名，防止文件名被猜测或利用。	`filename: function (req, file, cb) { ... cb(null, file.fieldname + '-' + uniqueSuffix + fileExtension); }`
错误处理	添加错误处理中间件，处理上传过程中出现的错误，并返回友好的错误信息给客户端。	`app.use((err, req, res, next) => { ... });`
定期文件扫描	使用文件扫描工具，定期扫描上传的文件，检测恶意代码。	(这部分需要集成第三方文件扫描工具，例如 ClamAV，具体实现方式取决于所使用的工具。)
Content-Disposition	设置 Content-Disposition 响应头，强制浏览器下载文件，而不是直接执行。	(这部分需要在文件下载的路由中设置，示例： `res.setHeader('Content-Disposition', 'attachment; filename="' + filename + '"');` )
输入验证	验证客户端传递的文件名和其他参数，防止注入攻击。	对 `req.body` 中的参数进行验证，例如使用 `express-validator`。
权限控制	限制用户上传文件的权限，只有授权用户才能上传文件。	使用中间件验证用户身份，例如 `passport` 或 `jsonwebtoken`。
日志记录	记录文件上传的日志，方便审计和排查问题。	使用日志库，例如 `winston` 或 `morgan`，记录上传时间和用户信息等。
使用CDN	使用 CDN 缓存静态资源，减轻服务器压力，并且可以提供一定的安全保护。	(这部分需要在 CDN 服务商处进行配置。)
限制并发上传数	限制同一用户或 IP 地址的并发上传数量，防止恶意上传导致服务器过载。	可以使用 `express-rate-limit` 中间件实现。
避免直接执行文件	避免直接执行用户上传的文件，例如 PHP、ASP 等，防止恶意代码执行。	(这部分需要在服务器配置中进行设置，例如禁用 Apache 或 Nginx 对特定目录的脚本执行权限。)
HTTPS	使用 HTTPS 加密传输，防止中间人攻击。	(这部分需要在服务器配置中进行设置，例如使用 Let’s Encrypt 获取免费 SSL 证书。)

记住，安全是一个持续的过程，需要不断地学习和改进。

好了，今天的讲座就到这里。希望对大家有所帮助。如果有什么问题，欢迎随时提问。我们下期再见！

发表回复 取消回复

发表回复取消回复