Laravel Eloquent的N+1查询问题：使用预加载（with）与延迟加载（Lazy Load）的优化实践 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

Laravel Eloquent N+1 查询问题：预加载（with）与延迟加载（Lazy Load）的优化实践

大家好，今天我们来深入探讨 Laravel Eloquent 中的 N+1 查询问题，以及如何利用预加载（with）和延迟加载（Lazy Load）进行有效的优化。N+1 查询是我们在使用 ORM 时经常会遇到的性能瓶颈，理解并掌握优化策略对于构建高性能的 Laravel 应用至关重要。

1. 什么是 N+1 查询问题？

N+1 查询问题是指在获取一个集合（例如，一个用户列表）后，为了获取每个集合成员关联的数据（例如，每个用户对应的文章列表），进行了 N 次额外的数据库查询。

举个例子，假设我们有一个 User 模型和一个 Post 模型，User 和 Post 之间存在一对多的关系（一个用户可以有多个文章）。如果我们想获取所有用户以及他们各自的文章，可能会这样写：

$users = User::all();

foreach ($users as $user) {
    echo $user->name . ":n";
    foreach ($user->posts as $post) {
        echo "  - " . $post->title . "n";
    }
    echo "n";
}

这段代码看起来很简单，但实际上会产生 N+1 查询。

1 次查询： User::all() 获取所有用户。
N 次查询： 对于每个用户，$user->posts 都会触发一次新的数据库查询来获取该用户的文章。

如果数据库中有 100 个用户，那么这段代码就会执行 101 次数据库查询，严重影响性能。

2. N+1 查询问题分析

为了更清晰地展示 N+1 查询，我们可以开启 Laravel 的查询日志功能，查看执行的 SQL 语句。

在 config/database.php 文件中，找到对应的数据库连接配置，并在 .env 文件中设置 DB_CONNECTION 环境变量。然后在 AppServiceProvider.php 的 boot 方法中添加以下代码：

use IlluminateSupportFacadesDB;
use IlluminateSupportFacadesLog;

public function boot()
{
    DB::listen(function ($query) {
        Log::info(
            $query->sql,
            $query->bindings,
        );
    });
}

现在，再次运行上面的代码，就可以在 storage/logs/laravel.log 文件中看到执行的 SQL 语句。你会发现，除了获取所有用户的 SQL 语句外，还有很多类似 SELECT * FROM posts WHERE user_id = ? 的语句，每个用户对应一条。

3. 预加载（Eager Loading）：解决 N+1 查询的利器

预加载是指在第一次查询时，就将相关联的数据一起查询出来，避免后续的 N 次额外查询。在 Laravel Eloquent 中，可以使用 with 方法来实现预加载。

修改上面的代码，使用 with 方法预加载 posts 关系：

$users = User::with('posts')->get();

foreach ($users as $user) {
    echo $user->name . ":n";
    foreach ($user->posts as $post) {
        echo "  - " . $post->title . "n";
    }
    echo "n";
}

现在，再次运行这段代码，并查看查询日志，你会发现只执行了两次数据库查询：

一次查询获取所有用户：SELECT * FROM users
一次查询获取所有用户的文章：SELECT * FROM posts WHERE user_id IN (1, 2, 3, ...) （IN 子句包含了所有用户的 ID）

通过预加载，我们将 N+1 查询优化成了 2 次查询，大大提高了性能。

4. 预加载的原理

with 方法实际上是在后台生成了一个 JOIN 查询（或者多个查询，取决于关系的类型和数量），将关联数据一次性取出。对于一对多的关系，Eloquent 可能会使用 IN 子句来优化查询，如上面的例子所示。

5. 预加载多个关系

with 方法可以同时预加载多个关系：

$users = User::with(['posts', 'profile'])->get();

这会一次性加载用户的文章和个人资料。

6. 预加载嵌套关系

with 方法还可以预加载嵌套关系。例如，如果 Post 模型与 Category 模型存在关联，我们可以这样预加载：

$users = User::with('posts.category')->get();

这会加载所有用户，以及每个用户的文章，以及每篇文章所属的分类。

7. 预加载约束

有时，我们只需要加载部分关联数据。例如，我们只想加载用户的活跃文章。可以在 with 方法中使用闭包来添加约束：

$users = User::with(['posts' => function ($query) {
    $query->where('is_active', true);
}])->get();

这只会加载用户的活跃文章。

8. 延迟加载（Lazy Loading）与延迟预加载（Lazy Eager Loading）

延迟加载（Lazy Loading）： 就是我们在没有使用 with 的情况下，访问关联关系时，Eloquent 自动执行的查询。这正是 N+1 查询问题的根源。虽然 Laravel 默认开启了延迟加载，但在生产环境中应该尽量避免使用，因为会导致性能问题。
延迟预加载（Lazy Eager Loading）： 是指在已经获取了集合之后，再进行预加载。可以使用 load 方法来实现。

$users = User::all(); // 先获取所有用户

// 稍后，在需要的时候，预加载用户的文章
$users->load('posts');

foreach ($users as $user) {
    echo $user->name . ":n";
    foreach ($user->posts as $post) {
        echo "  - " . $post->title . "n";
    }
    echo "n";
}

延迟预加载适用于以下场景：

关联关系不是总是需要加载的。
无法在第一次查询时确定需要加载哪些关联关系。

9. loadMissing 方法

loadMissing 方法类似于 load 方法，但它只会加载尚未加载的关联关系。

$users = User::all();

// 如果 posts 关系没有加载，则加载它
$users->loadMissing('posts');

这可以避免重复加载已经加载的关联关系。

10. 何时使用预加载，何时使用延迟预加载？

场景	推荐方法	理由
总是需要关联数据	预加载 (with)	性能最佳，一次性加载所有需要的数据。
关联数据不是总是需要的，或者在稍后才能确定需要哪些关联数据	延迟预加载 (load)	避免不必要的查询，只在需要的时候加载关联数据。
需要根据某些条件动态加载关联关系	延迟预加载 (load)	可以在代码的中间部分，根据某些条件判断是否需要加载关联关系。
避免重复加载已经加载的关系	loadMissing	确保只加载尚未加载的关联关系，避免不必要的查询。

11. 预加载与性能的权衡

虽然预加载可以解决 N+1 查询问题，但过度预加载也会影响性能。加载不需要的数据会增加查询的复杂性和数据传输量。因此，我们需要根据实际情况，选择合适的预加载策略。

12. 使用 withCount 统计关联关系的数量

如果只需要知道关联关系的数量，而不需要加载关联关系的数据，可以使用 withCount 方法。

$users = User::withCount('posts')->get();

foreach ($users as $user) {
    echo $user->name . " has " . $user->posts_count . " posts.n";
}

withCount 会在查询结果中添加一个 posts_count 属性，表示每个用户拥有的文章数量。这比加载所有文章再统计数量效率更高。

13. 避免在循环中使用查询

除了 N+1 查询问题外，还应避免在循环中使用查询。例如：

$categories = Category::all();

foreach ($categories as $category) {
    $posts = Post::where('category_id', $category->id)->get(); // 在循环中进行查询
    // ...
}

这段代码也会产生 N+1 查询问题。应该使用预加载或者将查询移到循环之外。

14. 使用数据库索引

数据库索引可以大大提高查询速度。确保在经常用于查询的字段上创建索引，例如外键字段。

15. 使用缓存

缓存可以减少数据库查询的次数。可以使用 Laravel 的缓存系统来缓存常用的数据。

16. 示例代码：优化文章列表页面

假设我们有一个文章列表页面，需要显示文章的标题、作者和分类。

优化前：

$posts = Post::all();

foreach ($posts as $post) {
    echo $post->title . " by " . $post->user->name . " in " . $post->category->name . "n";
}

这会产生 N+2 查询问题：

1 次查询获取所有文章。
N 次查询获取每篇文章的作者。
N 次查询获取每篇文章的分类。

优化后：

$posts = Post::with(['user', 'category'])->get();

foreach ($posts as $post) {
    echo $post->title . " by " . $post->user->name . " in " . $post->category->name . "n";
}

这只会执行 3 次查询：

1 次查询获取所有文章。
1 次查询获取所有文章的作者。
1 次查询获取所有文章的分类。

表格总结：预加载的各种用法

用法	描述	示例
`with('relation')`	预加载单个关系	`$users = User::with('posts')->get();`
`with(['relation1', 'relation2'])`	预加载多个关系	`$users = User::with(['posts', 'profile'])->get();`
`with('relation.nestedRelation')`	预加载嵌套关系	`$users = User::with('posts.category')->get();`
`with(['relation' => function ($query) { ... }])`	预加载关系并添加约束	`$users = User::with(['posts' => function ($query) { $query->where('is_active', true); }])->get();`
`withCount('relation')`	统计关联关系的数量，不加载关联数据	`$users = User::withCount('posts')->get();`

延迟加载和预加载的正确选择

理解 N+1 查询问题并合理运用预加载和延迟预加载是 Laravel 开发中不可或缺的技能。选择预加载还是延迟加载取决于具体的应用场景和性能需求。在大多数情况下，预加载是解决 N+1 查询问题的最佳选择，但延迟预加载在某些特定场景下也很有用。

Laravel Eloquent N+1 查询问题：预加载（with）与延迟加载（Lazy Load）的优化实践

发表回复 取消回复

发表回复取消回复