好的，各位观众，欢迎来到“稀疏矩阵奇妙之旅”讲座！今天咱们不聊八卦，只聊数据，而且是那种“稀疏”到骨子里，但又蕴藏着巨大能量的数据。
什么是稀疏矩阵？别怕，没那么玄乎！
想象一下，你手里有一张巨大的表格，记录了全国人民和他们喜欢的电影。如果每个人都看了所有电影，那这张表就满满当当，毫无空隙。但现实是，大部分人只会看一小部分电影，所以这张表上会布满大量的空白。这些空白，我们就可以认为是“0”。
如果一张矩阵（也就是表格）里，大部分元素都是0，我们就说它是“稀疏矩阵”。反之，如果大部分元素都不是0，那就是“稠密矩阵”。
为啥要用稀疏矩阵？难道0不是可以忽略的吗？
理论上是这样，但实际上，当数据量大到一定程度，忽略0的代价就太大了！
- 内存告急： 稠密矩阵会老老实实地把每一个元素都存起来，不管它是0还是啥。如果你的矩阵大到几百万行几百万列，哪怕只有1%的非零元素，剩下的99%的0也会把你的内存榨干！
- 计算龟速： 很多矩阵运算，比如乘法，都需要遍历所有元素。如果大部分元素都是0，那我们就在做大量的无用功，浪费时间。
所以，稀疏矩阵的出现，就是为了解决这两个问题：省内存，提速度！
SciPy 稀疏矩阵：你的Python好帮手
SciPy 是 Python 中一个强大的科学计算库，它提供了多种稀疏矩阵的存储格式和操作方法，让我们可以轻松地处理大规模稀疏数据。
SciPy 稀疏矩阵的几种常见格式
SciPy 提供了多种稀疏矩阵格式，每种格式都有自己的优缺点，适用于不同的场景。我们来认识一下这几个“老朋友”：
- CSR (Compressed Sparse Row): 按行压缩存储。这是最常用的稀疏矩阵格式之一，擅长快速进行行操作，比如行切片、行向量加法等。
- CSC (Compressed Sparse Column): 按列压缩存储。和 CSR 类似，但擅长快速进行列操作。
- COO (Coordinate list): 坐标列表。存储非零元素的坐标和值。创建稀疏矩阵比较方便，但不太适合进行数值计算。
- LIL (List of Lists): 列表的列表。每一行都用一个列表来存储非零元素。适合动态构建稀疏矩阵，但计算效率较低。
- DIA (Diagonal): 对角线存储。只存储对角线上的元素。适用于对角矩阵或者近似对角矩阵。
- BSR (Block Sparse Row): 块稀疏行。存储块矩阵。对于具有块结构的稀疏矩阵特别有效。
为了更直观地了解，我们用一个表格来总结一下：
| 格式 | 描述 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| CSR | 按行压缩存储 | 快速行操作，存储效率高 | 列操作效率较低 | 大部分场景，特别是行操作频繁的场景 |
| CSC | 按列压缩存储 | 快速列操作，存储效率高 | 行操作效率较低 | 列操作频繁的场景 |
| COO | 坐标列表 | 创建方便 | 计算效率低 | 构建稀疏矩阵，然后转换为其他格式 |
| LIL | 列表的列表 | 动态构建 | 计算效率低，存储效率低 | 动态构建，然后转换为其他格式 |
| DIA | 对角线存储 | 存储效率高，计算效率高 | 只能存储对角矩阵 | 对角矩阵或近似对角矩阵 |
| BSR | 块稀疏行 | 存储效率高，适合块操作 | 复杂，不通用 | 具有块结构的稀疏矩阵 |
代码实战：用 SciPy 创建和操作稀疏矩阵
光说不练假把式，现在我们来用代码演示一下如何使用 SciPy 创建和操作稀疏矩阵。
1. 创建稀疏矩阵
首先，我们需要导入 scipy.sparse 模块：
import numpy as np
from scipy import sparse- 从稠密矩阵创建：
dense_matrix = np.array([[1, 0, 0], [0, 2, 0], [0, 0, 3]])
csr_matrix = sparse.csr_matrix(dense_matrix)
print(csr_matrix)输出：
(0, 0) 1
(1, 1) 2
(2, 2) 3这个输出表示，矩阵中只有 (0, 0), (1, 1), (2, 2) 这三个位置的元素非零，分别是 1, 2, 3。
- 从 COO 格式创建：
row = np.array([0, 1, 2])
col = np.array([0, 1, 2])
data = np.array([1, 2, 3])
coo_matrix = sparse.coo_matrix((data, (row, col)), shape=(3, 3))
print(coo_matrix)输出：
(0, 0) 1
(1, 1) 2
(2, 2) 3这里，row 和 col 分别存储非零元素的行坐标和列坐标，data 存储对应的值。shape 指定矩阵的形状。
- 从 LIL 格式创建：
lil_matrix = sparse.lil_matrix((3, 3))
lil_matrix[0, 0] = 1
lil_matrix[1, 1] = 2
lil_matrix[2, 2] = 3
print(lil_matrix)输出：
(0, 0) 1.0
(1, 1) 2.0
(2, 2) 3.0LIL 格式允许我们像操作普通矩阵一样，逐个设置元素的值。
2. 转换稀疏矩阵格式
不同的稀疏矩阵格式之间可以相互转换。比如，我们可以把 COO 格式转换为 CSR 格式：
csr_matrix = coo_matrix.tocsr()
print(csr_matrix)输出：
(0, 0) 1
(1, 1) 2
(2, 2) 3转换格式可以让我们在不同的操作中选择最合适的格式，以提高效率。
3. 稀疏矩阵的运算
SciPy 稀疏矩阵支持常见的矩阵运算，比如加法、乘法、转置等。
- 加法：
matrix1 = sparse.csr_matrix([[1, 0, 0], [0, 2, 0], [0, 0, 3]])
matrix2 = sparse.csr_matrix([[0, 1, 0], [1, 0, 0], [0, 0, 1]])
result = matrix1 + matrix2
print(result)输出：
(0, 0) 1
(0, 1) 1
(1, 0) 1
(1, 1) 2
(2, 2) 4- 乘法：
matrix1 = sparse.csr_matrix([[1, 0, 0], [0, 2, 0], [0, 0, 3]])
matrix2 = sparse.csr_matrix([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
result = matrix1 * matrix2
print(result)输出：
(0, 0) 1
(0, 1) 2
(0, 2) 3
(1, 0) 8
(1, 1) 10
(1, 2) 12
(2, 0) 21
(2, 1) 24
(2, 2) 27- 转置：
matrix = sparse.csr_matrix([[1, 0, 0], [0, 2, 0], [0, 0, 3]])
transpose = matrix.transpose()
print(transpose)输出：
(0, 0) 1
(1, 1) 2
(2, 2) 34. 稀疏矩阵的属性
稀疏矩阵有一些常用的属性，可以帮助我们了解矩阵的信息。
nnz: 非零元素的个数。shape: 矩阵的形状。dtype: 元素的数据类型。
matrix = sparse.csr_matrix([[1, 0, 0], [0, 2, 0], [0, 0, 3]])
print("Number of non-zero elements:", matrix.nnz)
print("Shape:", matrix.shape)
print("Data type:", matrix.dtype)输出：
Number of non-zero elements: 3
Shape: (3, 3)
Data type: int64性能优化：让你的稀疏矩阵飞起来！
使用稀疏矩阵可以节省内存，但如果使用不当，也可能会影响计算速度。下面是一些性能优化的技巧：
- 选择合适的格式： 根据你的应用场景，选择最合适的稀疏矩阵格式。一般来说，CSR 格式适合行操作，CSC 格式适合列操作。
- 避免不必要的格式转换： 格式转换会消耗时间，尽量避免在计算过程中频繁地进行格式转换。
- 利用稀疏性： 在编写代码时，尽量利用稀疏矩阵的特性，避免对零元素进行不必要的计算。比如，在矩阵乘法中，可以只计算非零元素的乘积。
- 使用 SciPy 提供的优化函数： SciPy 提供了一些针对稀疏矩阵的优化函数，比如
sparse.linalg.cg(共轭梯度法) 可以用来求解稀疏线性方程组。
实际应用：稀疏矩阵大显身手的地方
稀疏矩阵在很多领域都有广泛的应用。
- 推荐系统： 用户-物品评分矩阵通常是稀疏的，因为每个用户只会对少数物品进行评分。
- 文本挖掘： 文档-词语矩阵通常是稀疏的，因为每个文档只会包含少数词语。
- 图像处理： 图像可以表示成稀疏矩阵，比如在图像分割中，可以用稀疏矩阵来表示像素之间的连接关系。
- 社交网络分析： 社交网络可以表示成稀疏矩阵，比如用户之间的关注关系。
- 科学计算： 很多科学计算问题，比如有限元分析，都会涉及到大规模的稀疏矩阵。
一个更实际的例子：电影推荐系统
想象一下，我们要建立一个电影推荐系统。我们有一个用户-电影评分矩阵，其中每一行代表一个用户，每一列代表一部电影，矩阵中的元素代表用户对电影的评分。这个矩阵通常是稀疏的，因为每个用户只会对少数电影进行评分。
我们可以使用 SciPy 稀疏矩阵来存储这个评分矩阵，并进行推荐计算。
import numpy as np
from scipy import sparse
from scipy.sparse.linalg import spsolve
# 创建一个模拟的评分矩阵
# 用户ID：0, 1, 2, 3, 4
# 电影ID：0, 1, 2, 3, 4, 5
ratings = np.array([
[5, 0, 3, 0, 2, 0],
[0, 4, 0, 0, 1, 0],
[1, 0, 0, 2, 0, 5],
[0, 0, 4, 0, 0, 2],
[2, 1, 0, 5, 0, 0]
])
# 将评分矩阵转换为 CSR 格式的稀疏矩阵
ratings_sparse = sparse.csr_matrix(ratings)
# 使用 ALS (Alternating Least Squares) 算法进行矩阵分解
def als(ratings, lambda_=0.1, iterations=10):
"""
使用 ALS 算法进行矩阵分解，预测缺失的评分。
"""
n_users, n_movies = ratings.shape
# 初始化用户特征矩阵和电影特征矩阵
X = np.random.rand(n_users, 10) # 用户特征矩阵 (n_users x n_features)
Y = np.random.rand(n_movies, 10) # 电影特征矩阵 (n_movies x n_features)
for iteration in range(iterations):
# 固定电影特征矩阵，更新用户特征矩阵
for i in range(n_users):
movie_ids = ratings[i,:].nonzero()[1] # 获取用户i评分过的电影的索引
Y_i = Y[movie_ids, :]
R_i = ratings[i, movie_ids]
# 使用最小二乘法求解
A = Y_i.T @ Y_i + lambda_ * np.eye(10)
b = Y_i.T @ R_i.T
# 检查A是否可逆
if np.linalg.det(A) != 0:
X[i, :] = np.linalg.solve(A, b)
else:
# 如果 A 不可逆，使用伪逆
X[i, :] = np.linalg.pinv(A) @ b
# 固定用户特征矩阵，更新电影特征矩阵
for j in range(n_movies):
user_ids = ratings[:,j].nonzero()[0] # 获取对电影j评分过的用户的索引
X_j = X[user_ids, :]
R_j = ratings[user_ids, j]
# 使用最小二乘法求解
A = X_j.T @ X_j + lambda_ * np.eye(10)
b = X_j.T @ R_j.T
# 检查A是否可逆
if np.linalg.det(A) != 0:
Y[j, :] = np.linalg.solve(A, b)
else:
# 如果 A 不可逆，使用伪逆
Y[j, :] = np.linalg.pinv(A) @ b
return X, Y
# 进行矩阵分解
U, V = als(ratings_sparse)
# 预测评分矩阵
predicted_ratings = U @ V.T
print("原始评分矩阵：")
print(ratings)
print("n预测评分矩阵：")
print(predicted_ratings)
# 为用户推荐电影
def recommend_movies(user_id, predicted_ratings, n=3):
"""
为用户推荐电影。
"""
user_ratings = predicted_ratings[user_id, :]
movie_ids = np.argsort(user_ratings)[::-1][:n] # 获取预测评分最高的 n 个电影的索引
return movie_ids
# 为用户 0 推荐 3 部电影
recommended_movies = recommend_movies(0, predicted_ratings)
print("n为用户 0 推荐的电影：", recommended_movies)这个例子演示了如何使用 SciPy 稀疏矩阵来存储用户-电影评分矩阵，并使用 ALS 算法进行矩阵分解，预测缺失的评分，从而为用户推荐电影。虽然代码相对简单，但它展示了稀疏矩阵在推荐系统中的应用。
总结：稀疏矩阵，数据科学家的秘密武器！
稀疏矩阵是处理大规模稀疏数据的利器。它可以节省内存，提高计算速度，让我们可以轻松地处理那些看似不可能完成的任务。掌握 SciPy 稀疏矩阵的使用方法，将为你的数据科学工具箱增添一件强大的武器。
希望今天的讲座能帮助大家更好地理解和使用稀疏矩阵。记住，数据虽然“稀疏”，但价值却可能“稠密”！ 谢谢大家！