`requests` Session 对象：维持会话、自动处理 Cookie

好的，各位朋友们，今天咱们来聊聊 requests 库里的一个宝贝疙瘩：Session 对象。这玩意儿啊，就像是你跟服务器之间的小红娘，专门负责牵线搭桥，维系你俩的“爱情”——也就是会话。

啥是会话？为啥需要 Session？

想象一下，你去一家咖啡馆点咖啡。

你跟服务员说：“我要一杯拿铁。”
服务员：“好的，稍等。”
你：“再来一块抹茶蛋糕。”
服务员：“好的，一共多少钱。”

在这个过程中，服务员得记住你是谁，点了什么，才能正确地为你服务。这就是一个简单的会话。

在 HTTP 的世界里，服务器默认情况下是“脸盲”的。每次你发送一个请求，它都把你当成一个全新的陌生人。如果你要模拟登录、购物车、用户状态等等，每次都得重新提供身份验证信息，那得多麻烦啊！

这时候，Session 对象就闪亮登场了。它可以帮你：

维持会话：在多个请求之间保持状态，让服务器记住你。
自动处理 Cookie：自动发送和接收 Cookie，省去手动操作的麻烦。

Session 对象的基本用法

首先，导入 requests 库：

import requests

然后，创建一个 Session 对象：

session = requests.Session()

现在，你可以用这个 session 对象发起请求，就像用 requests.get() 和 requests.post() 一样：

response = session.get("https://www.example.com")
print(response.status_code)

Session 对象的核心优势：Cookie 自动管理

Cookie 是服务器用来跟踪用户身份的小文本文件。Session 对象最厉害的地方就是能自动帮你处理 Cookie。

举个例子，假设你要模拟登录一个网站：

login_data = {
    "username": "your_username",
    "password": "your_password"
}

login_url = "https://www.example.com/login" #改成实际的登录网址
session.post(login_url, data=login_data)

# 登录后，访问需要登录才能访问的页面
profile_url = "https://www.example.com/profile" #改成实际的个人资料网址
response = session.get(profile_url)

print(response.status_code)
print(response.text)

在这个例子中，session.post() 会自动保存服务器返回的 Cookie。下次你用 session.get() 访问 profile_url 时，它会自动带上这些 Cookie，服务器就知道你已经登录了。

如果没有 Session 对象，你得手动提取 Cookie，然后每次请求都手动添加，想想都头大。

Session 对象的高级用法

除了 Cookie 管理，Session 对象还有很多其他有用的功能。

1. 设置默认请求头

你可以为 Session 对象设置默认的请求头，这样每次请求都会自动带上这些头信息：

session.headers.update({
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
    "Accept-Language": "en-US,en;q=0.8"
})

response = session.get("https://www.example.com")
print(response.request.headers)  # 查看实际发送的请求头

2. 设置代理

如果需要使用代理服务器，可以这样设置：

proxies = {
    "http": "http://your_proxy_address:port",
    "https": "https://your_proxy_address:port"
}

session.proxies = proxies

response = session.get("https://www.example.com")
print(response.status_code)

3. 上传文件

Session 对象也可以用来上传文件：

files = {
    "file": open("your_file.txt", "rb")
}

upload_url = "https://www.example.com/upload" #改成实际的文件上传网址
response = session.post(upload_url, files=files)

print(response.status_code)
print(response.text)

4. 自定义 Cookie

有时候，你需要手动设置 Cookie。

cookie = requests.cookies.create_cookie(domain=".example.com", name="your_cookie_name", value="your_cookie_value")
session.cookies.set_cookie(cookie)

response = session.get("https://www.example.com")
print(response.status_code)

5. 关闭 Session

用完 Session 对象后，记得关闭它，释放资源：

session.close()

或者，更优雅的方式是使用 with 语句：

with requests.Session() as session:
    response = session.get("https://www.example.com")
    print(response.status_code)
# 会话在 with 块结束时自动关闭

Session 对象 vs. 直接使用 requests.get()/requests.post()

特性	Session 对象	`requests.get()`/`requests.post()`
会话维持	自动维持会话，跨多个请求保持状态	每次都是新的请求，没有状态
Cookie 管理	自动处理 Cookie，无需手动操作	需要手动提取和添加 Cookie
性能	多个请求之间共享连接池，通常更快	每次请求都建立新的连接，可能较慢
适用场景	需要维持会话的场景，如登录、购物车等	不需要维持会话的简单请求

Session 对象使用的注意事项

线程安全：Session 对象不是线程安全的。如果在多线程环境中使用，需要加锁保护。
内存占用：Session 对象会缓存 Cookie 和其他状态信息，可能会占用较多内存。
Cookie 过期：服务器设置的 Cookie 可能会过期，导致会话失效。你需要定期检查和更新 Cookie。
并发问题：在高并发场景下，大量的 Session 对象可能会导致服务器压力过大。可以考虑使用分布式 Session 或其他优化方案。

真实案例：模拟登录并爬取数据

咱们来个更实际的例子，模拟登录一个网站，然后爬取一些需要登录才能访问的数据。

import requests
from bs4 import BeautifulSoup

# 1. 创建 Session 对象
session = requests.Session()

# 2. 准备登录数据
login_data = {
    "username": "your_username",  # 替换成你的用户名
    "password": "your_password"   # 替换成你的密码
}

# 3. 登录 URL （替换成实际的登录 URL）
login_url = "https://www.example.com/login"

# 4. 发送登录请求
response = session.post(login_url, data=login_data)

# 5. 检查登录是否成功
if response.status_code == 200:
    # 登录成功，可以访问需要登录的页面
    print("登录成功！")
else:
    print("登录失败！")
    exit()

# 6. 目标 URL (替换成实际的目标 URL，需要登录才能访问)
target_url = "https://www.example.com/private_data"

# 7. 发送请求，获取数据
response = session.get(target_url)

# 8. 检查请求是否成功
if response.status_code == 200:
    # 请求成功，解析数据
    soup = BeautifulSoup(response.text, "html.parser")
    # 在这里使用 BeautifulSoup 或其他库解析网页内容，提取你需要的数据
    # 示例：提取所有的链接
    links = soup.find_all("a")
    for link in links:
        print(link.get("href"))
else:
    print("请求失败！")

# 9. 关闭 Session
session.close()

代码解释

我们首先创建了一个 Session 对象。
然后，准备了登录所需的用户名和密码。
接着，指定了登录 URL。
使用 session.post() 发送登录请求，将登录数据发送给服务器。
检查服务器返回的状态码，判断登录是否成功。
如果登录成功，指定需要爬取数据的目标 URL。
使用 session.get() 发送请求，获取目标页面的内容。
使用 BeautifulSoup 解析网页内容，提取需要的数据（这里只是一个示例，你需要根据实际情况修改）。
最后，关闭 Session 对象，释放资源。

常见问题与解决方案

登录失败：
- 检查用户名和密码是否正确。
- 检查登录 URL 是否正确。
- 检查请求头是否缺少必要的字段（例如 User-Agent）。
- 有些网站可能需要验证码，你需要先解决验证码问题。
Cookie 失效：
- 服务器设置的 Cookie 可能会过期，导致会话失效。你可以尝试重新登录，获取新的 Cookie。
- 有些网站会使用 JavaScript 设置 Cookie，你需要使用 selenium 或其他工具来模拟 JavaScript 执行。
IP 被封：
- 如果你的 IP 地址被网站封禁，可以尝试使用代理 IP。
- 可以设置请求的间隔时间，避免过于频繁地访问网站。

总结

requests 的 Session 对象是一个非常强大的工具，可以帮助你轻松地处理会话和 Cookie，简化 HTTP 请求的流程。掌握 Session 对象的用法，可以让你在网络爬虫、自动化测试等领域更加得心应手。记住，合理使用 Session 对象，遵守网站的 robots.txt 协议，做一个文明的网络公民。

希望今天的讲解对大家有所帮助。如果有什么问题，欢迎随时提问。下次再见！

发表回复 取消回复

发表回复取消回复