Optuna/Hyperopt：自动化超参数优化与贝叶斯优化

好的，各位观众老爷们，今天咱们来聊聊一个能让你的模型“脱胎换骨”，炼就“火眼金睛”的神奇玩意儿——超参数优化。如果你还在手动调参数，那可就Out啦！现在都流行“自动化”，让机器自己去试错，我们只需要坐等结果，岂不美哉？

今天的主角是两位“老司机”：Optuna 和 Hyperopt。它们都是自动化超参数优化的利器，而且都用到了一个听起来很高大上的技术：贝叶斯优化。别怕，听我慢慢道来，保证你听完之后，也能用它们把模型调教得服服帖帖。

第一章：超参数优化，你真的了解吗？

在深入 Optuna 和 Hyperopt 之前，咱们先搞清楚一个问题：什么是超参数？它和参数有什么区别？

简单来说，参数是模型自己学习出来的，比如神经网络的权重和偏置。而超参数则是我们在训练模型之前就设定好的，比如学习率、batch size、树的深度等等。这些超参数直接影响着模型的训练过程和最终效果。

举个例子，你炒一道菜，盐放多少、火候大小，就相当于超参数。放多了齁死，放少了没味，火候大了糊了，火候小了夹生。只有掌握好这些“超参数”，才能炒出一道美味佳肴。

那么，为什么我们要优化超参数呢？原因很简单：

提升模型性能： 好的超参数组合能让模型在验证集或测试集上取得更好的表现。
节省时间和精力： 手动调参费时费力，而且容易陷入局部最优。自动化超参数优化可以帮助我们更快地找到最佳参数组合。
提高模型泛化能力： 通过优化超参数，我们可以避免模型过拟合或欠拟合，从而提高模型的泛化能力。

第二章：贝叶斯优化，让优化更“聪明”

手动调参就像无头苍蝇一样乱撞，而贝叶斯优化则像一位经验丰富的“老中医”，能根据以往的经验，更有针对性地进行尝试。

贝叶斯优化的核心思想是：用一个概率模型来描述目标函数（比如验证集上的模型性能），并根据这个模型来选择下一个要尝试的超参数组合。

具体来说，贝叶斯优化包含两个关键部分：

代理模型（Surrogate Model）： 用于估计目标函数的概率分布。常用的代理模型有高斯过程（Gaussian Process）和树状 Parzen 估计器（Tree-structured Parzen Estimator，TPE）。
采集函数（Acquisition Function）： 用于指导下一个超参数组合的选择。常用的采集函数有期望改进（Expected Improvement，EI）和置信上限（Upper Confidence Bound，UCB）。

简单来说，代理模型负责“预测”不同超参数组合的模型性能，而采集函数则负责“探索”未知的区域，寻找更有可能取得更好结果的超参数组合。

贝叶斯优化的优势在于：它能够在较少的迭代次数内找到较好的超参数组合，尤其是在目标函数评估代价较高的情况下（比如训练一个大型深度学习模型）。

第三章：Optuna，简洁优雅的优化利器

Optuna 是一个简洁、灵活、易用的超参数优化框架。它最大的特点是采用了“Define-by-Run”的API，允许我们在目标函数中动态地定义搜索空间。

3.1 安装 Optuna

pip install optuna

3.2 Optuna 的基本用法

首先，我们需要定义一个目标函数，这个函数接受一个 trial 对象作为参数，并返回一个要优化的值（比如验证集上的损失函数）。

import optuna
import sklearn.datasets
import sklearn.model_selection
import sklearn.svm

def objective(trial):
    # 1. 定义搜索空间
    kernel = trial.suggest_categorical('kernel', ['linear', 'poly', 'rbf'])
    C = trial.suggest_float('C', 1e-5, 1e5, log=True)
    gamma = trial.suggest_float('gamma', 1e-5, 1e5, log=True)

    # 2. 构建模型
    clf = sklearn.svm.SVC(kernel=kernel, C=C, gamma=gamma)

    # 3. 训练模型并评估
    X, y = sklearn.datasets.load_iris(return_X_y=True)
    X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size=0.3)
    clf.fit(X_train, y_train)
    accuracy = clf.score(X_test, y_test)

    return accuracy

# 4. 创建 Study 对象
study = optuna.create_study(direction='maximize')

# 5. 运行优化
study.optimize(objective, n_trials=100)

# 6. 查看结果
print(f"Best trial: score {study.best_value}, params {study.best_params}")

这段代码做了以下几件事：

定义搜索空间： 使用 trial.suggest_categorical()、trial.suggest_float() 等方法来定义不同超参数的取值范围。log=True 表示在对数空间中搜索。
构建模型： 根据 trial 对象中提供的超参数，构建一个 SVM 分类器。
训练模型并评估： 使用训练集训练模型，并使用测试集评估模型性能。
创建 Study 对象： direction='maximize' 表示我们要最大化目标函数的值（也就是 accuracy）。
运行优化： n_trials=100 表示我们要尝试 100 个不同的超参数组合。
查看结果： 打印最佳的超参数组合和对应的模型性能。

3.3 Optuna 的高级用法

剪枝（Pruning）： Optuna 支持在训练过程中提前终止一些表现不佳的 trial，从而节省计算资源。

def objective(trial):
    # ... (省略前面的代码)

    for step in range(100):
        clf.partial_fit(X_train, y_train, classes=np.unique(y_train))
        intermediate_value = clf.score(X_test, y_test)
        trial.report(intermediate_value, step)

        if trial.should_prune():
            raise optuna.exceptions.TrialPruned()

    return accuracy

这段代码在训练过程中，每隔一段时间就报告当前的模型性能，并使用 trial.should_prune() 方法来判断是否应该提前终止当前 trial。

并行优化： Optuna 可以利用多个 CPU 核心或多台机器进行并行优化，从而加速搜索过程。

可视化： Optuna 提供了丰富的可视化功能，可以帮助我们分析优化过程和结果。

optuna.visualization.plot_optimization_history(study)
optuna.visualization.plot_param_importances(study)

3.4 Optuna 的优势

简洁易用： Define-by-Run 的 API 非常直观，容易上手。
灵活： 可以动态地定义搜索空间，支持各种类型的超参数。
高效： 支持剪枝和并行优化，能够快速找到最佳超参数组合。
可视化： 提供了丰富的可视化功能，方便分析优化过程和结果。

第四章：Hyperopt，更加“学术范儿”的优化框架

Hyperopt 是一个更加“学术范儿”的超参数优化框架。它最大的特点是使用了更加灵活的搜索空间定义方式，并且支持各种不同的优化算法。

4.1 安装 Hyperopt

pip install hyperopt

4.2 Hyperopt 的基本用法

Hyperopt 的核心概念是：

目标函数（Objective Function）： 和 Optuna 类似，用于评估不同超参数组合的模型性能。
搜索空间（Search Space）： 用于定义超参数的取值范围。Hyperopt 提供了多种不同的搜索空间类型，比如 hp.choice、hp.uniform、hp.loguniform 等。
优化算法（Optimization Algorithm）： 用于指导超参数的选择。Hyperopt 提供了多种不同的优化算法，比如随机搜索（Random Search）、TPE（Tree-structured Parzen Estimator）等。

from hyperopt import fmin, tpe, hp, Trials
import sklearn.datasets
import sklearn.model_selection
import sklearn.svm
import numpy as np

# 1. 定义搜索空间
space = {
    'kernel': hp.choice('kernel', ['linear', 'poly', 'rbf']),
    'C': hp.loguniform('C', np.log(1e-5), np.log(1e5)),
    'gamma': hp.loguniform('gamma', np.log(1e-5), np.log(1e5))
}

# 2. 定义目标函数
def objective(params):
    clf = sklearn.svm.SVC(**params)
    X, y = sklearn.datasets.load_iris(return_X_y=True)
    X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size=0.3)
    clf.fit(X_train, y_train)
    accuracy = clf.score(X_test, y_test)
    return -accuracy  # Hyperopt 最小化目标函数

# 3. 运行优化
trials = Trials()
best = fmin(fn=objective,
            space=space,
            algo=tpe.suggest,
            max_evals=100,
            trials=trials)

# 4. 查看结果
print(f"Best trial: params {best}")

这段代码做了以下几件事：

定义搜索空间： 使用 hp.choice()、hp.loguniform() 等方法来定义不同超参数的取值范围。
定义目标函数： 根据 params 中提供的超参数，构建一个 SVM 分类器。注意，Hyperopt 默认是最小化目标函数，所以我们需要返回 -accuracy。
运行优化： 使用 fmin() 函数来运行优化。algo=tpe.suggest 表示我们使用 TPE 算法进行优化。max_evals=100 表示我们要尝试 100 个不同的超参数组合。
查看结果： 打印最佳的超参数组合。

4.3 Hyperopt 的高级用法

自定义搜索空间： Hyperopt 允许我们定义更加复杂的搜索空间，比如条件搜索空间（Conditional Search Space）。
并行优化： Hyperopt 可以利用 MongoDB 进行分布式优化，从而加速搜索过程。
可视化： 可以使用 trials 对象来分析优化过程和结果。

4.4 Hyperopt 的优势

灵活： 提供了多种不同的搜索空间类型和优化算法，可以满足不同的需求。
可扩展： 可以通过 MongoDB 进行分布式优化，从而处理大规模的优化问题。
学术性强： 提供了丰富的理论基础和算法选择，适合进行深入研究。

第五章：Optuna vs Hyperopt，谁更胜一筹？

特性	Optuna	Hyperopt
API	Define-by-Run	Define-before-Run
搜索空间定义	动态	静态
易用性	简单易用	相对复杂
并行优化	内置支持	需要 MongoDB
可视化	丰富	相对较少
适用场景	快速原型验证、中小规模优化	大规模优化、需要灵活的搜索空间定义
学习曲线	陡峭，容易上手	相对平缓，需要更多学习
社区活跃度	较高	较低
剪枝	内置支持	需要手动实现

总的来说，Optuna 更加简洁易用，适合快速原型验证和中小规模的优化问题。而 Hyperopt 更加灵活可扩展，适合大规模的优化问题和需要灵活的搜索空间定义的情况。

第六章：实战演练，用 Optuna 优化 XGBoost 模型

说了这么多理论，不如来点实际的。咱们用 Optuna 来优化一个 XGBoost 模型，看看效果如何。

import optuna
import xgboost as xgb
import sklearn.datasets
import sklearn.model_selection

def objective(trial):
    # 1. 定义搜索空间
    param = {
        'objective': 'binary:logistic',
        'eval_metric': 'auc',
        'booster': trial.suggest_categorical('booster', ['gbtree', 'gblinear', 'dart']),
        'lambda': trial.suggest_float('lambda', 1e-8, 1.0, log=True),
        'alpha': trial.suggest_float('alpha', 1e-8, 1.0, log=True),
        'learning_rate': trial.suggest_float('learning_rate', 0.005, 0.1),
        'max_depth': trial.suggest_int('max_depth', 3, 10),
        'min_child_weight': trial.suggest_int('min_child_weight', 1, 10),
        'subsample': trial.suggest_float('subsample', 0.5, 1.0),
        'colsample_bytree': trial.suggest_float('colsample_bytree', 0.5, 1.0),
        'colsample_bylevel': trial.suggest_float('colsample_bylevel', 0.5, 1.0),
        'colsample_bynode': trial.suggest_float('colsample_bynode', 0.5, 1.0),
        'gamma': trial.suggest_float('gamma', 1e-8, 1.0, log=True),
        'seed': 42
    }

    if param['booster'] in ['gbtree', 'dart']:
        param['grow_policy'] = trial.suggest_categorical('grow_policy', ['depthwise', 'lossguide'])

    if param['booster'] == 'dart':
        param['sample_type'] = trial.suggest_categorical('sample_type', ['uniform', 'weighted'])
        param['normalize_type'] = trial.suggest_categorical('normalize_type', ['tree', 'forest'])
        param['rate_drop'] = trial.suggest_float('rate_drop', 1e-8, 1.0, log=True)
        param['skip_drop'] = trial.suggest_float('skip_drop', 1e-8, 1.0, log=True)

    # 2. 加载数据
    X, y = sklearn.datasets.load_breast_cancer(return_X_y=True)
    X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size=0.3)
    dtrain = xgb.DMatrix(X_train, label=y_train)
    dtest = xgb.DMatrix(X_test, label=y_test)

    # 3. 训练模型并评估
    pruning_callback = optuna.integration.XGBoostPruningCallback(trial, 'validation-auc')
    model = xgb.train(param, dtrain, num_boost_round=1000,
                      evals=[(dtrain, 'train'), (dtest, 'validation')],
                      callbacks=[pruning_callback],
                      early_stopping_rounds=50, verbose_eval=False)

    # 4. 返回验证集上的 AUC
    preds = model.predict(dtest)
    auc = sklearn.metrics.roc_auc_score(y_test, preds)
    return auc

# 5. 创建 Study 对象
study = optuna.create_study(direction='maximize')

# 6. 运行优化
study.optimize(objective, n_trials=100)

# 7. 查看结果
print(f"Best trial: score {study.best_value}, params {study.best_params}")

这段代码做了以下几件事：

定义搜索空间： 定义了 XGBoost 模型中各种超参数的取值范围，包括 booster、lambda、alpha、learning_rate 等等。
加载数据： 使用 breast_cancer 数据集进行二分类任务。
训练模型并评估： 使用 xgb.train() 函数训练 XGBoost 模型，并使用验证集评估模型性能。这里使用了 XGBoostPruningCallback 来实现剪枝功能。
返回验证集上的 AUC： 返回验证集上的 AUC 作为目标函数的值。
创建 Study 对象： direction='maximize' 表示我们要最大化 AUC。
运行优化： n_trials=100 表示我们要尝试 100 个不同的超参数组合。
查看结果： 打印最佳的超参数组合和对应的 AUC。

运行这段代码，你就可以看到 Optuna 如何自动地搜索最佳的 XGBoost 超参数组合，从而提升模型的性能。

第七章：总结与展望

今天，咱们一起学习了超参数优化的基本概念和两种常用的自动化超参数优化框架：Optuna 和 Hyperopt。

超参数优化 是提升模型性能的关键步骤。
贝叶斯优化 是一种高效的优化算法，能够在较少的迭代次数内找到较好的超参数组合。
Optuna 简洁易用，适合快速原型验证和中小规模的优化问题。
Hyperopt 灵活可扩展，适合大规模的优化问题和需要灵活的搜索空间定义的情况。

随着机器学习技术的不断发展，自动化超参数优化将会变得越来越重要。未来的发展方向可能包括：

更加智能的优化算法： 能够更好地利用历史信息，更快地找到最佳超参数组合。
更加高效的并行优化： 能够更好地利用多核 CPU 和 GPU 资源，加速搜索过程。
更加易用的可视化工具： 能够帮助我们更好地理解优化过程和结果。

希望今天的分享能够帮助你更好地理解超参数优化，并在实际项目中应用 Optuna 和 Hyperopt，让你的模型“更上一层楼”！

好了，今天的讲座就到这里，感谢各位的观看！希望下次还能有机会和大家一起交流学习。

发表回复 取消回复

发表回复取消回复