1、定义搜索空间

　　使用Keras Tuner的第一步是定义模型构建函数，在其中使用hp对象声明需要调优的超参数。下面的代码展示如何定义一个简单的神经网络搜索空间，包括隐藏层神经元数量和学习率两个超参数。Int方法用于整数参数，Choice方法用于离散选项，这种声明式的方式让搜索空间定义清晰直观。

　　from tensorflow import kerasdef build_model(hp): model = keras.Sequential() # 定义第一层神经元数量的搜索范围 hp_units = hp.Int("units", min_value=32, max_value=512, step=32) model.add(keras.layers.Dense(units=hp_units, activation="relu")) model.add(keras.layers.Dense(10, activation="softmax")) # 定义学习率的搜索选项 hp_learning_rate = hp.Choice("learning_rate", values=[1e-2, 1e-3, 1e-4]) model.compile( optimizer=keras.optimizers.Adam(learning_rate=hp_learning_rate), loss="sparse_categorical_crossentropy", metrics=["accuracy"], ) return model

　　2、随机搜索优化

　　随机搜索是最基础的超参数调优方法，通过随机采样参数组合来探索搜索空间。下面的示例创建了一个RandomSearch调优器，设置目标为最大化验证准确率，最多尝试10组不同的参数配置，每组配置训练2轮。

　　import keras_tuner as ktfrom tensorflow import keras# 加载MNIST数据集(x_train, y_train), (x_val, y_val) = keras.datasets.mnist.load_data()# 数据预处理x_train = x_train.reshape(-1, 784).astype("float32") / 255x_val = x_val.reshape(-1, 784).astype("float32") / 255def build_model(hp): model = keras.Sequential() # 定义第一层神经元数量的搜索范围 hp_units = hp.Int("units", min_value=32, max_value=512, step=32) model.add(keras.layers.Dense(units=hp_units, activation="relu")) model.add(keras.layers.Dense(10, activation="softmax")) # 定义学习率的搜索选项 hp_learning_rate = hp.Choice("learning_rate", values=[1e-2, 1e-3, 1e-4]) model.compile( optimizer=keras.optimizers.legacy.Adam(learning_rate=hp_learning_rate), loss="sparse_categorical_crossentropy", metrics=["accuracy"], ) return model# 创建随机搜索调优器tuner = kt.RandomSearch( build_model, objective="val_accuracy", max_trials=10, executions_per_trial=2, directory="my_dir", project_name="random_search",)# 开始搜索tuner.search(x_train, y_train, epochs=5, validation_data=(x_val, y_val))# 获取最佳超参数best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]print(f"最佳神经元数量: {best_hps.get('units')}")print(f"最佳学习率: {best_hps.get('learning_rate')}")

　　输出结果：

　　最佳神经元数量: 288最佳学习率: 0.001

　　3、Hyperband高效搜索

　　Hyperband算法通过自适应资源分配策略，在早期就淘汰表现差的配置，将更多资源投入到有潜力的配置上。下面的代码展示如何使用Hyperband调优器，它会自动管理每个试验的训练轮数，相比随机搜索能用更少的时间找到更优的参数组合。

　　import keras_tuner as ktfrom tensorflow import keras# 加载MNIST数据集(x_train, y_train), (x_val, y_val) = keras.datasets.mnist.load_data()# 数据预处理x_train = x_train.reshape(-1, 784).astype("float32") / 255x_val = x_val.reshape(-1, 784).astype("float32") / 255def build_model(hp): model = keras.Sequential() # 定义第一层神经元数量的搜索范围 hp_units = hp.Int("units", min_value=32, max_value=512, step=32) model.add(keras.layers.Dense(units=hp_units, activation="relu")) model.add(keras.layers.Dense(10, activation="softmax")) # 定义学习率的搜索选项 hp_learning_rate = hp.Choice("learning_rate", values=[1e-2, 1e-3, 1e-4]) model.compile( optimizer=keras.optimizers.legacy.Adam(learning_rate=hp_learning_rate), loss="sparse_categorical_crossentropy", metrics=["accuracy"], ) return model# 使用Hyperband算法tuner = kt.Hyperband( build_model, objective="val_accuracy", max_epochs=50, factor=3, directory="my_dir", project_name="hyperband",)tuner.search(x_train, y_train, validation_data=(x_val, y_val))# 构建并评估最佳模型best_model = tuner.get_best_models(num_models=1)[0]test_loss, test_acc = best_model.evaluate(x_val, y_val)print(f"测试准确率: {test_acc}") # 测试准确率: 0.9833999872207642高级功能

　　1、贝叶斯优化搜索

　　贝叶斯优化通过构建概率模型预测参数性能，智能选择下一组试验参数，相比随机搜索收敛更快。下面的代码使用BayesianOptimization调优器，它会根据历史试验结果不断调整搜索策略。通过设置num_initial_points参数控制初始随机探索的次数，之后算法会利用贝叶斯推理进行有目标的探索，这种方法在搜索空间复杂时效果尤为显著。

　　import keras_tuner as ktfrom tensorflow import keras# 加载MNIST数据集(x_train, y_train), (x_val, y_val) = keras.datasets.mnist.load_data()# 数据预处理x_train = x_train.reshape(-1, 784).astype("float32") / 255x_val = x_val.reshape(-1, 784).astype("float32") / 255def build_model(hp): model = keras.Sequential() # 定义第一层神经元数量的搜索范围 hp_units = hp.Int("units", min_value=32, max_value=512, step=32) model.add(keras.layers.Dense(units=hp_units, activation="relu")) model.add(keras.layers.Dense(10, activation="softmax")) # 定义学习率的搜索选项 hp_learning_rate = hp.Choice("learning_rate", values=[1e-2, 1e-3, 1e-4]) model.compile( optimizer=keras.optimizers.legacy.Adam(learning_rate=hp_learning_rate), loss="sparse_categorical_crossentropy", metrics=["accuracy"], ) return model# 贝叶斯优化tuner = kt.BayesianOptimization( build_model, objective="val_accuracy", max_trials=20, num_initial_points=5, directory="my_dir", project_name="bayesian",)# 自定义回调函数early_stop = keras.callbacks.EarlyStopping(monitor="val_loss", patience=3)tuner.search( x_train, y_train, epochs=20, validation_data=(x_val, y_val), callbacks=[early_stop])# 获取最佳模型best_model = tuner.get_best_models(num_models=1)[0]# 获取最佳超参数best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]# 输出最佳超参数print("最佳超参数:")print(f" 第一层神经元数量: {best_hps.get('units')}")print(f" 学习率: {best_hps.get('learning_rate')}")# 评估最佳模型val_loss, val_acc = best_model.evaluate(x_val, y_val)print("\n最佳模型在验证集上的性能:")print(f" 损失: {val_loss:.4f}")print(f" 准确率: {val_acc:.4f}")

　　输出结果：

　　最佳超参数: 第一层神经元数量: 320 学习率: 0.001最佳模型在验证集上的性能: 损失: 0.0669 准确率: 0.9833

　　2、条件超参数搜索

　　在复杂模型中，某些超参数只在特定条件下才有意义。Keras Tuner支持条件超参数定义，允许根据其他参数的值动态调整搜索空间。下面的示例展示如何根据模型类型选择性地添加卷积层或循环层，使用hp.conditional_scope实现条件逻辑。这种灵活性让我们能够搜索不同架构的模型，找到最适合数据特征的网络结构。

　　def build_model_with_conditions(hp): model = keras.Sequential() # 选择模型类型 model_type = hp.Choice('model_type', ['simple', 'complex']) if model_type == 'simple': model.add(keras.layers.Dense(hp.Int('units', 32, 128, 32), activation='relu')) else: # 复杂模型有多层 for i in range(hp.Int('num_layers', 2, 5)): model.add(keras.layers.Dense( hp.Int(f'units_{i}', 32, 256, 32), activation='relu' )) model.add(keras.layers.Dropout(hp.Float('dropout', 0, 0.5, step=0.1))) model.add(keras.layers.Dense(10, activation='softmax')) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) return model

　　3、自定义调优目标

　　除了使用内置指标，Keras Tuner还支持自定义调优目标函数。下面的代码通过继承HyperModel类并重写fit方法，实现了一个自定义的调优目标，综合考虑准确率和模型复杂度。通过返回包含多个指标的字典，可以在TensorBoard中同时监控多个维度的性能，最终根据业务需求选择最合适的权衡方案。

　　import keras_tuner as ktfrom tensorflow import keras# 加载MNIST数据集(x_train, y_train), (x_val, y_val) = keras.datasets.mnist.load_data()# 数据预处理x_train = x_train.reshape(-1, 784).astype("float32") / 255x_val = x_val.reshape(-1, 784).astype("float32") / 255def build_model(hp): model = keras.Sequential() # 定义第一层神经元数量的搜索范围 hp_units = hp.Int("units", min_value=32, max_value=512, step=32) model.add(keras.layers.Dense(units=hp_units, activation="relu")) model.add(keras.layers.Dense(10, activation="softmax")) # 定义学习率的搜索选项 hp_learning_rate = hp.Choice("learning_rate", values=[1e-2, 1e-3, 1e-4]) model.compile( optimizer=keras.optimizers.legacy.Adam(learning_rate=hp_learning_rate), loss="sparse_categorical_crossentropy", metrics=["accuracy"], ) return model# 自定义回调函数early_stop = keras.callbacks.EarlyStopping(monitor="val_loss", patience=3)# 自定义调优目标class CustomHyperModel(kt.HyperModel): def build(self, hp): return build_model(hp) def fit(self, hp, model, *args, **kwargs): # 训练模型 history = model.fit(*args, **kwargs) # 计算自定义指标 val_acc = max(history.history["val_accuracy"]) num_params = model.count_params() # 综合目标：准确率高且参数少 custom_score = val_acc - (num_params / 1e6) * 0.01 # 返回包含自定义指标的字典 return { "val_accuracy": val_acc, "num_params": num_params, "custom_score": custom_score, }# 使用自定义HyperModel创建tunertuner_custom = kt.RandomSearch( CustomHyperModel(), objective=kt.Objective("custom_score", direction="max"), max_trials=15, directory="my_dir", project_name="custom_objective",)# 运行搜索tuner_custom.search( x_train, y_train, epochs=20, validation_data=(x_val, y_val), callbacks=[early_stop])# 获取最佳模型和超参数best_model_custom = tuner_custom.get_best_models(num_models=1)[0]best_hps_custom = tuner_custom.get_best_hyperparameters(num_trials=1)[0]# 输出最佳超参数print("\n最佳超参数 (自定义目标):")print(f" 第一层神经元数量: {best_hps_custom.get('units')}")print(f" 学习率: {best_hps_custom.get('learning_rate')}")# 评估最佳模型val_loss_custom, val_acc_custom = best_model_custom.evaluate(x_val, y_val)print("\n最佳模型在验证集上的性能 (自定义目标):")print(f" 损失: {val_loss_custom:.4f}")print(f" 准确率: {val_acc_custom:.4f}")print(f" 参数数量: {best_model_custom.count_params()}")

　　输出结果：

　　最佳超参数 (自定义目标): 第一层神经元数量: 384 学习率: 0.001最佳模型在验证集上的性能 (自定义目标): 损失: 0.0785 准确率: 0.9807 参数数量: 305290总结

　　Keras Tuner是TensorFlow生态中不可或缺的超参数优化工具，它将复杂的调优过程封装成简洁的API，让深度学习模型开发更加高效。通过随机搜索、贝叶斯优化和Hyperband等多种算法，开发者可以根据计算资源和时间预算选择最合适的策略。条件超参数和自定义目标函数的支持，使其能够应对各种复杂的模型架构搜索需求，在实际项目中，合理使用该库可以节省数周的手动调参时间，并发现人工经验难以触及的参数组合。