catboost特征学习(catboost详细使用教程)-柠檬ai自媒体

这篇文章是关于如何使用CatBoost来快速改善渐变的。边肖觉得很实用，所以分享给大家学习。希望你看完这篇文章能有所收获。我们就不多说了。让我们和边肖一起看看。

我们将仔细研究一个名为CatBoost的梯度增强库。

在梯度提升中，预测是由一群弱学习者做出的。与为每个样本创建决策树的随机森林不同，在梯度增强中，树是逐个创建的。模型中的前一棵树不会改变。上一个树的结果用于改进下一个树。在本文中，我们将仔细研究一个名为CatBoost的梯度增强库。

怎么使用CatBoost进行快速梯度提升

CatBoost是Yandex开发的深度梯度增强库。它使用被遗忘的决策树来生成平衡树。的相同功能用于左右拆分树的每个级别。

(CatBoost官方链接：https://github.com/catboost)

怎么使用CatBoost进行快速梯度提升

与经典树相比，遗忘树在CPU上效率更高，易于安装。

处理分类特征

机器学习中处理分类的常用方法有单热编码和标签编码。CatBoost允许您使用分类功能，而无需对其进行预处理。

在使用CatBoost时，我们不应该使用一键编码，因为它会影响训练速度和预测质量。相反，我们只需要使用cat_features参数来指定分类特征。

00-1010以下是考虑使用CatBoost的一些原因：

CatBoost允许在多个GPU上训练数据。

使用默认参数可以提供良好的结果，从而减少参数调整所需的时间。

由于减少了过拟合，提高了精度。

使用CatBoost的模型应用程序进行快速预测。

训练好的CatBoost模型可以导出到Core ML进行设备上的推理(iOS)。

丢失的值可以在内部处理。

可用于回归和分类问题。

00-1010我们来看看CatBoost中常用的参数：

loss_function的别名是objective-训练的一个指标。这些是回归指标，如回归的均方根误差和分类的对数损失。

Eval_metric—用于检测过度拟合的度量。

迭代-要构建的最大树数，默认为1000。别名是num_boost_round、n _ evaluator和num_trees。

Learning_rate别名eta- learning rate，决定模型学习的快慢。默认值通常为0.03。

Random_seed别名random_state—用于训练的随机种子。

L2 _叶_注册别名reg_lambda—成本函数的L2正则项的系数。默认值为3.0。

Bootstrap_type—确定物体重量的抽样方法，如贝叶斯、伯努利、MVS和泊松。

深度—树的深度。

Grow_policy—确定如何应用贪婪搜索算法。它可以是对称的、深度方向的或损耗方向的。SymmetricTree是默认值。在SymmetricTree中，逐步构建树，直到树很深。

度为止。在每个步骤中，以相同条件分割前一棵树的叶子。当 Depthwise 被选择，一棵树是内置一步步骤，直到指定的深度实现。在每个步骤中，将最后一棵树级别的所有非终端叶子分开。使用导致最佳损失改善的条件来分裂叶子。在中 Lossguide，逐叶构建树，直到达到指定的叶数。在每个步骤中，将损耗改善最佳的非终端叶子进行拆分

min_data_in_leaf 别名 min_child_samples —这是一片叶子中训练样本的最小数量。此参数仅与 Lossguide 和 Depthwise 增长策略一起使用。

max_leaves alias num_leaves —此参数仅与Lossguide 策略一起使用，并确定树中的叶子数。

ignored_features —表示在培训过程中应忽略的功能。

nan_mode —处理缺失值的方法。选项包括 Forbidden， Min，和 Max。默认值为 Min。当 Forbidden 使用时，缺失值导致错误的存在。使用 Min，缺少的值将作为该功能的最小值。在中 Max，缺失值被视为特征的最大值。

leaf_estimation_method —用于计算叶子中值的方法。在分类中，使用10 Newton 次迭代。使用分位数或MAE损失的回归问题使用一次 Exact 迭代。多分类使用一次 Netwon 迭代。

leaf_estimation_backtracking —在梯度下降过程中使用的回溯类型。默认值为 AnyImprovement。 AnyImprovement 减小下降步长，直至损失函数值小于上次迭代的值。 Armijo 减小下降步长，直到满足 Armijo条件。

boosting_type —加强计划。它可以plain 用于经典的梯度增强方案，也可以用于或 ordered，它在较小的数据集上可以提供更好的质量。

score_function — 分数类型，用于在树构建过程中选择下一个拆分。 Cosine 是默认选项。其他可用的选项是 L2， NewtonL2和 NewtonCosine。

early_stopping_rounds —当时 True，将过拟合检测器类型设置为， Iter 并在达到最佳度量时停止训练。

classes_count —多重分类问题的类别数。

task_type —使用的是CPU还是GPU。CPU是默认设置。

devices —用于训练的GPU设备的ID。