特征重要性評分是一種為輸入特征評分的手段，其依據(jù)是輸入特征在預(yù)測目標(biāo)變量過程中的有用程度。

特征重要性有許多類型和來源，盡管有許多比較常見，比如說統(tǒng)計相關(guān)性得分，線性模型的部分系數(shù)，基于決策樹的特征重要性和經(jīng)過隨機(jī)排序得到重要性得分。

特征重要性在預(yù)測建模項(xiàng)目中起著重要作用，包括提供對數(shù)據(jù)、模型的見解，以及如何降維和選擇特征，從而提高預(yù)測模型的的效率和有效性。

在本教程中，我將會闡述用于python機(jī)器學(xué)習(xí)的特征重要性。完成本教程后，你將會知道：

特征重要性在預(yù)測建模中的作用

如何計算和查看來自線性模型和決策樹的特征重要性

如何計算和查看隨機(jī)排序重要性得分

現(xiàn)在讓我們開始吧。

教程概述

本教程分為五部分，分別是：

1.特征重要性

2.準(zhǔn)備

2.1. 檢查Scikit-Learn版本

2.2. 創(chuàng)建測試數(shù)據(jù)集

3.特征重要性系數(shù)

3.1. 基于線性回歸系數(shù)的特征重要性

3.2. 基于Logistic回歸的特征重要性

4.基于決策樹的特征重要性

4.1. 基于CART的特征重要性

4.2. 基于隨機(jī)森林的特征重要性

4.3. 基于XGBoost的特征重要性

5.隨機(jī)排序特征重要性

5.1. 隨機(jī)排序（回歸）中的特征重要性

5.2. 隨機(jī)排序（分類）中的特征重要性

1.特征重要性

特征重要性是一種為預(yù)測模型的輸入特征評分的方法，該方法揭示了進(jìn)行預(yù)測時每個特征的相對重要性。

可以為涉及預(yù)測數(shù)值的問題（稱為回歸）和涉及預(yù)測類別標(biāo)簽的問題（稱為分類）計算特征重要性得分。

這些得分非常有用，可用于預(yù)測建模問題中的多種情況，例如：

更好地理解數(shù)據(jù)

更好地理解模型

減少輸入特征的數(shù)量

特征重要性得分可以幫助了解數(shù)據(jù)集

相對得分可以突出顯示哪些特征可能與目標(biāo)最相關(guān)，反之則突出哪些特征最不相關(guān)。這可以由一個領(lǐng)域?qū)＜医忉?，并且可以用作收集更多的或不同的?shù)據(jù)的基礎(chǔ)。

特征重要性得分可以幫助了解模型

大多數(shù)重要性得分是通過數(shù)據(jù)集擬合出的預(yù)測模型計算的。查看重要性得分可以洞悉該特定模型，以及知道在進(jìn)行預(yù)測時哪些特征最重要和哪些最不重要。這是一種模型解釋，適用于那些支持它的模型。

特征重要性可用于改進(jìn)預(yù)測模型

可以使用的重要性得分來選擇要刪除的特征（最低得分）或要保留的特征（最高得分）。這是一種特征選擇，可以簡化正在建模的問題，加快建模過程（刪除特征稱為降維），在某些情況下，還可以改善模型的性能。

特征重要性得分可以被輸入到包裝器模型，如SelectFromModel或SelectKBest，以進(jìn)行特征選擇。

有許多方法和模型可以計算特征重要性得分。

也許最簡單的方法是計算每個特征和目標(biāo)變量之間的統(tǒng)計學(xué)相關(guān)系數(shù)。

在本教程中，我們將研究三種比較高級的特征重要性，即：

從模型系數(shù)得知的特征重要性。

決策樹中的特征重要性。

隨機(jī)排序檢驗(yàn)中的特征重要性。

現(xiàn)在讓我們深入了解這三個！

2.準(zhǔn)備

在深入學(xué)習(xí)之前，我們先確認(rèn)我們的環(huán)境并準(zhǔn)備一些測試數(shù)據(jù)集。

檢查Scikit-Learn版本

首先，確認(rèn)你已安裝最新版本的scikit-learn庫。這非常重要，因?yàn)樵诒窘坛讨?，我們我們研究的一些模型需要最新版的庫?/p>

您可以使用以下示例代碼來查看已安裝的庫的版本：

# check scikit-learn version

import sklearn

print（sklearn.__version__）

運(yùn)行示例代碼將會打印出庫的版本。在撰寫本文時，大概是version 0.22。你需要使用此版本或更高版本的scikit-learn。

0.22.1

生成測試數(shù)據(jù)集

接下來，讓我們生成一些測試數(shù)據(jù)集，這些數(shù)據(jù)集可以作為基礎(chǔ)來證明和探索特征重要性得分。每個測試問題有五個重要特征和五不重要的特征，看看哪種方法可以根據(jù)其重要性找到或區(qū)分特征可能會比較有意思。

分類數(shù)據(jù)集

我們將使用make_classification（）函數(shù)創(chuàng)建一個用于測試的二進(jìn)制分類數(shù)據(jù)集。

數(shù)據(jù)集將包含1000個實(shí)例，且包含10個輸入特征，其中五個將會提供信息，其余五個是多余的。

為了確保每次運(yùn)行代碼時都得到相同的實(shí)例，我們將使用假隨機(jī)數(shù)種子。下面列出了創(chuàng)建數(shù)據(jù)集的示例。

# test classification dataset

from sklearn.datasets import make_classification

# define dataset

X， y = make_classification（n_samples=1000， n_features=10， n_informative=5， n_redundant=5， random_state=1）

# summarize the dataset

print（X.shape， y.shape）

運(yùn)行示例，創(chuàng)建數(shù)據(jù)集，并確保所需的樣本和特征數(shù)量。

（1000， 10） （1000，）

回歸數(shù)據(jù)集

我們將使用make_regression（）函數(shù)創(chuàng)建一個用于測試的回歸數(shù)據(jù)集。

像分類數(shù)據(jù)集一樣，回歸數(shù)據(jù)集將包含1000個實(shí)例，且包含10個輸入特征，其中五個將會提供信息，其余五個是多余的。

# test regression dataset

from sklearn.datasets import make_regression

# define dataset

X， y = make_regression（n_samples=1000， n_features=10， n_informative=5， random_state=1）

# summarize the dataset

print（X.shape， y.shape）

運(yùn)行示例，創(chuàng)建數(shù)據(jù)集，并確保所需的樣本和特征數(shù)量。

（1000， 10） （1000，）

接下來，我們仔細(xì)看一下特征重要性系數(shù)。

3.特征重要性系數(shù)

線性的機(jī)器學(xué)習(xí)能夠擬合出預(yù)測是輸入值的加權(quán)和的模型。

案例包括線性回歸，邏輯回歸，和正則化的擴(kuò)展案例，如嶺回歸和彈性網(wǎng)絡(luò)。

所有這些算法都是找到一組要在加權(quán)求和中使用的系數(shù)，以便進(jìn)行預(yù)測。這些系數(shù)可以直接用作粗略類型的特征重要性得分。

我們來仔細(xì)研究一下分類和回歸中的特征重要性系數(shù)。我們將在數(shù)據(jù)集中擬合出一個模型以找到系數(shù)，然后計算每個輸入特征的重要性得分，最終創(chuàng)建一個條形圖來了解特征的相對重要性。

3.1線性回歸特征重要性

我們可以在回歸數(shù)據(jù)集中擬合出一個LinearRegression模型，并檢索coeff_屬性，該屬性包含為每個輸入變量（特征）找到的系數(shù)。這些系數(shù)可以為粗略特征重要性評分提供依據(jù)。該模型假設(shè)輸入變量具有相同的比例或者在擬合模型之前已被按比例縮放。

下面列出了針對特征重要性的線性回歸系數(shù)的完整示例。

# linear regression feature importance

from sklearn.datasets import make_regression

from sklearn.linear_model import LinearRegression

from matplotlib import pyplot

# define dataset

X， y = make_regression（n_samples=1000， n_features=10， n_informative=5， random_state=1）

# define the model

model = LinearRegression（）

# fit the model

model.fit（X， y）

# get importance

importance = model.coef_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

得分表明，模型找到了五個重要特征，并用零標(biāo)記了剩下的特征，實(shí)際上，將他們從模型中去除了。

Feature： 0， Score： 0.00000

Feature： 1， Score： 12.44483

Feature： 2， Score： -0.00000

Feature： 3， Score： -0.00000

Feature： 4， Score： 93.32225

Feature： 5， Score： 86.50811

Feature： 6， Score： 26.74607

Feature： 7， Score： 3.28535

Feature： 8， Score： -0.00000

Feature： 9， Score： 0.00000

然后為特征重要性得分創(chuàng)建條形圖。

這種方法也可以用于嶺回歸和彈性網(wǎng)絡(luò)模型。

3.2 Logistic回歸特征重要性

就像線性回歸模型一樣，我們也可以在回歸數(shù)據(jù)集中擬合出一個LogisticRegression模型，并檢索coeff_屬性。這些系數(shù)可以為粗略特征重要性評分提供依據(jù)。該模型假設(shè)輸入變量具有相同的比例或者在擬合模型之前已被按比例縮放。

下面列出了針對特征重要性的Logistic回歸系數(shù)的完整示例。

# logistic regression for feature importance

from sklearn.datasets import make_classification

from sklearn.linear_model import LogisticRegression

from matplotlib import pyplot

# define dataset

X， y = make_classification（n_samples=1000， n_features=10， n_informative=5， n_redundant=5， random_state=1）

# define the model

model = LogisticRegression（）

# fit the model

model.fit（X， y）

# get importance

importance = model.coef_［0］

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

回想一下，這是有關(guān)0和1的分類問題。請注意系數(shù)既可以為正，也可以為負(fù)。正數(shù)表示預(yù)測類別1的特征，而負(fù)數(shù)表示預(yù)測類別0的特征。

從這些結(jié)果，至少從我所知道的結(jié)果中，無法清晰的確定出重要和不重要特征。

Feature： 0， Score： 0.16320

Feature： 1， Score： -0.64301

Feature： 2， Score： 0.48497

Feature： 3， Score： -0.46190

Feature： 4， Score： 0.18432

Feature： 5， Score： -0.11978

Feature： 6， Score： -0.40602

Feature： 7， Score： 0.03772

Feature： 8， Score： -0.51785

Feature： 9， Score： 0.26540

然后為特征重要性得分創(chuàng)建條形圖。

現(xiàn)在我們已經(jīng)看到了將系數(shù)用作重要性得分的示例，接下來讓我們看向基于決策樹的重要性得分的常見示例

4.基于決策樹的特征重要性

決策樹算法，比如說classification and regression trees（CART）根據(jù)Gini系數(shù)或熵的減少來提供重要性得分。這個方法也可用于隨機(jī)森林和梯度提升算法。

OK.現(xiàn)在讓我們看看相應(yīng)的運(yùn)行示例。

4.1基于CART的特征重要性

對于在scikit-learn中實(shí)現(xiàn)的特征重要性，我們可以將CART算法用于DecisionTreeRegressor和DecisionTreeClassifier類

擬合后，模型提供feature_importances_屬性，可以訪問該屬性以檢索每個輸入特征的相對重要性得分。

讓我們看一個用于回歸和分類的示例。

基于CART（回歸）的特征重要性

下面列出了擬合DecisionTreeRegressor和計算特征重要性得分的完整示例。

# decision tree for feature importance on a regression problem

from sklearn.datasets import make_regression

from sklearn.tree import DecisionTreeRegressor

from matplotlib import pyplot

# define dataset

X， y = make_regression（n_samples=1000， n_features=10， n_informative=5， random_state=1）

# define the model

model = DecisionTreeRegressor（）

# fit the model

model.fit（X， y）

# get importance

importance = model.feature_importances_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的三個可能對預(yù)測很重要。

Feature： 0， Score： 0.00294

Feature： 1， Score： 0.00502

Feature： 2， Score： 0.00318

Feature： 3， Score： 0.00151

Feature： 4， Score： 0.51648

Feature： 5， Score： 0.43814

Feature： 6， Score： 0.02723

Feature： 7， Score： 0.00200

Feature： 8， Score： 0.00244

Feature： 9， Score： 0.00106

然后為特征重要性得分創(chuàng)建條形圖。

基于CART（分類）的特征重要性

下面列出了擬合DecisionTreeClassifier和計算特征重要性得分的完整示例

# decision tree for feature importance on a classification problem

from sklearn.datasets import make_classification

from sklearn.tree import DecisionTreeClassifier

from matplotlib import pyplot

# define dataset

X， y = make_classification（n_samples=1000， n_features=10， n_informative=5， n_redundant=5， random_state=1）

# define the model

model = DecisionTreeClassifier（）

# fit the model

model.fit（X， y）

# get importance

importance = model.feature_importances_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的四個可能對預(yù)測很重要。

Feature： 0， Score： 0.01486

Feature： 1， Score： 0.01029

Feature： 2， Score： 0.18347

Feature： 3， Score： 0.30295

Feature： 4， Score： 0.08124

Feature： 5， Score： 0.00600

Feature： 6， Score： 0.19646

Feature： 7， Score： 0.02908

Feature： 8， Score： 0.12820

Feature： 9， Score： 0.04745

然后為特征重要性得分創(chuàng)建條形圖。

4.2隨機(jī)森林中的特征重要性

對于在scikit-learn中實(shí)現(xiàn)的特征重要性，我們可以將Random Forest算法用于DecisionTreeRegressor和DecisionTreeClassifier類。

擬合后，模型提供feature_importances_屬性，可以訪問該屬性以檢索每個輸入特征的相對重要性得分。

這種方法也可以與裝袋和極端隨機(jī)樹（extraTree）算法一起使用。

讓我們看一個用于回歸和分類的示例。

隨機(jī)森林（回歸）中的特征重要性

下面列出了擬合RandomForestRegressor和計算特征重要性得分的完整示例

# random forest for feature importance on a regression problem

from sklearn.datasets import make_regression

from sklearn.ensemble import RandomForestRegressor

from matplotlib import pyplot

# define dataset

X， y = make_regression（n_samples=1000， n_features=10， n_informative=5， random_state=1）

# define the model

model = RandomForestRegressor（）

# fit the model

model.fit（X， y）

# get importance

importance = model.feature_importances_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的兩個或三個可能對預(yù)測很重要。

Feature： 0， Score： 0.00280

Feature： 1， Score： 0.00545

Feature： 2， Score： 0.00294

Feature： 3， Score： 0.00289

Feature： 4， Score： 0.52992

Feature： 5， Score： 0.42046

Feature： 6， Score： 0.02663

Feature： 7， Score： 0.00304

Feature： 8， Score： 0.00304

Feature： 9， Score： 0.00283

然后為特征重要性得分創(chuàng)建條形圖。

隨機(jī)森林（分類）中的特征重要性

下面列出了擬合RandomForestClassifier和計算特征重要性得分的完整示例

# random forest for feature importance on a classification problem

from sklearn.datasets import make_classification

from sklearn.ensemble import RandomForestClassifier

from matplotlib import pyplot

# define dataset

X， y = make_classification（n_samples=1000， n_features=10， n_informative=5， n_redundant=5， random_state=1）

# define the model

model = RandomForestClassifier（）

# fit the model

model.fit（X， y）

# get importance

importance = model.feature_importances_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的兩個或三個可能對預(yù)測很重要。

Feature： 0， Score： 0.06523

Feature： 1， Score： 0.10737

Feature： 2， Score： 0.15779

Feature： 3， Score： 0.20422

Feature： 4， Score： 0.08709

Feature： 5， Score： 0.09948

Feature： 6， Score： 0.10009

Feature： 7， Score： 0.04551

Feature： 8， Score： 0.08830

Feature： 9， Score： 0.04493

然后為特征重要性得分創(chuàng)建條形圖。

4.3基于XGBoost的特征重要性

XGBoost是一個庫，它提供了隨機(jī)梯度提升算法的高效實(shí)現(xiàn)?？梢酝ㄟ^XGBRegressor和XGBClassifier類將此算法與scikit-learn一起使用。

擬合后，模型提供feature_importances_屬性，可以訪問該屬性以檢索每個輸入特征的相對重要性得分。

scikit-learn還通過GradientBoostingClassifier和GradientBoostingRegressor提供了該算法，并且可以使用相同的特征選擇方法

首先，安裝XGBoost庫，例如：

sudo pip install xgboost

然后，通過檢查版本號來確認(rèn)該庫已正確安裝并且可以正常工作。

# check xgboost version

import xgboost

print（xgboost.__version__）

運(yùn)行該示例，你應(yīng)該看到以下版本號或者更高版本。

0.90

有關(guān)XGBoost庫的更多信息，請看：

XGBoost with Python

讓我們看一個用于回歸和分類問題的示例。

基于XGBoost（回歸）的特征重要性

下面列出了擬合XGBRegressor并且計算特征重要性得分的完整示例

# xgboost for feature importance on a regression problem

from sklearn.datasets import make_regression

from xgboost import XGBRegressor

from matplotlib import pyplot

# define dataset

X， y = make_regression（n_samples=1000， n_features=10， n_informative=5， random_state=1）

# define the model

model = XGBRegressor（）

# fit the model

model.fit（X， y）

# get importance

importance = model.feature_importances_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的兩個或三個可能對預(yù)測很重要。

Feature： 0， Score： 0.00060

Feature： 1， Score： 0.01917

Feature： 2， Score： 0.00091

Feature： 3， Score： 0.00118

Feature： 4， Score： 0.49380

Feature： 5， Score： 0.42342

Feature： 6， Score： 0.05057

Feature： 7， Score： 0.00419

Feature： 8， Score： 0.00124

Feature： 9， Score： 0.00491

然后為特征重要性得分創(chuàng)建條形圖。

基于XGBoost（分類）的特征重要性

下面列出了擬合XGBClassifier并且計算特征重要性得分的完整示例

# xgboost for feature importance on a classification problem

from sklearn.datasets import make_classification

from xgboost import XGBClassifier

from matplotlib import pyplot

# define dataset

X， y = make_classification（n_samples=1000， n_features=10， n_informative=5， n_redundant=5， random_state=1）

# define the model

model = XGBClassifier（）

# fit the model

model.fit（X， y）

# get importance

importance = model.feature_importances_

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中有七個可能對預(yù)測很重要。

Feature： 0， Score： 0.02464

Feature： 1， Score： 0.08153

Feature： 2， Score： 0.12516

Feature： 3， Score： 0.28400

Feature： 4， Score： 0.12694

Feature： 5， Score： 0.10752

Feature： 6， Score： 0.08624

Feature： 7， Score： 0.04820

Feature： 8， Score： 0.09357

Feature： 9， Score： 0.02220

然后為特征重要性得分創(chuàng)建條形圖。

5.基于隨機(jī)排序的特征重要性

隨機(jī)排序特征重要性（Permutation feature importance）可以計算相對重要性，與所使用的模型無關(guān)。

首先，在數(shù)據(jù)集中擬合出一個模型，比如說一個不支持本地特征重要性評分的模型。然后，盡管對數(shù)據(jù)集中的特征值進(jìn)行了干擾，但仍可以使用該模型進(jìn)行預(yù)測。對數(shù)據(jù)集中的每個特征進(jìn)行此操作。然后，再將整個流程重新操作3、5、10或更多次。我們得到每個輸入特征的平均重要性得分（以及在重復(fù)的情況下得分的分布）。

此方法可以用于回歸或分類，要求選擇性能指標(biāo)作為重要性得分的基礎(chǔ)，例如回歸中的均方誤差和分類中的準(zhǔn)確性。

可以通過permutation_importance（）函數(shù)（以模型和數(shù)據(jù)集為參數(shù)）和評分函數(shù)進(jìn)行隨機(jī)排序特性選擇。

讓我們看下這個特征選擇方法，其算法并不支持特征選擇，尤其是k近鄰算法（ k-nearest neighbors）。

5.1隨機(jī)排序（回歸）特征重要性

下面列出了擬合KNeighborsRegressor并且計算特征重要性得分的完整示例。

# permutation feature importance with knn for regression

from sklearn.datasets import make_regression

from sklearn.neighbors import KNeighborsRegressor

from sklearn.inspection import permutation_importance

from matplotlib import pyplot

# define dataset

X， y = make_regression（n_samples=1000， n_features=10， n_informative=5， random_state=1）

# define the model

model = KNeighborsRegressor（）

# fit the model

model.fit（X， y）

# perform permutation importance

results = permutation_importance（model， X， y， scoring=‘neg_mean_squared_error’）

# get importance

importance = results.importances_mean

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的兩個或三個可能對預(yù)測很重要。

Feature： 0， Score： 175.52007

Feature： 1， Score： 345.80170

Feature： 2， Score： 126.60578

Feature： 3， Score： 95.90081

Feature： 4， Score： 9666.16446

Feature： 5， Score： 8036.79033

Feature： 6， Score： 929.58517

Feature： 7， Score： 139.67416

Feature： 8， Score： 132.06246

Feature： 9， Score： 84.94768

然后為特征重要性得分創(chuàng)建條形圖。

5.2隨機(jī)排序（分類）特征重要性

下面列出了擬合KNeighborsClassifier并且計算特征重要性得分的完整示例。

# permutation feature importance with knn for classification

from sklearn.datasets import make_classification

from sklearn.neighbors import KNeighborsClassifier

from sklearn.inspection import permutation_importance

from matplotlib import pyplot

# define dataset

X， y = make_classification（n_samples=1000， n_features=10， n_informative=5， n_redundant=5， random_state=1）

# define the model

model = KNeighborsClassifier（）

# fit the model

model.fit（X， y）

# perform permutation importance

results = permutation_importance（model， X， y， scoring=‘accuracy’）

# get importance

importance = results.importances_mean

# summarize feature importance

for i，v in enumerate（importance）：

print（‘Feature： %0d， Score： %.5f’ % （i，v））

# plot feature importance

pyplot.bar（［x for x in range（len（importance））］， importance）

pyplot.show（）

運(yùn)行示例，擬合模型，然后輸出每個特征的系數(shù)值。

結(jié)果表明，這十個特征中的兩個或三個可能對預(yù)測很重要。

Feature： 0， Score： 0.04760

Feature： 1， Score： 0.06680

Feature： 2， Score： 0.05240

Feature： 3， Score： 0.09300

Feature： 4， Score： 0.05140

Feature： 5， Score： 0.05520

Feature： 6， Score： 0.07920

Feature： 7， Score： 0.05560

Feature： 8， Score： 0.05620

Feature： 9， Score： 0.03080

然后為特征重要性得分創(chuàng)建條形圖。

總結(jié)

在本教程中，您知道了在Python機(jī)器學(xué)習(xí)中的特征重要性得分。

具體來說，您了解到：

特征重要性在預(yù)測建模問題中的作用

如何從線性模型和決策樹中計算和查看特征重要性

如何計算和查看隨機(jī)排序特征重要性得分