在机器学习实战中，我们常常把精力花在调参和选模型上。却忽略了一个更基础的问题：喂给模型的数据里有多少特征是真正有用的？

刚开始学机器学习那会儿。我特别喜欢堆特征，不管有用没用先一股脑全塞进去，总觉得特征越多模型越聪明。

直到有一次跑练习数据集。X_train.shape 直接干到了，训练速度慢得像蜗牛，内存还经常告警。

我耐着性子把每列统计信息看了一遍才发现自己有多蠢：

• "产权年限" 这一列5万条数据全是70
• "是否配备灭火器" %都是1。

这些在所有样本上几乎不变的列叫“惰性 特征”。对预测没有任何贡献，却实实在地占内存、拖慢训练，有时候还会让线性模型数值不稳定。

方差阈值过滤——最简利器

方差为0的特征。信息量就是0，直接删掉就行。

方差衡量数据离散程度，方差越大越可能包含区分样本的信息；方差为零就代表着这个特征对所有样本都一样，模型从它身上什么都学不到。

实现思路与 API 设计

基于这个思路，封装了一个类，代码遵循了 scikit‑learn 的 Fit‑Transform API 设计模式：

class VarianceThresholdSelector:
def __init__:
self.threshold = threshold # 阈值
self.use_normalized = use_normalized # 是否归一化
self.retained_cols_ = None # 保留列名列表
self.dropped_cols_ = None # 删除列名列表
def fit(self。X: Union,feature_names: Optional] = None) -> "VarianceThresholdSelector":
"""拟合筛选器，学习哪些特征应当保留。"""
# ---- 提取数值矩阵与列名 -----
if isinstance:
col_names = X.columns.tolist
matrix = X.values.astype
从else来看。matrix = np.asarray
if feature_names is not None:
col_names = list
else的观点是，col_names =
if matrix.ndim!= 2:
raise ValueError
# ---- 计算方差得分并生成掩码 -----
scores = self._compute_scores
keep_mask = scores> self.threshold
# ---- 记录拟合结果 -----
self.retained_cols_ =
self.dropped_cols_ =
self.variance_scores_ = dict)
return self
def transform(self,X: Union) -> Union:
"""。"""
if self.retained_cols_ is None:
raise RuntimeError 方法。")
if isinstance:
return X
all_cols =
indices =
return X
def fit_transform(self。X: Union,feature_names: Optional] = None) -> Union:
"""拟合并立即转换。"""
return self.fit.transform
# ---------------- 内部实现 ---------------- #
def _compute_scores(self,data_matrix: np.ndarray) -> np.ndarray:
"""计算每个特征的方差得分。"""
raw_variance = np.var
if not self.use_normalized:
return raw_variance
# 极差作为归一化分母
feature_ranges = np.ptp
# 安全处理：极差为0的位置替换为1，避免除零错误；此时原始方差也为0，safe_ranges = np.where
normalized_scores= raw_variance /
return normalized_scores
def get_selection_report -> pd.DataFrame:
"""生成详细报告。
"""
if not hasattr or self.variance_scores_ is None:
raise RuntimeError 方法。")
records=
for feat_name,score in self.variance_scores_.items:
is_retained =)
records.append({
"特征名称"这方面，feat_name,"方差得分": round,"是否保留": is_retained。"筛选状态": })
report=pd.DataFrame
return report.sort_values\
.reset_index

主要优势一览

• 内置归一化: 防止多量纲导致阈值设定困难。
• Pandas 原生支持: 保持列名索引，让 DataFrame 用法与原生 sklean 一致。
• 可解释性报告: 自动生成包含每个特征是否保留的表格，为决策提供依据。

至于测试效果示例，房价预测场景

模拟数据构造

# ==================== 数据集构造 ====================
np.random.seed
n_samples : int # 合理规模样本数
n_sparse : int # 稀疏噪声数量
n_cont : int # 假连续噪声数量
# 真正可区分的几个主要特征
rooms : np.random.randint # 房间数
distance : np.random.uniform # 市中心距离
crime_rate : np.random.娱乐a # 犯罪率
age : np.random.uniform # 房龄
tax : np.random.normal #
df_real=np.DataFrame({
"房间数"的观点是，rooms,"市中心距离": distance,"犯罪率": crime_rate,"房龄": age,"房产税": tax
})
# 稀疏二值噪声
sparse_cols=。n_samples,p=),name=f"稀疏_{i}")
for i in range]
# 假连续噪声
pseudo_cols=
for i in range:
col=np.zeros
n_outliers=np.random.randint
out_idx=np.random.choice
col=np.random.uniform
pseudo_cols.append)
df_noise=pd.concat(sparse_cols + pseudo_cols,axis=1)
X=pd.concat
y=df_real * +np.sin)
y=y.reshape

三种训练策略比较

def evaluate:
model=LGBMRegressor(random_state=42,n_estimators=300,max_depth=-1,min_child_weight=5,learning_rate=.05,num_leaves=31)
start=time.time
model.fit# 此处假设已有自定义评估函数。t=time.time-start
rmse=np.sqrt)
return rmse,t
# 全部特征
rmse_full,t_full=evaluate
print
# 不归一化阈值剔除
sel_raw=VarianceThresholdSelector
X_raw=sel_raw.fit_transform
rmse_raw。t_raw=evaluate
print
print
# 归一化阈值剔除
sel_norm=VarianceThresholdSelector
X_norm=sel_norm.fit_transform
rmse_norm,t_norm=evaluate
print
print

实验结果解读

• 耗时显著高于剔除后版本，但 RMSE 并未提高明显。
• 削减了大量无关噪声。但误删了一些低方差但却关键的真实变量，如“犯罪率”。RMSE 略高，
• 成功仅保留真正可区分的变量，“稀疏”与“伪连续”被完整剔除；RMSE 最优且耗时最低。
• 最终只用了约 {len} 个有效特征。将 RMSE 从 {round,4)}% 降至 {round,4)}%，明显提高泛化能力。

注意事项 & 使用建议

•  快速、无监督、毫秒级完成成千上万维度粗筛；老实说，完全不存在标签泄露风险。是文本 tf‑idf 或使用者行为 one‑hot 等超高维稀疏场景首选手段。
•  方差≠预测力！
  • a）低方差但对少数类别强区分度的变量会被误删，如 “VIP 是否” 等稀有指标；
  • b）高方差却与目标无关的 id、时间戳等自增序号也无法被识别出来。老实说，
•  仅做粗筛；后续仍需结合互信息、lasso 或树模型关键性等监督方法进行细致挑选。

完整代码请下载：variance_selector.py 与 test_variance_selector.py