河岳日星的博客

📚 Week 5 序列建模基石：RNN-LSTM-GRU 详解笔记📝 前言本周的学习重点在于深入掌握序列建模的核心技术体系。我们从序列数据的本质出发，剖析了RNN的循环结构与数学原理，重点讲解了LSTM、GRU如何通过门控机制解决RNN的长距离依赖问题，并梳理了工业界的应用场景、常见问题诊断与面试高频考点。🧠 一、序列建模的基础认知1. 什么是序列数据？定义：在特定维度（时间 / 空间）上，具有严格先后顺序的数据集，顺序本身就是信息的一部分。 典型场景：天气预报、股票数据、文本对话、语音序列核心特点： 顺序依赖性：当前状态由之前的状态决定，如 “天气” 的含义依赖前后词 上下文相关性：前后数据存在语义 / 逻辑关联 长度不固定：不同样本的序列长度可能差异巨大 2. 为什么需要特殊模型？传统神经网络无法处理序列数据： DNN：记忆能力差，资源浪费，仅适合一维规整数据，无空间 / 时序建模能力 CNN：仅能提取局部特征，忽略全局上下文，如处理句子 “天气好，我不想出去” 时，可能陷入局部情绪判断误区 🔄 二、RNN：序列建模的开创者1. RNN 的核心优势 参数共享：从头 ...

机器学习（NLP文本分类）标准项目流程第一阶段：环境搭建与数据工程依赖库导入与环境配置：加载数据处理（Pandas）、自然语言处理（Jieba）、机器学习框架（Scikit-learn）等必要的第三方库，并配置系统参数（如忽略警告、设置日志级别）以优化运行环境。数据收集与加载：获取原始语料库，构建结构化的数据集（如DataFrame），明确样本数据（Text）与对应的真实标签（Label/Ground Truth）。第二阶段：特征工程3. 文本预处理与清洗：针对非结构化的文本数据进行规范化处理。包括统一大小写、去除特殊符号等，以降低数据噪声。4. 中文分词：由于中文语义的连续性，需调用专用分词工具（如Jieba）将连续的文本序列切分为独立的词汇单元，为后续的特征提取奠定基础。5. 特征向量化：将处理后的文本数据转化为计算机可计算的数值型矩阵。通过特征提取算法（如TF-IDF）构建特征空间，生成特征矩阵（X）与标签向量（y），完成从“自然语言”到“机器语言”的映射。第三阶段：模型构建与训练6. 数据集划分：采用随机抽样方法，将整体数据集按比例（如8:2）划分为训练集（用于模型学习）和测试 ...

本章为AI算法自然语言处理入门实战，重点学习文本数字化核心方案：词袋模型（BOW）与 TF-IDF 权重算法。结合课堂代码运行结果，深度拆解矩阵输出规则、权重计算逻辑，解决新手常见理解误区，夯实NLP基础。 📑 一、学习前言计算机无法直接识别汉字、文本等非结构化数据，想要让模型处理文本、做分类、相似度计算、情感分析，第一步必须将文本转为数字向量。本节课学习两种最经典的文本向量化方式： 词袋模型 BOW：基于单词计数的简单文本特征提取 TF-IDF：结合词频与全局权重的进阶文本特征提取，工业级常用方案 💻 二、课堂完整实战代码123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657# 导入需要的库# pandas：数据处理工具（本次辅助使用）import pandas as pd# CountVectorizer：实现词袋模型，统计单词出现次数# TfidfVectorizer：实现TF-IDF算法，计算单词重要性权重f ...

真实场景中，数据集99%都是不平衡的（欺诈检测、疾病诊断、故障检测）。本篇带你认识：准确率的巨大陷阱、混淆矩阵、精确率、召回率、F1分数，学会正确评估分类模型。 🎯 一、本篇核心目标 理解数据不平衡是什么（正负比例 1:19） 看清准确率（Accuracy）的陷阱 学会使用混淆矩阵、精确率、召回率、F1正确评估模型 掌握 stratify=y 分层抽样的重要性 学会生成模拟不平衡数据 💻 二、完整代码（详细注释版）123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263# 不平衡数据集实战# 重点：准确率不能信！必须看精确率、召回率、F1# ======================# 1. 导入库# ======================from sklearn.datasets import make_classificationfrom sklearn.model_selection ...

本篇通过加州房价预测实战项目，完整走一遍机器学习流程：数据加载 → 数据查看 → 数据集划分 → 模型训练 → 模型预测 → 模型评估。非常适合新手理解标准机器学习项目的完整套路。 🎯 一、项目目标与流程本次实战使用线性回归完成加州房价预测，帮助大家掌握： 如何加载官方数据集 如何构建 DataFrame 并查看数据 训练集 / 测试集划分为什么重要 线性回归模型训练与预测 模型评估指标 MSE、R² 的含义 标准机器学习五步流程： 导入库 加载数据 & 预处理 划分训练集 / 测试集 训练模型 预测 & 评估 💻 二、完整代码实现（带详细注释）123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566# 实现一个完整的线性回归项目# 目标：对机器学习基础流程建立直观理解# ======================# 1. 导入所需库# ============ ...