机器学习总结之四 神经网络neural network
了解机器学习中的神经网络
了解机器学习中的神经网络机器学习是现代科技发展的重要分支之一，神经网络作为机器学习的重要组成部分，对于许多应用领域都有着重要的作用。
本文将着重探讨机器学习中的神经网络，包括神经网络的概念、结构、训练方法等，以帮助读者更深入地理解及应用神经网络技术。
一、何为神经网络神经网络（Neural Network）是一种模拟人类神经系统的计算模型。
在神经网络中，输入数据和权重被送往网络中心，然后在处理层中进行计算和处理。
经过多层处理后，输出结果被传回到输出层。
神经网络的设计和模型可以类比人类大脑的工作方式，也因此被广泛应用于语音、图像、自然语言处理等领域。
二、神经网络的结构神经网络由多个层组成，每一层都包含多个神经元。
每个神经元都有输入和输出，其中输入由上一层神经元输出或输入数据提供，输出则对应着下一层神经元的输入。
输入数据和神经元输出之间通过一系列权重进行转换，帮助网络更好地学习数据。
神经网络的训练过程就是通过不断调节权重来优化网络输出结果。
三、神经网络的训练方法神经网络的训练过程可以用监督学习和无监督学习两种方法。
1、监督学习监督学习（Supervised Learning）是指在已有标签（即已知答案）的数据中，训练网络来预测未知数据的标签。
在神经网络中，监督学习的训练过程一般分为三个阶段：前向传播、反向传播和梯度下降。
前向传播指的是将输入数据从输入层传递到输出层，得到神经网络的输出结果。
反向传播是指将输出结果和真实标签之间的误差（即损失函数）反向传播到网络中，更新权重。
梯度下降指的是根据误差大小，以更小的步长每次更新权重，最终帮助网络输出更准确的结果。
2、无监督学习无监督学习（Unsupervised Learning）是指在无标签（或只有部分标签）的数据中，训练网络来提取数据的隐含特征。
在神经网络中，无监督学习的训练方法主要包括自编码器和生成对抗网络。
自编码器（Autoencoder）是一种用于降维或特征提取的神经网络模型。
神经网络（NeuralNetwork）
神经⽹络（NeuralNetwork）1 引⾔机器学习(Machine Learning)有很多经典的算法，其中基于深度神经⽹络的深度学习算法⽬前最受追捧，主要是因为其因为击败李世⽯的阿尔法狗所⽤到的算法实际上就是基于神经⽹络的深度学习算法。
本⽂先介绍基本的神经元，然后简单的感知机，扩展到多层神经⽹络，多层前馈神经⽹络，其他常见的神经⽹络，接着介绍基于深度神经⽹络的深度学习，纸上得来终觉浅，本⽂最后⽤python语⾔⾃⼰编写⼀个多层前馈神经⽹络。
2 神经元模型这是⽣物⼤脑中的基本单元——神经元。
在这个模型中，神经元接受到来⾃n个其他神经元传递过来的输⼊信号，在这些输⼊信号通过带权重的连接进⾏传递，神经元接受到的总输⼊值将与神经元的阈值进⾏⽐较，然后通过“激活函数”处理以产⽣神经元的输出。
3 感知机与多层⽹络 感知机由两层神经元组成，输⼊层接收外界输⼊信号后传递给输出层，输出层是M-P神经元。
要解决⾮线性可分问题，需考虑使⽤多层神经元功能。
每层神经元与下⼀层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。
这样的神经⽹络结构通常称为“多层前馈神经⽹络”。
神经⽹络的学习过程，就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值；换⾔之，神经⽹络“学”到的东西，蕴涵在连接权与阈值之中。
4 误差逆传播算法⽹络在上的均⽅误差为：正是由于其强⼤的表达能⼒，BP神经⽹络经常遭遇过拟合，其训练过程误差持续降低，但测试误差却可能上升。
有两种策略常⽤来缓解BP⽹络过拟合。
第⼀种策略是“早停”：将数据分成训练集和验证集，训练集⽤来计算梯度、更新连接权和阈值。
第⼆种策略是“正则化”，其基本思想是在误差⽬标函数中增加⼀个⽤于描述⽹络复杂度的部分。
5 全局最⼩与局部极⼩若⽤Ε表⽰神经⽹络在训练集上的误差，则它显然关于连接权ω和阈值θ的函数。
此时，神经⽹络的训练过程可看作⼀个参数寻优的过程，即在参数空间中，寻找最优参数使得E最⼩。
神经网络(neural network)
神经网络（neural network）Neural networks are a type of artificial intelligence system that is inspired by the way biological neural systems work. They use multiple layers of neurons to process complex data and make predictions or decisions. Neural networks can be used in tasks such as image and speech recognition, natural language processing, autonomous navigation, and more. Neural networks can learn from data and make decisions that would otherwise require a human to interpret, enabling AI to be used in a wider range of use cases. Additionally, neural networks are able to adjust and adapt based on different inputs, meaning that they can become more accurate and efficient over time.about how AI can help diagnose diseases. AI can be used to diagnose diseases in a variety of ways. AI-assisted diagnostic systems can be used to analyze patient data, such as symptoms and medical history, to identify illnesses. AI-driven image analysis tools can also be used to detect and diagnose abnormalities in medical imaging. Additionally, AI can be used to examine genetic data to identify potential genetic markers of certain diseases, and develop personalized treatment plans. AI can also be used to provide personalized health advice to patients, or to recognize subtle changes in vital signs or biometrics that may indicate the presence of an illness or condition.about how AI can be used in autonomous vehicles? AI can be used in autonomous vehicles to help them navigate the roads. AI-driven algorithms can analyze data from sensors, cameras, and lasers to detect nearby cars or obstacles, anticipate other drivers’ behavior, and effectively navigate traffic. AI can also be used to provide predictions on road conditions such as weather or traffic levels, allowing autonomous vehicles to adjust their route accordingly. Additionally, AI-based cybersecurity systems can be used to protect vehicles from hackers and malicious actors. Finally, AI-powered voice and visual recognition systems can allow autonomous vehicles to understand and respond to commands from drivers.about how AI can be used in healthcare? AI can be used in healthcare to help diagnose, treat and manage illnesses. AI-assisted systems can analyze patient data, such as symptoms and medical history, and identify diseases. AI-driven image analysis tools can also be used to detect and diagnose abnormalities in medical imaging. Additionally, AI can be used to examine genetic data to uncover potential genetic markers of diseases and develop personalized treatment plans. AI can also be used to provide personalized health advice to patients. Finally, AI-powered voice and visual recognition systems can be used to streamline administrative tasks and research processes within the healthcare industry.。
神经网络（NeuralNetwork）
神经⽹络（NeuralNetwork）⼀、激活函数激活函数也称为响应函数，⽤于处理神经元的输出，理想的激活函数如阶跃函数，Sigmoid函数也常常作为激活函数使⽤。
在阶跃函数中，1表⽰神经元处于兴奋状态，0表⽰神经元处于抑制状态。
⼆、感知机感知机是两层神经元组成的神经⽹络，感知机的权重调整⽅式如下所⽰：按照正常思路w i+△w i是正常y的取值，w i是y'的取值，所以两者做差，增减性应当同(y-y')x i⼀致。
参数η是⼀个取值区间在(0,1)的任意数，称为学习率。
如果预测正确，感知机不发⽣变化，否则会根据错误的程度进⾏调整。
不妨这样假设⼀下，预测值不准确，说明Δw有偏差，⽆理x正负与否，w的变化应当和(y-y')x i⼀致，分情况讨论⼀下即可，x为负数，当预测值增加的时候，权值应当也增加，⽤来降低预测值，当预测值减少的时候，权值应当也减少，⽤来提⾼预测值；x为正数，当预测值增加的时候，权值应当减少，⽤来降低预测值，反之亦然。
(y-y')是出现的误差，负数对应下调，正数对应上调，乘上基数就是调整情况，因为基数的正负不影响调整情况，毕竟负数上调需要减少w的值。
感知机只有输出层神经元进⾏激活函数处理，即只拥有⼀层功能的神经元，其学习能⼒可以说是⾮常有限了。
如果对于两参数据，他们是线性可分的，那么感知机的学习过程会逐步收敛，但是对于线性不可分的问题，学习过程将会产⽣震荡，不断地左右进⾏摇摆，⽽⽆法恒定在⼀个可靠地线性准则中。
三、多层⽹络使⽤多层感知机就能够解决线性不可分的问题，输出层和输⼊层之间的成为隐层/隐含层，它和输出层⼀样都是拥有激活函数的功能神经元。
神经元之间不存在同层连接，也不存在跨层连接，这种神经⽹络结构称为多层前馈神经⽹络。
换⾔之，神经⽹络的训练重点就是链接权值和阈值当中。
四、误差逆传播算法误差逆传播算法换⾔之BP(BackPropagation)算法，BP算法不仅可以⽤于多层前馈神经⽹络，还可以⽤于其他⽅⾯，但是单单提起BP算法，训练的⾃然是多层前馈神经⽹络。
机器学习与人工智能领域中常用的英语词汇
机器学习与人工智能领域中常用的英语词汇1.General Concepts (基础概念)•Artificial Intelligence (AI) - 人工智能1)Artificial Intelligence (AI) - 人工智能2)Machine Learning (ML) - 机器学习3)Deep Learning (DL) - 深度学习4)Neural Network - 神经网络5)Natural Language Processing (NLP) - 自然语言处理6)Computer Vision - 计算机视觉7)Robotics - 机器人技术8)Speech Recognition - 语音识别9)Expert Systems - 专家系统10)Knowledge Representation - 知识表示11)Pattern Recognition - 模式识别12)Cognitive Computing - 认知计算13)Autonomous Systems - 自主系统14)Human-Machine Interaction - 人机交互15)Intelligent Agents - 智能代理16)Machine Translation - 机器翻译17)Swarm Intelligence - 群体智能18)Genetic Algorithms - 遗传算法19)Fuzzy Logic - 模糊逻辑20)Reinforcement Learning - 强化学习•Machine Learning (ML) - 机器学习1)Machine Learning (ML) - 机器学习2)Artificial Neural Network - 人工神经网络3)Deep Learning - 深度学习4)Supervised Learning - 有监督学习5)Unsupervised Learning - 无监督学习6)Reinforcement Learning - 强化学习7)Semi-Supervised Learning - 半监督学习8)Training Data - 训练数据9)Test Data - 测试数据10)Validation Data - 验证数据11)Feature - 特征12)Label - 标签13)Model - 模型14)Algorithm - 算法15)Regression - 回归16)Classification - 分类17)Clustering - 聚类18)Dimensionality Reduction - 降维19)Overfitting - 过拟合20)Underfitting - 欠拟合•Deep Learning (DL) - 深度学习1)Deep Learning - 深度学习2)Neural Network - 神经网络3)Artificial Neural Network (ANN) - 人工神经网络4)Convolutional Neural Network (CNN) - 卷积神经网络5)Recurrent Neural Network (RNN) - 循环神经网络6)Long Short-Term Memory (LSTM) - 长短期记忆网络7)Gated Recurrent Unit (GRU) - 门控循环单元8)Autoencoder - 自编码器9)Generative Adversarial Network (GAN) - 生成对抗网络10)Transfer Learning - 迁移学习11)Pre-trained Model - 预训练模型12)Fine-tuning - 微调13)Feature Extraction - 特征提取14)Activation Function - 激活函数15)Loss Function - 损失函数16)Gradient Descent - 梯度下降17)Backpropagation - 反向传播18)Epoch - 训练周期19)Batch Size - 批量大小20)Dropout - 丢弃法•Neural Network - 神经网络1)Neural Network - 神经网络2)Artificial Neural Network (ANN) - 人工神经网络3)Deep Neural Network (DNN) - 深度神经网络4)Convolutional Neural Network (CNN) - 卷积神经网络5)Recurrent Neural Network (RNN) - 循环神经网络6)Long Short-Term Memory (LSTM) - 长短期记忆网络7)Gated Recurrent Unit (GRU) - 门控循环单元8)Feedforward Neural Network - 前馈神经网络9)Multi-layer Perceptron (MLP) - 多层感知器10)Radial Basis Function Network (RBFN) - 径向基函数网络11)Hopfield Network - 霍普菲尔德网络12)Boltzmann Machine - 玻尔兹曼机13)Autoencoder - 自编码器14)Spiking Neural Network (SNN) - 脉冲神经网络15)Self-organizing Map (SOM) - 自组织映射16)Restricted Boltzmann Machine (RBM) - 受限玻尔兹曼机17)Hebbian Learning - 海比安学习18)Competitive Learning - 竞争学习19)Neuroevolutionary - 神经进化20)Neuron - 神经元•Algorithm - 算法1)Algorithm - 算法2)Supervised Learning Algorithm - 有监督学习算法3)Unsupervised Learning Algorithm - 无监督学习算法4)Reinforcement Learning Algorithm - 强化学习算法5)Classification Algorithm - 分类算法6)Regression Algorithm - 回归算法7)Clustering Algorithm - 聚类算法8)Dimensionality Reduction Algorithm - 降维算法9)Decision Tree Algorithm - 决策树算法10)Random Forest Algorithm - 随机森林算法11)Support Vector Machine (SVM) Algorithm - 支持向量机算法12)K-Nearest Neighbors (KNN) Algorithm - K近邻算法13)Naive Bayes Algorithm - 朴素贝叶斯算法14)Gradient Descent Algorithm - 梯度下降算法15)Genetic Algorithm - 遗传算法16)Neural Network Algorithm - 神经网络算法17)Deep Learning Algorithm - 深度学习算法18)Ensemble Learning Algorithm - 集成学习算法19)Reinforcement Learning Algorithm - 强化学习算法20)Metaheuristic Algorithm - 元启发式算法•Model - 模型1)Model - 模型2)Machine Learning Model - 机器学习模型3)Artificial Intelligence Model - 人工智能模型4)Predictive Model - 预测模型5)Classification Model - 分类模型6)Regression Model - 回归模型7)Generative Model - 生成模型8)Discriminative Model - 判别模型9)Probabilistic Model - 概率模型10)Statistical Model - 统计模型11)Neural Network Model - 神经网络模型12)Deep Learning Model - 深度学习模型13)Ensemble Model - 集成模型14)Reinforcement Learning Model - 强化学习模型15)Support Vector Machine (SVM) Model - 支持向量机模型16)Decision Tree Model - 决策树模型17)Random Forest Model - 随机森林模型18)Naive Bayes Model - 朴素贝叶斯模型19)Autoencoder Model - 自编码器模型20)Convolutional Neural Network (CNN) Model - 卷积神经网络模型•Dataset - 数据集1)Dataset - 数据集2)Training Dataset - 训练数据集3)Test Dataset - 测试数据集4)Validation Dataset - 验证数据集5)Balanced Dataset - 平衡数据集6)Imbalanced Dataset - 不平衡数据集7)Synthetic Dataset - 合成数据集8)Benchmark Dataset - 基准数据集9)Open Dataset - 开放数据集10)Labeled Dataset - 标记数据集11)Unlabeled Dataset - 未标记数据集12)Semi-Supervised Dataset - 半监督数据集13)Multiclass Dataset - 多分类数据集14)Feature Set - 特征集15)Data Augmentation - 数据增强16)Data Preprocessing - 数据预处理17)Missing Data - 缺失数据18)Outlier Detection - 异常值检测19)Data Imputation - 数据插补20)Metadata - 元数据•Training - 训练1)Training - 训练2)Training Data - 训练数据3)Training Phase - 训练阶段4)Training Set - 训练集5)Training Examples - 训练样本6)Training Instance - 训练实例7)Training Algorithm - 训练算法8)Training Model - 训练模型9)Training Process - 训练过程10)Training Loss - 训练损失11)Training Epoch - 训练周期12)Training Batch - 训练批次13)Online Training - 在线训练14)Offline Training - 离线训练15)Continuous Training - 连续训练16)Transfer Learning - 迁移学习17)Fine-Tuning - 微调18)Curriculum Learning - 课程学习19)Self-Supervised Learning - 自监督学习20)Active Learning - 主动学习•Testing - 测试1)Testing - 测试2)Test Data - 测试数据3)Test Set - 测试集4)Test Examples - 测试样本5)Test Instance - 测试实例6)Test Phase - 测试阶段7)Test Accuracy - 测试准确率8)Test Loss - 测试损失9)Test Error - 测试错误10)Test Metrics - 测试指标11)Test Suite - 测试套件12)Test Case - 测试用例13)Test Coverage - 测试覆盖率14)Cross-Validation - 交叉验证15)Holdout Validation - 留出验证16)K-Fold Cross-Validation - K折交叉验证17)Stratified Cross-Validation - 分层交叉验证18)Test Driven Development (TDD) - 测试驱动开发19)A/B Testing - A/B 测试20)Model Evaluation - 模型评估•Validation - 验证1)Validation - 验证2)Validation Data - 验证数据3)Validation Set - 验证集4)Validation Examples - 验证样本5)Validation Instance - 验证实例6)Validation Phase - 验证阶段7)Validation Accuracy - 验证准确率8)Validation Loss - 验证损失9)Validation Error - 验证错误10)Validation Metrics - 验证指标11)Cross-Validation - 交叉验证12)Holdout Validation - 留出验证13)K-Fold Cross-Validation - K折交叉验证14)Stratified Cross-Validation - 分层交叉验证15)Leave-One-Out Cross-Validation - 留一法交叉验证16)Validation Curve - 验证曲线17)Hyperparameter Validation - 超参数验证18)Model Validation - 模型验证19)Early Stopping - 提前停止20)Validation Strategy - 验证策略•Supervised Learning - 有监督学习1)Supervised Learning - 有监督学习2)Label - 标签3)Feature - 特征4)Target - 目标5)Training Labels - 训练标签6)Training Features - 训练特征7)Training Targets - 训练目标8)Training Examples - 训练样本9)Training Instance - 训练实例10)Regression - 回归11)Classification - 分类12)Predictor - 预测器13)Regression Model - 回归模型14)Classifier - 分类器15)Decision Tree - 决策树16)Support Vector Machine (SVM) - 支持向量机17)Neural Network - 神经网络18)Feature Engineering - 特征工程19)Model Evaluation - 模型评估20)Overfitting - 过拟合21)Underfitting - 欠拟合22)Bias-Variance Tradeoff - 偏差-方差权衡•Unsupervised Learning - 无监督学习1)Unsupervised Learning - 无监督学习2)Clustering - 聚类3)Dimensionality Reduction - 降维4)Anomaly Detection - 异常检测5)Association Rule Learning - 关联规则学习6)Feature Extraction - 特征提取7)Feature Selection - 特征选择8)K-Means - K均值9)Hierarchical Clustering - 层次聚类10)Density-Based Clustering - 基于密度的聚类11)Principal Component Analysis (PCA) - 主成分分析12)Independent Component Analysis (ICA) - 独立成分分析13)T-distributed Stochastic Neighbor Embedding (t-SNE) - t分布随机邻居嵌入14)Gaussian Mixture Model (GMM) - 高斯混合模型15)Self-Organizing Maps (SOM) - 自组织映射16)Autoencoder - 自动编码器17)Latent Variable - 潜变量18)Data Preprocessing - 数据预处理19)Outlier Detection - 异常值检测20)Clustering Algorithm - 聚类算法•Reinforcement Learning - 强化学习1)Reinforcement Learning - 强化学习2)Agent - 代理3)Environment - 环境4)State - 状态5)Action - 动作6)Reward - 奖励7)Policy - 策略8)Value Function - 值函数9)Q-Learning - Q学习10)Deep Q-Network (DQN) - 深度Q网络11)Policy Gradient - 策略梯度12)Actor-Critic - 演员-评论家13)Exploration - 探索14)Exploitation - 开发15)Temporal Difference (TD) - 时间差分16)Markov Decision Process (MDP) - 马尔可夫决策过程17)State-Action-Reward-State-Action (SARSA) - 状态-动作-奖励-状态-动作18)Policy Iteration - 策略迭代19)Value Iteration - 值迭代20)Monte Carlo Methods - 蒙特卡洛方法•Semi-Supervised Learning - 半监督学习1)Semi-Supervised Learning - 半监督学习2)Labeled Data - 有标签数据3)Unlabeled Data - 无标签数据4)Label Propagation - 标签传播5)Self-Training - 自训练6)Co-Training - 协同训练7)Transudative Learning - 传导学习8)Inductive Learning - 归纳学习9)Manifold Regularization - 流形正则化10)Graph-based Methods - 基于图的方法11)Cluster Assumption - 聚类假设12)Low-Density Separation - 低密度分离13)Semi-Supervised Support Vector Machines (S3VM) - 半监督支持向量机14)Expectation-Maximization (EM) - 期望最大化15)Co-EM - 协同期望最大化16)Entropy-Regularized EM - 熵正则化EM17)Mean Teacher - 平均教师18)Virtual Adversarial Training - 虚拟对抗训练19)Tri-training - 三重训练20)Mix Match - 混合匹配•Feature - 特征1)Feature - 特征2)Feature Engineering - 特征工程3)Feature Extraction - 特征提取4)Feature Selection - 特征选择5)Input Features - 输入特征6)Output Features - 输出特征7)Feature Vector - 特征向量8)Feature Space - 特征空间9)Feature Representation - 特征表示10)Feature Transformation - 特征转换11)Feature Importance - 特征重要性12)Feature Scaling - 特征缩放13)Feature Normalization - 特征归一化14)Feature Encoding - 特征编码15)Feature Fusion - 特征融合16)Feature Dimensionality Reduction - 特征维度减少17)Continuous Feature - 连续特征18)Categorical Feature - 分类特征19)Nominal Feature - 名义特征20)Ordinal Feature - 有序特征•Label - 标签1)Label - 标签2)Labeling - 标注3)Ground Truth - 地面真值4)Class Label - 类别标签5)Target Variable - 目标变量6)Labeling Scheme - 标注方案7)Multi-class Labeling - 多类别标注8)Binary Labeling - 二分类标注9)Label Noise - 标签噪声10)Labeling Error - 标注错误11)Label Propagation - 标签传播12)Unlabeled Data - 无标签数据13)Labeled Data - 有标签数据14)Semi-supervised Learning - 半监督学习15)Active Learning - 主动学习16)Weakly Supervised Learning - 弱监督学习17)Noisy Label Learning - 噪声标签学习18)Self-training - 自训练19)Crowdsourcing Labeling - 众包标注20)Label Smoothing - 标签平滑化•Prediction - 预测1)Prediction - 预测2)Forecasting - 预测3)Regression - 回归4)Classification - 分类5)Time Series Prediction - 时间序列预测6)Forecast Accuracy - 预测准确性7)Predictive Modeling - 预测建模8)Predictive Analytics - 预测分析9)Forecasting Method - 预测方法10)Predictive Performance - 预测性能11)Predictive Power - 预测能力12)Prediction Error - 预测误差13)Prediction Interval - 预测区间14)Prediction Model - 预测模型15)Predictive Uncertainty - 预测不确定性16)Forecast Horizon - 预测时间跨度17)Predictive Maintenance - 预测性维护18)Predictive Policing - 预测式警务19)Predictive Healthcare - 预测性医疗20)Predictive Maintenance - 预测性维护•Classification - 分类1)Classification - 分类2)Classifier - 分类器3)Class - 类别4)Classify - 对数据进行分类5)Class Label - 类别标签6)Binary Classification - 二元分类7)Multiclass Classification - 多类分类8)Class Probability - 类别概率9)Decision Boundary - 决策边界10)Decision Tree - 决策树11)Support Vector Machine (SVM) - 支持向量机12)K-Nearest Neighbors (KNN) - K最近邻算法13)Naive Bayes - 朴素贝叶斯14)Logistic Regression - 逻辑回归15)Random Forest - 随机森林16)Neural Network - 神经网络17)SoftMax Function - SoftMax函数18)One-vs-All (One-vs-Rest) - 一对多(一对剩余)19)Ensemble Learning - 集成学习20)Confusion Matrix - 混淆矩阵•Regression - 回归1)Regression Analysis - 回归分析2)Linear Regression - 线性回归3)Multiple Regression - 多元回归4)Polynomial Regression - 多项式回归5)Logistic Regression - 逻辑回归6)Ridge Regression - 岭回归7)Lasso Regression - Lasso回归8)Elastic Net Regression - 弹性网络回归9)Regression Coefficients - 回归系数10)Residuals - 残差11)Ordinary Least Squares (OLS) - 普通最小二乘法12)Ridge Regression Coefficient - 岭回归系数13)Lasso Regression Coefficient - Lasso回归系数14)Elastic Net Regression Coefficient - 弹性网络回归系数15)Regression Line - 回归线16)Prediction Error - 预测误差17)Regression Model - 回归模型18)Nonlinear Regression - 非线性回归19)Generalized Linear Models (GLM) - 广义线性模型20)Coefficient of Determination (R-squared) - 决定系数21)F-test - F检验22)Homoscedasticity - 同方差性23)Heteroscedasticity - 异方差性24)Autocorrelation - 自相关25)Multicollinearity - 多重共线性26)Outliers - 异常值27)Cross-validation - 交叉验证28)Feature Selection - 特征选择29)Feature Engineering - 特征工程30)Regularization - 正则化2.Neural Networks and Deep Learning (神经网络与深度学习)•Convolutional Neural Network (CNN) - 卷积神经网络1)Convolutional Neural Network (CNN) - 卷积神经网络2)Convolution Layer - 卷积层3)Feature Map - 特征图4)Convolution Operation - 卷积操作5)Stride - 步幅6)Padding - 填充7)Pooling Layer - 池化层8)Max Pooling - 最大池化9)Average Pooling - 平均池化10)Fully Connected Layer - 全连接层11)Activation Function - 激活函数12)Rectified Linear Unit (ReLU) - 线性修正单元13)Dropout - 随机失活14)Batch Normalization - 批量归一化15)Transfer Learning - 迁移学习16)Fine-Tuning - 微调17)Image Classification - 图像分类18)Object Detection - 物体检测19)Semantic Segmentation - 语义分割20)Instance Segmentation - 实例分割21)Generative Adversarial Network (GAN) - 生成对抗网络22)Image Generation - 图像生成23)Style Transfer - 风格迁移24)Convolutional Autoencoder - 卷积自编码器25)Recurrent Neural Network (RNN) - 循环神经网络•Recurrent Neural Network (RNN) - 循环神经网络1)Recurrent Neural Network (RNN) - 循环神经网络2)Long Short-Term Memory (LSTM) - 长短期记忆网络3)Gated Recurrent Unit (GRU) - 门控循环单元4)Sequence Modeling - 序列建模5)Time Series Prediction - 时间序列预测6)Natural Language Processing (NLP) - 自然语言处理7)Text Generation - 文本生成8)Sentiment Analysis - 情感分析9)Named Entity Recognition (NER) - 命名实体识别10)Part-of-Speech Tagging (POS Tagging) - 词性标注11)Sequence-to-Sequence (Seq2Seq) - 序列到序列12)Attention Mechanism - 注意力机制13)Encoder-Decoder Architecture - 编码器-解码器架构14)Bidirectional RNN - 双向循环神经网络15)Teacher Forcing - 强制教师法16)Backpropagation Through Time (BPTT) - 通过时间的反向传播17)Vanishing Gradient Problem - 梯度消失问题18)Exploding Gradient Problem - 梯度爆炸问题19)Language Modeling - 语言建模20)Speech Recognition - 语音识别•Long Short-Term Memory (LSTM) - 长短期记忆网络1)Long Short-Term Memory (LSTM) - 长短期记忆网络2)Cell State - 细胞状态3)Hidden State - 隐藏状态4)Forget Gate - 遗忘门5)Input Gate - 输入门6)Output Gate - 输出门7)Peephole Connections - 窥视孔连接8)Gated Recurrent Unit (GRU) - 门控循环单元9)Vanishing Gradient Problem - 梯度消失问题10)Exploding Gradient Problem - 梯度爆炸问题11)Sequence Modeling - 序列建模12)Time Series Prediction - 时间序列预测13)Natural Language Processing (NLP) - 自然语言处理14)Text Generation - 文本生成15)Sentiment Analysis - 情感分析16)Named Entity Recognition (NER) - 命名实体识别17)Part-of-Speech Tagging (POS Tagging) - 词性标注18)Attention Mechanism - 注意力机制19)Encoder-Decoder Architecture - 编码器-解码器架构20)Bidirectional LSTM - 双向长短期记忆网络•Attention Mechanism - 注意力机制1)Attention Mechanism - 注意力机制2)Self-Attention - 自注意力3)Multi-Head Attention - 多头注意力4)Transformer - 变换器5)Query - 查询6)Key - 键7)Value - 值8)Query-Value Attention - 查询-值注意力9)Dot-Product Attention - 点积注意力10)Scaled Dot-Product Attention - 缩放点积注意力11)Additive Attention - 加性注意力12)Context Vector - 上下文向量13)Attention Score - 注意力分数14)SoftMax Function - SoftMax函数15)Attention Weight - 注意力权重16)Global Attention - 全局注意力17)Local Attention - 局部注意力18)Positional Encoding - 位置编码19)Encoder-Decoder Attention - 编码器-解码器注意力20)Cross-Modal Attention - 跨模态注意力•Generative Adversarial Network (GAN) - 生成对抗网络1)Generative Adversarial Network (GAN) - 生成对抗网络2)Generator - 生成器3)Discriminator - 判别器4)Adversarial Training - 对抗训练5)Minimax Game - 极小极大博弈6)Nash Equilibrium - 纳什均衡7)Mode Collapse - 模式崩溃8)Training Stability - 训练稳定性9)Loss Function - 损失函数10)Discriminative Loss - 判别损失11)Generative Loss - 生成损失12)Wasserstein GAN (WGAN) - Wasserstein GAN（WGAN）13)Deep Convolutional GAN (DCGAN) - 深度卷积生成对抗网络（DCGAN）14)Conditional GAN (c GAN) - 条件生成对抗网络（c GAN）15)Style GAN - 风格生成对抗网络16)Cycle GAN - 循环生成对抗网络17)Progressive Growing GAN (PGGAN) - 渐进式增长生成对抗网络（PGGAN）18)Self-Attention GAN (SAGAN) - 自注意力生成对抗网络（SAGAN）19)Big GAN - 大规模生成对抗网络20)Adversarial Examples - 对抗样本•Encoder-Decoder - 编码器-解码器1)Encoder-Decoder Architecture - 编码器-解码器架构2)Encoder - 编码器3)Decoder - 解码器4)Sequence-to-Sequence Model (Seq2Seq) - 序列到序列模型5)State Vector - 状态向量6)Context Vector - 上下文向量7)Hidden State - 隐藏状态8)Attention Mechanism - 注意力机制9)Teacher Forcing - 强制教师法10)Beam Search - 束搜索11)Recurrent Neural Network (RNN) - 循环神经网络12)Long Short-Term Memory (LSTM) - 长短期记忆网络13)Gated Recurrent Unit (GRU) - 门控循环单元14)Bidirectional Encoder - 双向编码器15)Greedy Decoding - 贪婪解码16)Masking - 遮盖17)Dropout - 随机失活18)Embedding Layer - 嵌入层19)Cross-Entropy Loss - 交叉熵损失20)Tokenization - 令牌化•Transfer Learning - 迁移学习1)Transfer Learning - 迁移学习2)Source Domain - 源领域3)Target Domain - 目标领域4)Fine-Tuning - 微调5)Domain Adaptation - 领域自适应6)Pre-Trained Model - 预训练模型7)Feature Extraction - 特征提取8)Knowledge Transfer - 知识迁移9)Unsupervised Domain Adaptation - 无监督领域自适应10)Semi-Supervised Domain Adaptation - 半监督领域自适应11)Multi-Task Learning - 多任务学习12)Data Augmentation - 数据增强13)Task Transfer - 任务迁移14)Model Agnostic Meta-Learning (MAML) - 与模型无关的元学习（MAML）15)One-Shot Learning - 单样本学习16)Zero-Shot Learning - 零样本学习17)Few-Shot Learning - 少样本学习18)Knowledge Distillation - 知识蒸馏19)Representation Learning - 表征学习20)Adversarial Transfer Learning - 对抗迁移学习•Pre-trained Models - 预训练模型1)Pre-trained Model - 预训练模型2)Transfer Learning - 迁移学习3)Fine-Tuning - 微调4)Knowledge Transfer - 知识迁移5)Domain Adaptation - 领域自适应6)Feature Extraction - 特征提取7)Representation Learning - 表征学习8)Language Model - 语言模型9)Bidirectional Encoder Representations from Transformers (BERT) - 双向编码器结构转换器10)Generative Pre-trained Transformer (GPT) - 生成式预训练转换器11)Transformer-based Models - 基于转换器的模型12)Masked Language Model (MLM) - 掩蔽语言模型13)Cloze Task - 填空任务14)Tokenization - 令牌化15)Word Embeddings - 词嵌入16)Sentence Embeddings - 句子嵌入17)Contextual Embeddings - 上下文嵌入18)Self-Supervised Learning - 自监督学习19)Large-Scale Pre-trained Models - 大规模预训练模型•Loss Function - 损失函数1)Loss Function - 损失函数2)Mean Squared Error (MSE) - 均方误差3)Mean Absolute Error (MAE) - 平均绝对误差4)Cross-Entropy Loss - 交叉熵损失5)Binary Cross-Entropy Loss - 二元交叉熵损失6)Categorical Cross-Entropy Loss - 分类交叉熵损失7)Hinge Loss - 合页损失8)Huber Loss - Huber损失9)Wasserstein Distance - Wasserstein距离10)Triplet Loss - 三元组损失11)Contrastive Loss - 对比损失12)Dice Loss - Dice损失13)Focal Loss - 焦点损失14)GAN Loss - GAN损失15)Adversarial Loss - 对抗损失16)L1 Loss - L1损失17)L2 Loss - L2损失18)Huber Loss - Huber损失19)Quantile Loss - 分位数损失•Activation Function - 激活函数1)Activation Function - 激活函数2)Sigmoid Function - Sigmoid函数3)Hyperbolic Tangent Function (Tanh) - 双曲正切函数4)Rectified Linear Unit (Re LU) - 矩形线性单元5)Parametric Re LU (P Re LU) - 参数化Re LU6)Exponential Linear Unit (ELU) - 指数线性单元7)Swish Function - Swish函数8)Softplus Function - Soft plus函数9)Softmax Function - SoftMax函数10)Hard Tanh Function - 硬双曲正切函数11)Softsign Function - Softsign函数12)GELU (Gaussian Error Linear Unit) - GELU（高斯误差线性单元）13)Mish Function - Mish函数14)CELU (Continuous Exponential Linear Unit) - CELU（连续指数线性单元）15)Bent Identity Function - 弯曲恒等函数16)Gaussian Error Linear Units (GELUs) - 高斯误差线性单元17)Adaptive Piecewise Linear (APL) - 自适应分段线性函数18)Radial Basis Function (RBF) - 径向基函数•Backpropagation - 反向传播1)Backpropagation - 反向传播2)Gradient Descent - 梯度下降3)Partial Derivative - 偏导数4)Chain Rule - 链式法则5)Forward Pass - 前向传播6)Backward Pass - 反向传播7)Computational Graph - 计算图8)Neural Network - 神经网络9)Loss Function - 损失函数10)Gradient Calculation - 梯度计算11)Weight Update - 权重更新12)Activation Function - 激活函数13)Optimizer - 优化器14)Learning Rate - 学习率15)Mini-Batch Gradient Descent - 小批量梯度下降16)Stochastic Gradient Descent (SGD) - 随机梯度下降17)Batch Gradient Descent - 批量梯度下降18)Momentum - 动量19)Adam Optimizer - Adam优化器20)Learning Rate Decay - 学习率衰减•Gradient Descent - 梯度下降1)Gradient Descent - 梯度下降2)Stochastic Gradient Descent (SGD) - 随机梯度下降3)Mini-Batch Gradient Descent - 小批量梯度下降4)Batch Gradient Descent - 批量梯度下降5)Learning Rate - 学习率6)Momentum - 动量7)Adaptive Moment Estimation (Adam) - 自适应矩估计8)RMSprop - 均方根传播9)Learning Rate Schedule - 学习率调度10)Convergence - 收敛11)Divergence - 发散12)Adagrad - 自适应学习速率方法13)Adadelta - 自适应增量学习率方法14)Adamax - 自适应矩估计的扩展版本15)Nadam - Nesterov Accelerated Adaptive Moment Estimation16)Learning Rate Decay - 学习率衰减17)Step Size - 步长18)Conjugate Gradient Descent - 共轭梯度下降19)Line Search - 线搜索20)Newton's Method - 牛顿法•Learning Rate - 学习率1)Learning Rate - 学习率2)Adaptive Learning Rate - 自适应学习率3)Learning Rate Decay - 学习率衰减4)Initial Learning Rate - 初始学习率5)Step Size - 步长6)Momentum - 动量7)Exponential Decay - 指数衰减8)Annealing - 退火9)Cyclical Learning Rate - 循环学习率10)Learning Rate Schedule - 学习率调度11)Warm-up - 预热12)Learning Rate Policy - 学习率策略13)Learning Rate Annealing - 学习率退火14)Cosine Annealing - 余弦退火15)Gradient Clipping - 梯度裁剪16)Adapting Learning Rate - 适应学习率17)Learning Rate Multiplier - 学习率倍增器18)Learning Rate Reduction - 学习率降低19)Learning Rate Update - 学习率更新20)Scheduled Learning Rate - 定期学习率•Batch Size - 批量大小1)Batch Size - 批量大小2)Mini-Batch - 小批量3)Batch Gradient Descent - 批量梯度下降4)Stochastic Gradient Descent (SGD) - 随机梯度下降5)Mini-Batch Gradient Descent - 小批量梯度下降6)Online Learning - 在线学习7)Full-Batch - 全批量8)Data Batch - 数据批次9)Training Batch - 训练批次10)Batch Normalization - 批量归一化11)Batch-wise Optimization - 批量优化12)Batch Processing - 批量处理13)Batch Sampling - 批量采样14)Adaptive Batch Size - 自适应批量大小15)Batch Splitting - 批量分割16)Dynamic Batch Size - 动态批量大小17)Fixed Batch Size - 固定批量大小18)Batch-wise Inference - 批量推理19)Batch-wise Training - 批量训练20)Batch Shuffling - 批量洗牌•Epoch - 训练周期1)Training Epoch - 训练周期2)Epoch Size - 周期大小3)Early Stopping - 提前停止4)Validation Set - 验证集5)Training Set - 训练集6)Test Set - 测试集7)Overfitting - 过拟合8)Underfitting - 欠拟合9)Model Evaluation - 模型评估10)Model Selection - 模型选择11)Hyperparameter Tuning - 超参数调优12)Cross-Validation - 交叉验证13)K-fold Cross-Validation - K折交叉验证14)Stratified Cross-Validation - 分层交叉验证15)Leave-One-Out Cross-Validation (LOOCV) - 留一法交叉验证16)Grid Search - 网格搜索17)Random Search - 随机搜索18)Model Complexity - 模型复杂度19)Learning Curve - 学习曲线20)Convergence - 收敛3.Machine Learning Techniques and Algorithms (机器学习技术与算法)•Decision Tree - 决策树1)Decision Tree - 决策树2)Node - 节点3)Root Node - 根节点4)Leaf Node - 叶节点5)Internal Node - 内部节点6)Splitting Criterion - 分裂准则7)Gini Impurity - 基尼不纯度8)Entropy - 熵9)Information Gain - 信息增益10)Gain Ratio - 增益率11)Pruning - 剪枝12)Recursive Partitioning - 递归分割13)CART (Classification and Regression Trees) - 分类回归树14)ID3 (Iterative Dichotomiser 3) - 迭代二叉树315)C4.5 (successor of ID3) - C4.5（ID3的后继者）16)C5.0 (successor of C4.5) - C5.0（C4.5的后继者）17)Split Point - 分裂点18)Decision Boundary - 决策边界19)Pruned Tree - 剪枝后的树20)Decision Tree Ensemble - 决策树集成•Random Forest - 随机森林1)Random Forest - 随机森林2)Ensemble Learning - 集成学习3)Bootstrap Sampling - 自助采样4)Bagging (Bootstrap Aggregating) - 装袋法5)Out-of-Bag (OOB) Error - 袋外误差6)Feature Subset - 特征子集7)Decision Tree - 决策树8)Base Estimator - 基础估计器9)Tree Depth - 树深度10)Randomization - 随机化11)Majority Voting - 多数投票12)Feature Importance - 特征重要性13)OOB Score - 袋外得分14)Forest Size - 森林大小15)Max Features - 最大特征数16)Min Samples Split - 最小分裂样本数17)Min Samples Leaf - 最小叶节点样本数18)Gini Impurity - 基尼不纯度19)Entropy - 熵20)Variable Importance - 变量重要性•Support Vector Machine (SVM) - 支持向量机1)Support Vector Machine (SVM) - 支持向量机2)Hyperplane - 超平面3)Kernel Trick - 核技巧4)Kernel Function - 核函数5)Margin - 间隔6)Support Vectors - 支持向量7)Decision Boundary - 决策边界8)Maximum Margin Classifier - 最大间隔分类器9)Soft Margin Classifier - 软间隔分类器10) C Parameter - C参数11)Radial Basis Function (RBF) Kernel - 径向基函数核12)Polynomial Kernel - 多项式核13)Linear Kernel - 线性核14)Quadratic Kernel - 二次核15)Gaussian Kernel - 高斯核16)Regularization - 正则化17)Dual Problem - 对偶问题18)Primal Problem - 原始问题19)Kernelized SVM - 核化支持向量机20)Multiclass SVM - 多类支持向量机•K-Nearest Neighbors (KNN) - K-最近邻1)K-Nearest Neighbors (KNN) - K-最近邻2)Nearest Neighbor - 最近邻3)Distance Metric - 距离度量4)Euclidean Distance - 欧氏距离5)Manhattan Distance - 曼哈顿距离6)Minkowski Distance - 闵可夫斯基距离7)Cosine Similarity - 余弦相似度8)K Value - K值9)Majority Voting - 多数投票10)Weighted KNN - 加权KNN11)Radius Neighbors - 半径邻居12)Ball Tree - 球树13)KD Tree - KD树14)Locality-Sensitive Hashing (LSH) - 局部敏感哈希15)Curse of Dimensionality - 维度灾难16)Class Label - 类标签17)Training Set - 训练集18)Test Set - 测试集19)Validation Set - 验证集20)Cross-Validation - 交叉验证•Naive Bayes - 朴素贝叶斯1)Naive Bayes - 朴素贝叶斯2)Bayes' Theorem - 贝叶斯定理3)Prior Probability - 先验概率4)Posterior Probability - 后验概率5)Likelihood - 似然6)Class Conditional Probability - 类条件概率7)Feature Independence Assumption - 特征独立假设8)Multinomial Naive Bayes - 多项式朴素贝叶斯9)Gaussian Naive Bayes - 高斯朴素贝叶斯10)Bernoulli Naive Bayes - 伯努利朴素贝叶斯11)Laplace Smoothing - 拉普拉斯平滑12)Add-One Smoothing - 加一平滑13)Maximum A Posteriori (MAP) - 最大后验概率14)Maximum Likelihood Estimation (MLE) - 最大似然估计15)Classification - 分类16)Feature Vectors - 特征向量17)Training Set - 训练集18)Test Set - 测试集19)Class Label - 类标签20)Confusion Matrix - 混淆矩阵•Clustering - 聚类1)Clustering - 聚类2)Centroid - 质心3)Cluster Analysis - 聚类分析4)Partitioning Clustering - 划分式聚类5)Hierarchical Clustering - 层次聚类6)Density-Based Clustering - 基于密度的聚类7)K-Means Clustering - K均值聚类8)K-Medoids Clustering - K中心点聚类9)DBSCAN (Density-Based Spatial Clustering of Applications with Noise) - 基于密度的空间聚类算法10)Agglomerative Clustering - 聚合式聚类11)Dendrogram - 系统树图12)Silhouette Score - 轮廓系数13)Elbow Method - 肘部法则14)Clustering Validation - 聚类验证15)Intra-cluster Distance - 类内距离16)Inter-cluster Distance - 类间距离17)Cluster Cohesion - 类内连贯性18)Cluster Separation - 类间分离度19)Cluster Assignment - 聚类分配20)Cluster Label - 聚类标签•K-Means - K-均值1)K-Means - K-均值2)Centroid - 质心3)Cluster - 聚类4)Cluster Center - 聚类中心5)Cluster Assignment - 聚类分配6)Cluster Analysis - 聚类分析7)K Value - K值8)Elbow Method - 肘部法则9)Inertia - 惯性10)Silhouette Score - 轮廓系数11)Convergence - 收敛12)Initialization - 初始化13)Euclidean Distance - 欧氏距离14)Manhattan Distance - 曼哈顿距离15)Distance Metric - 距离度量16)Cluster Radius - 聚类半径17)Within-Cluster Variation - 类内变异18)Cluster Quality - 聚类质量19)Clustering Algorithm - 聚类算法20)Clustering Validation - 聚类验证•Dimensionality Reduction - 降维1)Dimensionality Reduction - 降维2)Feature Extraction - 特征提取3)Feature Selection - 特征选择4)Principal Component Analysis (PCA) - 主成分分析5)Singular Value Decomposition (SVD) - 奇异值分解6)Linear Discriminant Analysis (LDA) - 线性判别分析7)t-Distributed Stochastic Neighbor Embedding (t-SNE) - t-分布随机邻域嵌入8)Autoencoder - 自编码器9)Manifold Learning - 流形学习10)Locally Linear Embedding (LLE) - 局部线性嵌入11)Isomap - 等度量映射12)Uniform Manifold Approximation and Projection (UMAP) - 均匀流形逼近与投影13)Kernel PCA - 核主成分分析14)Non-negative Matrix Factorization (NMF) - 非负矩阵分解15)Independent Component Analysis (ICA) - 独立成分分析16)Variational Autoencoder (VAE) - 变分自编码器17)Sparse Coding - 稀疏编码18)Random Projection - 随机投影19)Neighborhood Preserving Embedding (NPE) - 保持邻域结构的嵌入20)Curvilinear Component Analysis (CCA) - 曲线成分分析•Principal Component Analysis (PCA) - 主成分分析1)Principal Component Analysis (PCA) - 主成分分析2)Eigenvector - 特征向量3)Eigenvalue - 特征值4)Covariance Matrix - 协方差矩阵。
神经网络理论及应用
神经网络理论及应用神经网络（neural network）是一种模仿人类神经系统工作方式而建立的数学模型，用于刻画输入、处理与输出间的复杂映射关系。
神经网络被广泛应用于机器学习、人工智能、数据挖掘、图像处理等领域，是目前深度学习技术的核心之一。
神经网络的基本原理是模仿人脑神经细胞——神经元。
神经元接收来自其他神经元的输入信号，并通过一个激活函数对所有输入信号进行加权求和，再传递到下一个神经元。
神经元之间的连接权重是神经网络的关键参数，决定了不同输入组合对输出结果的影响。
神经网络的分类可分为多层感知机、卷积神经网络、循环神经网络等等。
其中多层感知机（Multi-Layer Perceptron，MLP）是最基本的神经网络结构。
MLP由输入层、若干个隐藏层和输出层组成，每层包括多个神经元，各层之间被完全连接，每个神经元都接收来自上一层的输入信号并输出给下一层。
通过不断地训练神经网络，即对连接权重进行优化，神经网络能够准确地对所学习的模式进行分类、回归、识别、聚类等任务。
神经网络的应用非常广泛，涉及到各个领域。
在图像处理领域中，卷积神经网络（Convolutional Neural Network，CNN）是一种特殊的神经网络，主要应用于图像识别、图像分割等任务。
比如，在医疗领域中，CNN被用于对医学影像进行诊断，对疾病进行分类、定位和治疗建议的制定。
在语音处理领域中，循环神经网络（Recurrent Neural Network，RNN）因其能够处理序列数据而备受推崇，常用于文本生成、机器翻译等任务。
在自然语言处理领域中，基于预训练的语言模型（Pre-trained Language Models，PLM）在语言模型微调、文本分类和情感分析等方面表现出色。
尽管神经网络有诸多优点，但它也存在一些缺点。
其中最为突出的是过度拟合（overfitting），即模型过于复杂，为了适应训练集数据而使得泛化能力下降，遇到未知数据时准确率不高。
机器学习（04）——常用专业术语
机器学习（04）——常⽤专业术语对于机器学习的常⽤专业术语，我们在开始学习之前，最好⼤概的看⼀两次，简单了解⼀些常识和术语，有了基本了解后，对于后续学习会有很⼤的帮助。
AA/B 测试 (A/B testing)⼀种统计⽅法，⽤于将两种或多种技术进⾏⽐较，通常是将当前采⽤的技术与新技术进⾏⽐较。
A/B 测试不仅旨在确定哪种技术的效果更好，⽽且还有助于了解相应差异是否具有显著的统计意义。
A/B 测试通常是采⽤⼀种衡量⽅式对两种技术进⾏⽐较，但也适⽤于任意有限数量的技术和衡量⽅式。
准确率（accuracy）分类模型预测准确的⽐例。
在多类别分类中，准确率定义如下：在⼆分类中，准确率定义为：请参阅【正例 (TP, true positive)】和【负例 (TN, true negative)】。
激活函数 (activation function)⼀种函数（例如 ReLU 或 S 型函数），⽤于对上⼀层的所有输⼊求加权和，然后⽣成⼀个输出值（通常为⾮线性值），并将其传递给下⼀层。
AdaGrad⼀种先进的梯度下降法，⽤于重新调整每个参数的梯度，以便有效地为每个参数指定独⽴的学习速率。
如需查看完整的解释，请参阅这篇论⽂。
ROC 曲线下⾯积 (AUC, Area under the ROC Curve)⼀种会考虑所有可能分类阈值的评估指标。
ROC 曲线下⾯积是，对于随机选择的正类别样本确实为正类别，以及随机选择的负类别样本为正类别，分类器更确信前者的概率。
B反向传播算法 (backpropagation)在神经⽹络上执⾏梯度下降法的主要算法。
该算法会先按前向传播⽅式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的⽅式计算损失函数值相对于每个参数的偏导数。
基准 (baseline)⼀种简单的模型或启发法，⽤作⽐较模型效果时的参考点。
基准有助于模型开发者针对特定问题量化最低预期效果。
批次 (batch)模型训练的⼀次迭代（即⼀次梯度更新）中使⽤的样本集。
人工智能名词解释
人工智能名词解释人工智能（Artificial Intelligence，简称AI）是计算机科学的一个分支，指的是通过仿真人类智能的能力，使计算机具有类似人类的学习、推理、决策和问题解决能力的技术和系统。
下面是对人工智能中的一些常见名词的解释：1. 机器学习（Machine Learning）：机器学习是一种人工智能的方法，在给定数据的基础上，通过计算机自动学习并改进算法，使其能够从数据中发现模式和规律，并作出预测或决策。
2. 神经网络（Neural Network）：神经网络是一种模拟人脑神经元网络结构的数学模型，通过模拟大量神经元之间的连接和信息传递，实现对数据的处理和分析，用于解决复杂的模式识别和分类问题。
3. 深度学习（Deep Learning）：深度学习是一种基于神经网络的机器学习方法，通过多层次的神经网络结构，实现对大规模数据的自动特征提取和抽象表示，进而解决更加复杂和高级的任务。
4. 自然语言处理（Natural Language Processing，简称NLP）：自然语言处理是一种研究如何使计算机能够理解和处理人类语言的技术，包括语音识别、语义分析、机器翻译等。
5. 机器视觉（Computer Vision）：机器视觉是一种用于使计算机能够理解和解析视觉信息的技术，主要包括图像识别、物体检测、图像生成等。
6. 强化学习（Reinforcement Learning）：强化学习是一种通过与环境不断交互学习的方法，通过试错和奖励机制，使计算机能够自主地通过尝试和反馈改进算法和决策，并逐渐提升性能。
7. 数据挖掘（Data Mining）：数据挖掘是一种通过利用大规模数据，寻找其中隐藏的模式和知识的技术和方法，用于发现数据中的关联、规律和趋势，以支持决策和预测。
8. 智能代理（Intelligent Agent）：智能代理是一种能够感知环境、自主决策和执行任务的系统或程序，通过人工智能的技术和方法，实现对复杂问题的自动化解决。
神经网络的介绍范文
神经网络的介绍范文
神经网络（Neural Networks）是一种利用统计学习的方法，来解决
计算机视觉，自然语言处理，以及其他各种智能问题。
基本的神经网络架
构是由多个由具有可学习的权重的神经元构成的多层网络，每个神经元都
有一个可以被其他神经元影响的活动函数（例如逻辑函数或非线性函数）。
在简单的神经网络中，神经元可以接收输入信号并输出一个基于输入
信号。
输入信号可以是一维数组或多维数组，输出值可以是一维数组，也
可以是多维数组。
神经元可以有不同的连接强度，一些强连接的神经元可
以更大程度的影响输出，而连接弱的神经元则起到一个较小的作用。
神经
元之间的权重（weights）可以用梯度下降算法调整，以更精确的拟合数据。
分类器神经网络（Classifier Neural Networks）是使用神经网络来
实现分类任务的一种技术，类似于支持向量机（SVM）和朴素贝叶斯分类
器（Naive Bayes Classifier）。
该网络包含多个输入层，隐藏层和输出层。
输入层接收原始信号，隐藏层处理特征和聚类，然后输出层将结果转
换为有意义的分类结果。
神经网络简介
神经网络简介神经网络（Neural Network），又被称为人工神经网络（Artificial Neural Network），是一种模仿人类智能神经系统结构与功能的计算模型。
它由大量的人工神经元组成，通过建立神经元之间的连接关系，实现信息处理与模式识别的任务。
一、神经网络的基本结构与原理神经网络的基本结构包括输入层、隐藏层和输出层。
其中，输入层用于接收外部信息的输入，隐藏层用于对输入信息进行处理和加工，输出层负责输出最终的结果。
神经网络的工作原理主要分为前向传播和反向传播两个过程。
在前向传播过程中，输入信号通过输入层进入神经网络，并经过一系列的加权和激活函数处理传递到输出层。
反向传播过程则是根据输出结果与实际值之间的误差，通过调整神经元之间的连接权重，不断优化网络的性能。
二、神经网络的应用领域由于神经网络在模式识别和信息处理方面具有出色的性能，它已经广泛应用于各个领域。
1. 图像识别神经网络在图像识别领域有着非常广泛的应用。
通过对图像进行训练，神经网络可以学习到图像中的特征，并能够准确地判断图像中的物体种类或者进行人脸识别等任务。
2. 自然语言处理在自然语言处理领域，神经网络可以用于文本分类、情感分析、机器翻译等任务。
通过对大量语料的学习，神经网络可以识别文本中的语义和情感信息。
3. 金融预测与风险评估神经网络在金融领域有着广泛的应用。
它可以通过对历史数据的学习和分析，预测股票价格走势、评估风险等，并帮助投资者做出更科学的决策。
4. 医学诊断神经网络在医学领域的应用主要体现在医学图像分析和诊断方面。
通过对医学影像进行处理和分析，神经网络可以辅助医生进行疾病的诊断和治疗。
5. 机器人控制在机器人领域，神经网络可以用于机器人的感知与控制。
通过将传感器数据输入到神经网络中，机器人可以通过学习和训练来感知环境并做出相应的反应和决策。
三、神经网络的优缺点虽然神经网络在多个领域中都有着广泛的应用，但它也存在一些优缺点。
机器学习人工智能的核心算法
机器学习人工智能的核心算法机器学习人工智能（Machine Learning Artificial Intelligence）是当今科技领域备受瞩目的前沿技术，其核心算法是支撑其实现智能化的重要基础。
在机器学习人工智能领域，有许多经典的核心算法被广泛应用于各种领域，为人类生活和工作带来了巨大的便利和改变。
本文将介绍几种机器学习人工智能的核心算法，包括监督学习、无监督学习、强化学习等，以及它们在实际应用中的具体情况。
一、监督学习监督学习是机器学习中最常见和基础的学习方式之一，其核心思想是通过已知输入和输出的训练数据，让机器学习算法学习出一个映射函数，从而能够对未知数据进行预测或分类。
监督学习的代表性算法包括决策树、支持向量机、神经网络等。
1. 决策树（Decision Tree）决策树是一种树形结构的分类器，通过一系列的规则对数据进行分类。
在构建决策树的过程中，算法会选择最优的特征进行分裂，直到达到停止条件为止。
决策树简单直观，易于理解和解释，被广泛应用于数据挖掘和模式识别领域。
2. 支持向量机（Support Vector Machine）支持向量机是一种二分类模型，其目标是找到一个最优的超平面，使得不同类别的样本能够被最大化地分开。
支持向量机在处理高维数据和非线性数据方面表现出色，被广泛应用于文本分类、图像识别等领域。
3. 神经网络（Neural Network）神经网络是一种模拟人脑神经元网络的机器学习模型，通过多层神经元之间的连接和权重来学习复杂的非线性关系。
深度神经网络（Deep Neural Network）在图像识别、语音识别等领域取得了巨大成功，成为当前人工智能领域的热门算法之一。
二、无监督学习无监督学习是一种在训练数据中没有标签信息的学习方式，其目标是从数据中发现隐藏的模式和结构。
无监督学习的代表性算法包括聚类、降维、关联规则挖掘等。
1. 聚类（Clustering）聚类是一种将数据集中的样本划分为若干个类别的无监督学习方法，目标是使同一类别内的样本相似度高，不同类别之间的相似度低。
机器学习知识：机器学习中的神经网络与符号推理
机器学习知识：机器学习中的神经网络与符号推理近年来，机器学习（Machine Learning）这一领域得到了快速发展，其中神经网络（Neural Networks）和符号推理（Symbolic Reasoning）两种方法备受关注。
本篇文章将分别介绍神经网络和符号推理的概念、应用及优缺点，并尝试探讨它们的结合方式，以期找到更为有效的解决问题方法。
一、神经网络神经网络是一种模仿生物神经系统的计算模型，具有自学习和自适应的功能。
它主要由多个神经元（Neurons）和多层网络组成，其中每个神经元将接收到来自某些输入节点的信息，进行加权处理后，输出给其他节点。
通过训练和调整连接权值和阈值，神经网络能够自动从数据中发现规律，并用于识别、分类、预测等任务。
在实际应用中，神经网络已广泛应用于语音识别、图像分类、自然语言处理等领域。
例如，在图像分类问题中，神经网络可以通过学习图像中不同部位的特征，以及它们之间的关系，区分出不同的物体。
另外，深度学习（Deep Learning）是运用多层神经网络来解决复杂问题的一种技术，它已成功应用于语音识别、机器翻译、自动驾驶等领域。
然而，神经网络也存在一些缺点，如它的输出难以解释、训练数据需要大量且可能难以获得、容易陷入局部极值等问题。
因此，当我们需要得到某些准确且可解释的结论时，神经网络就显得无能为力。
二、符号推理符号推理是一种基于逻辑的推理方法，将命题用符号表示出来，通过运用逻辑规则推出新的结论。
它与神经网络不一样的地方在于，符号推理能够处理命题之间的逻辑关系，使用规则来推导出一个完整的结论。
因此，符号推理也被称为形式推理（Formal Reasoning）。
符号推理已广泛应用于人工智能、自动化推理、智能系统等领域。
例如，在人工智能领域中，基于知识的系统（Knowledge-based Systems）利用符号推理来推导新的结论，以及与人类交互以获取更多的知识。
然而，符号推理的另一方面也存在缺点。
机器学习知识：机器学习中的神经网络
机器学习知识：机器学习中的神经网络机器学习中的神经网络随着人工智能技术的不断发展，机器学习（Machine Learning）已经成为了当前最为热门的技术之一。
在机器学习中，神经网络（Neural Networks）是最为广泛应用的一种算法之一。
今天，我们就来讨论一下机器学习中的神经网络。
什么是神经网络？神经网络是模拟人脑在处理信息过程中的一种数学模型。
它是由一些具有输入和输出的节点组成的，这些节点被称为神经元，它们之间的联系被称作权重。
每个神经元都有自己的激活函数和阈值，当神经元的输入超过了阈值，它就会被激活并输出一些信息。
神经网络通常是一个分层结构。
其中，输入层接收外部输入，输出层产生最终的输出，中间的层被称为隐藏层。
每一层都由很多个神经元组成，它们可以互相连接而形成复杂的网络结构。
这个网络的结构就被称为神经网络。
神经网络的训练过程神经网络在进行学习的时候，需要通过一个反向传播的过程来不断地调整权重，从而达到更好的拟合效果。
反向传播算法是一个基于梯度下降的算法。
通过计算误差的梯度来更新权重。
其中，误差是指神经网络预测的输出与真实值之间的差异。
通过将误差反向传播回神经网络，可以根据误差的大小来调整所有神经元之间连接的权重。
这种调整过程会持续进行，直到误差被尽可能地减小。
神经网络的应用领域神经网络在机器学习中的应用非常广泛。
它可以用于图片识别、自然语言处理、音频处理、数据挖掘、预测分析等方面。
其中，图片识别是神经网络应用于机器学习领域的一个经典案例。
在图片识别中，神经网络需要从图片中提取出特征，然后对这些特征进行分类。
具体而言，神经网络通过进行卷积和池化等操作，将图片转化成一些特征图，然后使用全连接的神经网络，对这些特征进行分类识别。
总结神经网络是机器学习中最常用的一种算法之一。
它模拟了人脑处理信息的方式，通过学习数据，可以产生出一些准确的预测结果。
同时，神经网络也是一个复杂的数学模型，它的训练过程需要大量的计算资源，训练效果也需要不断地调整和优化。
什么是神经网络？
什么是神经网络？
神经网络是最近几年引起重视的计算机技术，也是未来发展的重要方向之一。
它以自己的独特优势赢得众多受众，从早期的生物神经科学家到IT从业者都在关注它。
今天，让我们一起来解读神经网络：
神经网络（Neural Network）对应于生物学中的神经元网络，是一种人工智能的学习模型，旨在模拟生物的神经元网络，利用大量的计算节点来处理复杂的任务，也就是运用大量数据以及人工智能算法，使机器可以自动学习，进而实现自动决策。
在神经网络中，有多个计算节点，这些节点组成一个网络，每一节点都有不同的权重和偏差，这些计算节点可以传递数据并进行处理。
神经网络的结构可以分为输入层、隐藏层和输出层。
输入层的节点用来接收外部输入的数据，隐藏层的节点会通过不同形式的处理把输入变成有效的数据，最后输出层就会输出处理结果。
随着计算机技术的发展，神经网络的应用越来越广泛，已经被广泛应用于很多方面：
- 计算机视觉：神经网络可以分析视频流中的图像，从而可以实现自动
识别，有助于更好地理解图像内容；
- 自动驾驶：神经网络可以帮助自动车辆在复杂的环境中顺利行驶；
- 机器学习：神经网络可以构建从历史数据中学习出来的模型，帮助企
业做出准确的决策；
此外，神经网络还有许多其他的应用，比如自然语言处理、机器翻译、文本挖掘等，都是极受欢迎的计算机技术。
神经网络近些年来发展得很快，从早期的深度学习以及模式识别一步
步发展到现在的再生成模型、跨模态深度学习，也成为当下热门话题。
未来，人工智能的发展将变得更加普及，其核心技术之一是神经网络，因此神经网络也将更加重要，它可以实现更智能、更可靠的机器学习
任务，这也是未来的趋势。
机器学习：SVM和神经网络的比较
机器学习：SVM和神经网络的比较机器学习（Machine Learning）是一种通过数据来自动分析和学习的方法。
它可以应用于各种领域，如图像识别、语音识别、自然语言处理、医学诊断等。
常见的机器学习算法包括支持向量机（Support Vector Machine，SVM）和神经网络（Neural Network）。
在本文中，我们将分别介绍SVM和神经网络，并对它们进行比较。
一、支持向量机（SVM）支持向量机是一种二分类模型，其基本原理是找到一个最优超平面，使得两类样本之间的间隔最大化。
在实际应用中，当样本不是线性可分时，可以通过核函数将样本映射到高维空间，从而使得样本在高维空间中变得线性可分。
SVM的优点是具有较好的泛化能力、对维度高的数据处理能力较强、对噪声的敏感度较低。
此外，SVM算法也能够解决非线性分类问题。
但SVM的缺点是对大规模数据的处理能力有限，计算复杂度较高，对参数选择和核函数的选择较为敏感。
二、神经网络神经网络是一种模拟人脑神经元网络的计算模型。
它由大量的人工神经元按照一定的结构连接而成，通过学习训练使得网络具有较强的模式识别和特征提取能力。
常见的神经网络包括多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）等。
神经网络的优点是具有很强的自适应、自学习能力，可以对复杂、非线性的问题进行建模和预测。
此外，神经网络还可以实现端到端的学习，无需手工提取特征。
但神经网络也存在一些缺点，包括需要大量的数据进行训练、容易过拟合、训练时间长、参数调整困难等问题。
比较SVM和神经网络1.泛化能力SVM在小样本学习上具有较好的泛化能力，而神经网络在大样本学习上更具优势。
2.数据量当数据量较小时，SVM表现可能更好。
而当数据量较大时，神经网络可能会更具优势。
3.计算复杂度SVM的计算复杂度主要取决于支持向量的数量，而神经网络的计算复杂度则主要取决于网络的层数和每一层的神经元数量。
在大规模数据集上，神经网络的训练时间一般要长于SVM。
神经网络算法介绍
神经网络算法介绍神经网络（Neural Network）是一种通过模拟人脑神经元之间的相互作用，来解决复杂问题的数学模型。
它由输入层、隐藏层和输出层组成，通过训练数据来调整网络中连接的权重和偏置，从而实现输入数据到输出数据的非线性映射。
前馈神经网络是最常见的形式，它的信息传递是单向的，从输入层流向输出层。
其中最简单的形式是单层感知机（Single Layer Perceptron），它只有一个输出节点，用于二分类问题。
多层感知机（Multilayer Perceptron）是前馈神经网络的扩展形式，可以处理更复杂的问题。
通过使用多个隐藏层，多层感知机可以学习到更加复杂的特征。
循环神经网络是具有反馈连接（Feedback Connection）的神经网络，它在处理序列数据时具有很好的表现。
循环神经网络的隐藏层之间形成了循环的连接，使得神经网络在处理上一个时间步的信息时能够记住之前的状态。
这种记忆能力使得循环神经网络在自然语言处理、语音识别等任务中表现出色。
神经网络算法的训练通常使用反向传播算法（Backpropagation），它通过最小化损失函数来调整神经网络中的权重和偏置。
在反向传播算法中，首先利用前向传播计算出网络的输出，然后通过计算损失函数对权重和偏置的导数，从输出层开始逐层反向传播误差。
最后，利用导数来更新权重和偏置，使得损失函数逐渐减小。
然而，神经网络算法也存在一些问题。
首先，神经网络的训练过程通常需要大量的样本和计算资源，需要较长的训练时间。
其次，神经网络算法的结构和参数选择需要一定的经验和技巧，否则容易出现过拟合或欠拟合的问题。
此外，神经网络算法在解决一些问题时可能会失效，需要结合其他算法或技术来完成。
然而，神经网络算法在许多领域已经取得了重大的突破。
例如，在计算机视觉领域，卷积神经网络（Convolutional Neural Network）在图像分类、目标检测等任务中取得了巨大成功。
生物大数据分析中的机器学习方法介绍
生物大数据分析中的机器学习方法介绍随着生物学技术的不断发展，生物学研究中产生的数据量也呈现爆发式增长。
大规模的生物数据需要高效的分析方法来揭示其中的生物学特征和模式。
机器学习是一种重要的数据分析工具，已经在生物大数据分析中得到广泛应用。
本文将介绍几种常见的机器学习方法，并讨论它们在生物大数据分析中的应用。
一、监督学习方法监督学习是指利用已知输入和输出的数据来进行模型训练和预测的机器学习方法。
在生物大数据分析中，监督学习方法常用于分类和回归任务。
1. 支持向量机（Support Vector Machine，SVM）：SVM是一种通过寻找最优超平面来进行分类的机器学习方法。
在生物学中，SVM常用于预测蛋白质的结构和功能，或者预测基因的表达水平。
2. 随机森林（Random Forest）：随机森林是一种集成学习方法，建立了多个决策树并进行投票预测。
在生物大数据分析中，随机森林可以用于基因表达谱的分类和预测蛋白质的功能。
3. 神经网络（Neural Network）：神经网络是一种由大量神经元相互连接而成的网络结构。
在生物大数据分析中，神经网络可以用于预测蛋白质的结构和功能，或者进行基因表达水平的预测。
二、无监督学习方法无监督学习是指从未标注的数据中发现隐含的结构和模式的机器学习方法。
在生物大数据分析中，无监督学习方法常用于聚类和降维任务。
1. K均值聚类（K-means Clustering）：K均值聚类是一种将数据点分成不同簇的聚类方法。
在生物大数据分析中，K均值聚类可以用于发现基因表达谱或者蛋白质序列的相似模式。
2. 主成分分析（Principal Component Analysis，PCA）：PCA是一种常用的降维方法，通过线性变换将高维数据映射到低维空间。
在生物大数据分析中，PCA 可以用于提取基因表达谱或者蛋白质序列的关键特征。
3. 狄利克雷过程混合模型（Dirichlet Process Mixture Model，DPMM）：DPMM是一种概率模型，可以自动确定聚类的数量。
解读机器学习中的神经网络
解读机器学习中的神经网络神经网络是机器学习领域中的一种重要算法模型。
它被广泛应用于图像识别、语音识别、自然语言处理等各个领域。
本文将深入解读神经网络的原理和应用，并探讨其在机器学习中的重要性。
导言：机器学习是一种通过计算机模拟人类学习过程的方法，神经网络是机器学习中的一种重要技术手段。
它基于人工神经元模型，通过网络中的节点和边来模拟人脑中的神经元和突触连接。
神经网络的基本构建单元是感知器，它能够通过学习获取到输入数据中的潜在模式和规律。
在神经网络中，感知器的连接方式和权重值决定了模型的预测能力和泛化能力。
一、神经网络的基本结构和工作原理神经网络主要由输入层、隐藏层和输出层组成。
输入层接收原始数据并将其传递给隐藏层，隐藏层通过一系列非线性函数的变换将输入信息映射到新的表示空间中，输出层根据隐藏层的输出对样本进行分类或回归预测。
1. 输入层（Input Layer）：输入层负责接收原始数据，如图像像素或文本词向量。
每个输入特征在神经网络中对应一个输入节点，输入节点将接收到的特征信息传递给隐藏层。
2. 隐藏层 (Hidden Layer)：隐藏层是神经网络中实现非线性变换的关键部分。
通过一系列连接的神经元节点，隐藏层可以将输入信息映射到高维空间。
隐藏层的数量和神经元的个数通常是根据任务需求和模型复杂性进行灵活调整的。
3. 输出层（Output Layer）：输出层生成神经网络的最终预测结果。
根据不同的任务类型，输出层可以有不同的形式。
例如，对于二分类问题，输出层可能采用sigmoid激活函数将输出转化为概率值；对于多分类问题，可以采用softmax函数进行类别概率估计。
二、神经网络的训练过程神经网络的训练过程是通过损失函数的反向传播来实现的。
训练数据被输入到神经网络中，根据神经网络的预测结果与真实标签的差异计算损失函数。
然后，通过反向传播算法，神经网络根据损失函数的梯度对各个参数进行调整，从而逐步优化网络模型。
深入理解机器学习中的神经网络
深入理解机器学习中的神经网络机器学习是一种通过训练数据来实现智能化的技术，而神经网络则是其中的重要组成部分。
在深入理解机器学习中的神经网络之前，先来了解一下神经网络的基础知识。
神经元是神经网络的基本单位，它接收输入信号，并通过激活函数输出一个值。
一个神经元可以看做是一个单元的计算机，它通过接收多个输入和权重的乘积，加上一个偏置项，然后通过激活函数计算输出值。
神经网络是由神经元组成的网络，它可以通过训练数据来优化神经元之间的权重和偏置项，从而实现对未知数据的预测或分类。
神经网络的训练过程包括前向传播和反向传播两个阶段。
在前向传播过程中，输入数据通过神经网络中的一系列计算，最终得到预测结果。
而在反向传播过程中，神经网络通过计算预测结果与实际结果之间的误差，并根据误差来更新神经网络中的权重和偏置项。
这样不断迭代，就可以不断优化神经网络的性能。
在神经网络中，有多种不同的架构和激活函数可以选择。
其中，卷积神经网络（Convolutional Neural Network, CNN）主要用于图像和语音等数据深度学习领域，而循环神经网络（Recurrent Neural Network, RNN）则主要用于自然语言处理等任务中。
另外，激活函数也是神经网络中不可忽视的组成部分，不同的激活函数会对神经网络的性能产生不同的影响。
除了以上的基本知识，还有一些其他的技术和概念也需要在深入理解神经网络时一并了解。
首先，Batch Normalization（批量标准化）是一种常用的神经网络正则方法，通过对每一层的输入进行归一化，从而使得每一层在训练过程中的输出具有一定的稳定性。
其次，Dropout（随机失活）是一种在神经网络训练过程中，随机选取一部分神经元不参与计算的方法，可以有效防止过拟合。
再次，卷积神经网络中的池化层（Pooling）可以减少特征向量的维度，节省计算资源，并且可以避免特征过度拟合的问题。
最后，除了基于梯度下降的反向传播算法之外，也有一些其他的优化算法，例如AdaGrad、Adam等，可以在训练时提高神经网络的学习速度和准确率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.17.1. Multi-layer Perceptron
多层感知器
Multi-layer Perceptron (MLP) is a supervised learning algorithm that learns a function by training on a dataset,
where m is the number of dimensions for input and o is the number of dimensions for output. Given a set of features X and a target y , it can learn a non-linear function approximator for either classification or regression. It is different from logistic regression, in that between the input and the output layer, there can be one or more non-linear layers, called hidden layers. Figure 1 shows a one hidden layer MLP with scalar output.
多层感知器(MLP)是一种监督学习算法，它通过在数据集上训练来学习函数，其中输入的维数和输出的维数。
给定一组特征和一个目标，它可以学习用于分类或回归的非线性函数逼近器。
它不同于逻辑回归，因为在输入和输出层之间，可以有一个或多个非线性层，称为隐藏层。
1.17.6. Complexity
复杂度
Suppose there are m training samples,n features,k hidden layers, each containing h neurons - for simplicity, and o output neurons. The time complexity of backpropagation is
, where i is the number of iterations. Since backpropagation has a high time complexity, it is advisable to start with smaller number of hidden neurons and few hidden layers for training.
假设有m个训练样本，n个特征，k个隐藏层，每个包含h个神经元——为了简单起见，还有o个输出神经元。
反向传播的时间复杂度是，其中i是迭代次数。
由于反向传播具有很高的时间复杂度，建议从较少数量的隐藏神经元和较少的隐藏层开始进行训练。
例如，将输入向量X上的每个属性缩放到[0，1]或[-1，+1)，或将它标准化为平均值0和方差1。
请注意，为了获得有意义的结果，您必须对测试集应用相同的缩放比例。
您可以使用
StandardScaler进行标准化。
An alternative and recommended approach is to use StandardScaler in a Pipeline
另一种推荐的方法是在管道中使用StandardScaler
●Finding a reasonable regularization parameter is best done
using GridSearchCV, usually in the range
找到一个合理的正则化参数最好使用GridSearchCV，通常在这个范围内
●Empirically, we observed that L-BFGS converges faster and
with better solutions on small datasets. For relatively large
datasets, however, Adam is very robust. It usually converges quickly and gives pretty good performance. SGD with
momentum or nesterov’s momentum, on the other hand, can perform better than those two algorithms if learning rate is
correctly tuned.
根据经验，我们观察到L-BFGS（梯度下降高级算法）在小数据集上收敛得更快，解也更好。
然而，对于相对较大的数据集，Adam（梯度下降高级算法）非常健壮。
它通常收敛得很快，并给出相当好的性能。
另一方面，如果正确调整学习速率，具有动量的SGD或nesterov动量的SGD可以比这两种算法表现得更好。
1.17.9. More control with warm_start。