从神经网络到深度学习

---

引入

在之前我们已经介绍过了一些优化问题，然而并不是所有优化问题从输入到目标函数之间都有明确的公式。不如说，在生活中大部分时候我们都很难建立一个很准确的数学模型，同时也无法得知需要优化什么参数，特别是对于图片分类来说。例如，给你一张图片，让你分辨是猫还是狗。对于输入来说，我们有一张图片rgb三通道的所有值，而需要输出0或1分别代表猫和狗。为了解决这个问题，我们引入神经网络等相关一系列概念。

机器学习 神经网络 深度学习

首先，有必要对神经网络、深度学习、机器学习的概念做个简单描述。

神经网络，该模型灵感来自动物的中枢神经系统，通常呈现为相互连接的“神经元”，它可以对输入值通过反馈机制使得它们适应对应的输出。

深度学习是神经网络的进阶版，它的基本思路与神经网络类似，但往往比神经网络有着更复杂的结构以及优化算法，是神经网络的纵向延伸，常见的模型有CNN, RNN, LSTM等。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

下面的图片很好地描述了这三者之间的关系

机器学习简介

ML

神经网络基础

好的入门博文：神经网络入门

神经网络实践与理解：tensorflow游乐场

神经网络的详细理解：吴恩达神经网络

自己的板书:ml_nn

pytorch的相关介绍

pytorch是python的第三方库，是由facebook开源的神经网络框架，并有专门针对GPU加速模型训练的模块。与tensorflow不同，pytorch编程简洁，接口简单，且速度不逊色于其他框架，是当前神经网络最简洁，高效的实现方法之一。

好的博文：知乎pytorch