神经网络
外观
- 生物神经网络(Biological Neural Networks)一般指生物的大脑神经元,细胞,触点等组成的网络,用于产生生物的意识,帮助生物进行思考和行动。
- 人工神经网络(类神经网络/Artificial Neural Networks)一般是指用计算机 模拟 人脑的结构,用许多小的处理单元模拟生物的神经元,用算法实现人脑的识别、记忆、思考过程。应用于图像、语言、声音等的识别,复杂的计算,以及趋势预测等领域。
生物神经网络
历史
- 1872年,意大利的医学院毕业生高基,在一次意外中,将脑块掉落在硝酸银溶液中。数周后,他以显微镜观察此脑块,成就了神经科学史上重大里程碑 --“首次以肉眼看到神经细胞”。
基本构造
人工神经网络
简介
是一种仿生学科。利用线性代数的方法模拟神经元/神经元网的工作过程,对一个向量进行线性变换和非线性变换,得到这个向量的分类。 示意图:
- a1~an为输入向量的各个分量
- w1~wn为神经元各个突触的权值
- b为偏置
- f为传递函数,通常为非线性函数
- t为神经元输出
数学表示 t=f(WA'+b)
- W为权向量
- A为输入向量,A'为A向量的转置
- b为偏置
- f为传递函数
历史
- 1943年,神经生物学家 Warren McCulloch 和数学家 Walter Pitts ,在论文中提出以电路构成简单类神经网络模型的构想。
- 1949年,Donald Hebb 加强了前人的观念,并出版成书,该书中重要的概念为:“神经连结路径会随着被使用的次数而增强”。
- 1950年代,IBM实验室成员 Nathaniael Rochester,做了第一次失败的实做,但是在接续的实验中获得成功,此后,相关的研究便如火如荼地展开。
- 1956年,Dartmouth Summer Research Project 以类神经网络做基础与当时的人工智能研究做结合。