《数学之美》读书笔记

《数学之美》读书笔记
《数学之美》读书笔记1
读完本书，第一感受：次奥！原来数学如此多的原理模型概念都可以用去解决各种IT技术问题啊。

特别是语言识别和自然语言处理这类问题完全就是建立在数学原理之上的。

总之，这本书就是用非常深入浅出的话去说明如何用数学方法去解决计算机的各种工程问题。

这是一本讲道，而不是术的书。

要完全读懂这本书，我觉得至少需要掌握这三门课：高等数学，离散数学，还有概率论与数理统计。

唉..我当初数学学得太水了，还挂了高数啊...有好的概念没看懂，以后有时间在好好看吧。

如果想搞计算机研究的话，数学基础必不可少，别总在抱怨各种数学课上的东西一辈子都用不着。

发现作者对人类自然发展的认识非常深，其从语言，文字，数学的产生发展，信息的传播记录得出了这个结论：信息的产生传播接收反馈，和今天最先进的通信在原理上没有任何差别。

就算是科学上最高深的技术，那也是模拟我们生活中的一些基本原理。

我们今天使用的十进制，就是我们扳手指扳了十次，就进一次位。

而玛雅文明他们数完了手指和脚指才开始进位，所以他们用的是二十进制。

实际上阿拉伯数字是古印度人发明的，只是欧洲人不知道这些数字的真正发明人是古印度，而就把这功劳该给了“二道贩子”阿拉伯人。

语言的数学本质
任何一种语言都是一种编码方式，比如我们把一个要表达的意思，通过语言一句话表达出来，就是利用编码方式对头脑中的信息做了一次编码，编码的结果就是一串文字，听者则用这语言的解码方法获得说话者要表达的信息。

自然语言处理模型
计算机是很笨的，他们唯一会做的就是计算。

自然语言处理在数学模型上是基于统计的，说一个句子是否合理，就看看他出现的可能性大小如何，可能性就是用概率来衡量，比如一个句子，出现的概率为1/10^10,另一个句子出现的概率为1/10^20,那么我们就可以说第一个句子比第二个句子更加合理。

当然这要求有足够的观测值，他有大数定理在背后支持。

最早的中文分词方法
这句话：“同学们呆在图书馆看书”，如何分词？应该是这样：同学们/呆在/图书馆/看书.最先的方法是北航一老师提出的方法，就是把句子从左道右扫描一遍，遇到字典里面出现的词就标示出来，遇到复合词如（北京大学）就按照最长的分词匹配，遇到不认识的字串就分割成单个字，于是中文的分词就完成了。

但是这只能解决78成的分词问题，但是“像发展中国家”这种短语它是分不出来的。

后来大陆用基于统计语言模型方法才解决了。

隐含马可夫模型（没这么看懂）
一直被认为是解决打多数自然语言处理问题最为快速有效的方法，大致意思是：随机过程中各个状态的概率分布，只与他的前一个状态有关。

比如对于天气预报，我们只假设今天的气温只与昨天有关而与前天没有关系，这虽然不完美，但是以前不好解决的问题都可以给出近视值了。

一个让我印象深刻的观点：
小学生和中学生其实没有必要花那么多时间去读书，其觉得最主要的是孩子们的社会经验，生活能力，和那时候树立起来的志向，这将帮助他们一生。

而中学生阶段花很多时间比同伴多读的课程，在大学以后可以用非常短的时间就可以读完。

因为在大学阶段，人的理解能力要强很多，比如中学要花500小时才能搞明白的内容，大学可能花100小时就搞定了。

学习和教育是一个人一辈子的事情，很多中学成绩好的人进入大学后有些就表现不太好了，要有不断学习的动力才行。

余弦定理和新闻分类
我在新浪干过一年多新闻，这篇认真看了一篇，很吃惊原理cos x与新闻分析也有关系啊。

google的新闻服务是由计算机自动整理分类的。

而传统的媒体如门户是让编辑读懂新闻，找到主题，再分类分级别的，真苦逼啊...计算机自动分类原理是这样：如一篇新闻有10000个词，组成一个万维向量，这个向量就代表这篇新闻，可以通过某种算法表达这个新闻主题的类型，如果两个向量的方向一致，说明对应的新闻用词一致，方向可用夹角表示，夹角可用余弦定理表示，所以当夹角的余弦值接近于1时，这两篇新闻就可以归为一类了。

没看懂的东西：
布尔代数：布尔代数把逻辑学和数学合二为一，给了我们一个全新的视角看世界...
网络爬虫的基本原来是利用了图论的广度优先搜索和深度优先搜索...
搜索引擎的结果排名用了稀疏矩阵的计算...
地图最基本的计算是利用了有限状态机和图论的最短路径...
密码学原理，最大熵模型，拼音输入法的数学模型，布隆过滤器，贝叶斯网络等等...
任何事物都有它的发展规律，当我们认识了规律后，应当在生活工作中遵循规律，希望大家透过IT规律的认识，可以举一反三的总结学习认识规律，这样有助于自己的境界提升一个层次。

任何问题总是能找到相应的准确数学模型，一个正确的数学模型在形式上应当是简单的，一个好的方法在形式上应当也是简单的。

简单才是美。

《数学之美》读书笔记2
很多人都觉得，数学是一个太高深、太理论的学科，不接近生活，对我们大多数人来说平时也根本用不到，所以没必要去理解数学。

但事情真的是这样吗?
其实不然，数学一直渗透在我们生活的各个方面，尤其是在今天这个信息时代，很多简单朴素的数学思想，能发挥一般人很难想象的巨大作用。

比如，计算机处理自然语言，用到的最重要工具是统计学的思想;计算机对新闻内容的分类，依靠的是数学里的余弦定理;而电子电路的基本逻辑，则________于仅有0和1两个数字的布尔代数。

在《数学之美》里，吴军用自己在工作中使用数学的亲身经历，为我们展现了数学的重要性，以及他对数学之美的理解。

吴军是“得到”App专栏《吴军的谷歌方法论》的主理人。

曾先后供职于谷歌和腾讯，是著名的自然语言处理专家和搜索专家。

同时，他还是位畅销书作家，除了这本《数学之美》以外，还写过《文明之光》《智能时代》《浪潮之巅》等多本畅销书。

《数学之美》读书笔记3
我是在读了吴军博士的《浪潮之巅》之后，发现推荐了《数学之美》这本书。

我到豆瓣读书上看了看评价，就果断在当当上下单买了一本研读。

本来我以为这是一本充满各种数学专业术语的书，读后让我非常震撼的是吴军博士居然能用非常通俗的语言将自然语言处理等高深理论解释的相当简单。

在李开复博士之后，吴军博士又成为了目前备受瞩目的具有深厚技术背景的作家。

对于我来说，读这本书有扫盲的功效，让我知道了很多以前不知道的东西。

我的想法是在研究生阶段，不只局限于导师的研究方向，通过更加广泛的涉猎知识，去寻找一个自己喜欢的研究领域。

如果找到了这样一个领域，那么我就读博士。

如果没有的话，那么我想还是工作算了。

1、学科之间的`联系是如此的重要
全书主要是围绕着吴军博士所研究的自然语言处理方向来讲述一些应用在这个研究领域的数学知识，用了很大篇幅讲解了将通信的原理应用到自然语言处理上所取得的'巨大成功。

以前学习计算机网络的时候，学过一个香农定理。

对香农的认识就从香农定理开始，因为考研会考相关的计算题。

看了这本书才知道，香农的《信息论》对今天的影响真的是不可估量。

通过这样一个过程，我也对以前的本科学校的学科建设产生了一些忧虑。

对于培养计算机人才来说，无论是培养应用型人才，还是培养研究型人才，都应该与电子、通信有一定的交叉，这样对学生思考问题的启发与视野的开阔有着重要的作用。

计算机本身就是从电子、通信、数学等学科中抽出来的新兴的学科，在发展了多年之后，我们发现它仍然需要继承一些传统。

回想自己的本科四年，上的更多的课时
语言类、技术类的课程，这些课程的确对提升学生的就业有很大帮助。

但是我想说的是，一个忽视数学基础、学科交叉的学校，他无法成为一所国内的一流大学。

作为一个母校培养的学生，我深知改革的阻力与困难，但是我希望母校的计算机学院能越办越好。

我们现在已经培养出很多高薪优秀的技术人才，我希望将来也能培养出更多的研究型人才。

2、看起来很牛的东西却用着难以置信的简单数学原理
在整本书中让我最为印象深刻的是解释Google搜索的原理，居然就是简单的布尔代数运算。

这个的确让我大跌眼镜，我一直认为搜索时一个非常复杂而庞大的问题，其数学原理也是相当高深的，但是吴军博士的解释让我大开眼界。

与此同时也知道了Google为什么牛，牛在哪了。

搜索的原理虽然非常简单，但是搜索是一个需要对海量数据进行操作的工作。

Google在海量数据的处理方面的确是相当先进的，MapReduce、BigTable等等一些技术的发明与应用使得Google 在搜索上无出其右。

目前分布式存储、分布式计算、数据仓库与存储等研究领域近些年来的大热也说明Google在引领研究方向上的超凡本领。

3、感谢概率老师的教诲
在大二的时候，有一个在我们学生中声望很高的概率老师，他在课程即将结束的时候跟我们说我们将的是前几章，这些事概率论与数理统计的基础。

对于你们计算机的学生来时，后面的章节才是最有用的，以后一定要好好的研究，弄上一两个在你的毕业设计上就会让你毕业设计提升一个档次，有可能验收你毕业设计的老师也不懂。

我当时对他的话没有特别在意，我只关心期末考试要考哪些题目，因为我那个学期的概率课基本上都在睡觉，只有他讲笑话的时候不睡。

我看《数学之美》后发现马尔科夫链、贝叶斯网络之后，对以前的概率老师充满无限的敬意。

我发现我们再本科阶段学习的《高等数学》、《线性代数》、《概率论与数理统计》在计算机学科应用较多的要数概率论与数理统计，还有一门我学的不好的《离散数学》在计算机中也是有着举足轻重的地位。

我在看米歇尔的《机器学习》时也发现很多熟悉的概率论与数理统计的知识，这让我不得不开始考虑重新弥补自己的数学短板。

我的想法是在研一这一年把概率论与数理统计、线性代数、离散数学尽我最大的努力补一补，希望他们对我今后的学习有所帮助。

4、说说作者吴军博士
吴军博士写的书对于学习计算机的学生来说，读起来有种说不出的亲切感。

可能这跟他是技术出身的原因有关，流畅的文笔、质朴的文风也让人读起来很舒服。

看高晓松在优酷上的《晓说》就知道，在硅谷有着众多的华裔工程师，他们很多都来自清华、北大等国内的名牌大学，这些人在美国实现着自己的梦想。

吴军博士也曾是这其中的一员，我非常希望那些像吴军博士一样的牛人们能够写书或者来国内的大学做一些演讲、论坛等等，开阔一下我们的视野，传授一下做学问的经验。

与此同时，我也在想为什么我们国家那么多优秀的IT人才都去了美国。

这个问题在我去苹果公司在东软信息学院组织的培训过程中得到了答案，那个南京邮电的老师讲了讲中国为什么不像美国那么有创造力。

我们中国人并不缺乏创造力，很多时候是我们所处的外部环境恰恰阻碍了创新。

我想那么多优秀的清华北大学子纷纷到大洋彼岸的美国，正是被美国开放的学术环境、创新氛围所
吸引，每个人都有自己的梦想，他们去美国也是为了能实现自己的梦想。

以前都觉得他们是不爱国，现在长大了，对于这个问题看得更清楚了一点。

我想说我们的祖国在经历了改革开放30多年的飞速发展之后，目前正处于一个关键和脆弱的时期。

我们靠着人口红利取得了巨大的成就，我们能不能凭借人才红利取得更大的成就还是未知。

希望有更多的人才能像李开复博士、吴军博士那样，为我们这个民族青年的成长和国家发展做出贡献。

《数学之美》读书笔记4
《数学之美》是一本领域相关的数学概念书，生动形象地讲解了关于数据挖掘、文本检索等方面的基础知识，可以作为数据挖掘、文本检索的入门普及书。

另外，就像作者吴军老师提到的，关键是要从中学到道----解决问题的方法，而不仅仅是术。

书中也启发式的引导读者形成自己解决问题的道。

下面记录一下自己读这本书的一些感想：
第一章《文字和语言vs数字和信息》：文字和语言中天然蕴藏着一些数学思想，数学可能不仅仅的是一门非常理科的知识，也是一种艺术。

另外，遇到一个复杂的问题时，可能生活中的一些常识，一些简单的思想会给你带来解决问题的灵感。

第二章《自然语言处理----从规则到统计》：试图模拟人脑处理语言的模式，基于语法规则，词性等进行语法分析、语义分析的自然语言处理有着很大的复杂度，而基于统计的语言模型很好的解决了自然语言处理的诸多难题。

人们认识这个过程，找到统计的方法经历了20多年，非常庆幸我们的前辈已经帮我们找到了正确的方法，不用我们再去苦苦摸索。

另外，这也说明在发现真理的过程中是充满坎坷的，感谢那些曾经奉献了青春的科学家。

自己以后遇到问题也不能轻易放弃，真正的成长是在解决问题的过程中。

事情不可能一帆风顺的，这是自然界的普遍真理吧！
第三章《统计语言模型》：自然语言的处理找到了一种合适的方法---基于统计的模型，概率论的知识开始发挥作用。

二元模型、三元模型、多元模型，模型元数越多，计算量越大，简单实用就是最好的。

对于某些不出现或出现次数很少的词，会有零概率问题，这是就要找到一数学方法给它一个很小的概率。

以前学概率论的时候觉的没什么用，现在开始发现这些知识可能就是你以后解决问题的利器。

最后引用作者__的最后一句话：数学的魅力就在于将复杂的问题简单化。

第四章《谈谈中文分词》：中文分词是将一句话分成一些词，这是以后进一步处理的基础。

从开始的到后来基于统计语言模型的分词，如今的中文分词算是一个已经解决的问题。

然而，针对不同的系统、不同的要求，分词的粒度和方法也不尽相同，还是针对具体的问题，提出针对该问题最好的方法。

没有什么是绝对的，掌握其中的道才是核心。

第五章《隐马尔科夫模型》：隐马尔科夫模型和概率论里面的马尔科夫链相似，就是该时刻的状态仅与前面某几个时刻的状态有关。

基于大量数据训练出相应的隐马尔科夫模型，就可以解决好多机器学习的问题，训练中会涉及到一些经典的算法(维特比算法等)。

关于这个模型，没有实际实现过，所以感觉好陌生，只是知道了些概率论讲过的原理而已。

第六章《信息的度量和作用》：信息论给出了信息的度量，它是基于概率的，概率越小，其不确定性越大，信息量就越大。

引入信息量就可以消除系统的不确定性，同理自然语言处理的大量问题就是找相关的信息。

信息熵的物理含义是对一个信息系统不确定性的度量，这一点与热力学中的熵概念相同，看似不同的学科之间也会有着很强的相似性。

事务之间是存在联系的，要学会借鉴其他知识。

第七章《贾里尼克和现代语言处理》：贾里尼克是为世界级的大师，不仅在于他的学术成就，更在于他的风范。

贾里尼克教授少年坎坷，也并非开始就投身到自然语言方面的研究，关键是他的思想和他的道。

贾里克尼教授治学严谨、用心对待自己的学生，对于学生的教导，教授告诉你最多的是“什么方法不好”，这很像听到的一句话“我不赞同你，但我支持你”。

贾里克尼教授一生专注学习，
最后在办公桌前过世了。

读了这章我总结出的一句话是“思想决定一个人的高度”。

在这章中对于少年时的教育，以下几点值得借鉴：
1、少年时期其实没有必要花那么多时间读书，他们的社会经验、生活能力以及在那时树立起的志向将帮助他们一生。

2、中学时花大量时间学会的内容，在大学用非常短的时间就可以读完，因为在大学阶段，人的理解力要强很多。

3、学习（和教育）是一个人一辈子的过程。

4、书本的内容可以早学，也可以晚学，但是错过了成长阶段却是无法补回来的。

第八章《简单之美----布尔代数和搜索引擎的索引》：布尔是19世纪英国的一位中学教师，但他的公开身份是啤酒商，提出好的思想的人不一定是大师。

简单的建立索引可以根据一个词是否在一个网页中出现而设置为0和1，为了适应索引访问的速度、附加的信息、更新要快速，改进了索引的建立，但原理上依然简单，等价于布尔运算。

牛顿的一句话“（人们）发觉真理在形式上从来是简单的，而不是复杂和含混的”。

做好搜索，最基本的要求是每天分析10-20个不好的搜索结果，积累一段时间才有感觉。

有时候，学习、处理问题，可以从不好的方面入手，效果可能更好。

第九章《图论和网络爬虫》：图的遍历分为“广度优先搜索
（Breadth-FirstSearch，简称BFS）”和“深度优先搜索（Depth-FirstSearch，简称DFS）。

互联网上有几百亿的网页，需要大量的服务器用来下载网页，需要协调这些服务器的任务，这就是网络设计和程序设计的艺术了。

另外对于简单的网页，没必要下载。

还需要存储一张哈希表来记录哪些网页已经存储过（如果记录每个网页的url，数量太多，这里可以用后面提到的信息指纹，只需要一个很多位的数字即可），避免重复下载。

另外，在图论出现的很长一段时间里，实际
需求的图只有几千个节点，那时图的遍历很简单，人们都没有怎么专门研究这个问题，随着互联网的出现，图的遍历一下子有了用武之地，很多数学方法就是这样，看上去没有什么用途，等到具体的应用出来了一下子开始派上大用场了，这可能就是世界上很多人毕生研究数学的原因吧。

一个系统看似整体简单，但里面的每个东西都可能是一个复杂的东西，需要很好的设计。

第十章《PageRank----Google的民主表决式网页排名技术》：搜索返回了成千上万条结果，如何为搜索结果排名？这取决与两组信息：关于网页的质量信息以及这个查询和每个网页的相关性信息。

PageRank算法来衡量一个网页的质量，该算法的思想是如果一个网页被很多其他网页所链接，说明它收到普遍的承认和信赖，那么它的排名就高。

谷歌的创始人佩奇和布林提出了该算法并用迭代的方法解决了这个问题。

PageRank在Google所有的算法中依然是至关重要的。

该算法并不难，可是当时只有佩奇和布林想到了，为什么呢？
第十一章《如何确定网页和查询的相关性》：构建一个搜索引擎的四个方面：如何自动下载网页、如何建立索引、如何衡量网页的质量以及确定一个网页和某个查询的相关性。

搜索关键词权重的科学度量TF—IDF，TF衡量一个词在一个网页中的权重，即词频。

IDF衡量一个词本身的权重，对主题的预测能力。

一个查询和该网页的相关性公式由词频的简单求和变成了加权求和，即
TF1__IDF1+TF2__IDF2+...+TFN__IDFN。

看似复杂的搜索引擎，里面的原理竟是这么简单！
第十二章《地图和本地搜索的最基本技术——有限状态机和动态规划》：地址的解析依靠有限状态机，当用户输入的地址不太标准或有错别字时，希望进行模糊匹配，提出了一种基于概率的有限状态机。

通用的有限状态机的程序不是很好写，要求很高，建议直接采用开源的代码。

图论中的动态规划问题可以用来解决两点间的最短路径问题，可以将一个“寻找全程最短路线”的问题，分解成一个个寻找局部最短路线的小问题。

有限状态机和动态规划问题需要看相关的算法讲解，才能深入理解，目前对其并未完全理解。

第十三章《GoogleAK-47的设计者——阿米特·辛格博士》：辛格坚持选择简单方案的一个原因是容易解释每一个步骤和方法背后的道理，这样不仅便于出了问题时查错，而且容易找到今后改进的目标。

辛格要求对于搜索质量的改进方法都要能说清楚理由，说不清楚理由的改进即使看上去有效也不会采用，因为这样将来可能是个隐患。

辛格非常鼓励年轻人要不怕失败，大胆尝试。

遵循简单的哲学。

第十四章《余弦定理和新闻的分类》：将新闻根据词的TF-IDF值组成新闻的特征向量，然后根据向量之间的余弦距离衡量两个特征之间的相似度，将新闻自动聚类。

另外根据词的不同位置，权重应该不同，比如标题的词权重明显应该大点。

大数据量的余弦计算也要考虑很多简化算法。

第十五章《矩阵运算和文本处理中的两个分类问题》：将大量的文本表示成文本和词汇的矩阵，然后对该矩阵进行奇异值SVD分解，可以得到隐含在其中的一些信息。

计算余弦相似度的一次迭代时间和奇异值分解的时间复杂度在一个数量级，但计算余弦相似度需要多次迭代。

另外，奇异值分解的一个问题是存储量大，而余弦定理的聚类则不需要。

奇异值分解得到的结果略显粗糙，实际工作中一般先进行奇异值分解得到粗分类结果，在利用余弦计算得到比较精确地结果。

我觉得这章讲的SVD有些地方不是很清楚，已向吴军老师请教了，等待回信。

第十六章《信息指纹及其应用》：信息指纹可以作为信息的唯一标识。

有很多信息指纹的产生方法，互联网加密要使用基于加密的伪随机数产生器，常用的算法有MD5或者SHA-1等标准。

信息指纹可以用来判定集合相同或基本相同。

YouTobe就用信息指纹来反盗版。

128位的指纹，1.8__10^19次才可能重复一次，所以重复的可能性几乎为0。

判定集合是否相同，从简单的逐个比对到利用信息指纹，复杂度降低了很多很多。

启发我们有时候要用变通的思想来解决问题。

第十七章《由电视剧《暗算》所想到的——谈谈密码学的数学原理》：RSA 加密算法，有两个完全不同的钥匙，一个用于加密，一个用于解密。

该算法里面蕴含着简单但不好理解的数学思想。

信息论在密码设计中的应用：当密码之间分。