Book of yushu: 学习

直方图的中心与散布

Sun, 17 Jun 2007 02:22:34 GMT

直方图可以用来概括大量数据。仅给出直方图的中心及关于中心的散布往往可能令概括更精炼。

平均数（各项之和/项数）和中位数（第50百分位数）往往被用来寻求中心。

标准差则度量关于平均数的散布程度。

标准差指出了数列中的数离它们平均数有多远。

散布的另一种测度是四分位数间距（它等于第75百分位数减去第25百分位数）

概率统计、数据可视化

Mon, 11 Jun 2007 07:09:09 GMT

概率和统计往往放在一块讲，有的时候很难区分，

比如掷一个骰子，1、2、3、4、5、6，出现1的机会是多少，这是概率。

至于如何得到这个结果：

概率学家会考虑建立一个模型，六个面的总和是1，因此每个面是1/6，这是概率学的思想，

如果是以统计学的思想，那么，先掷几十次骰子再说吧;-)

概率学家也许是些理想主义者，统计学家应该都是现实主义者，不过有哪个真正的理想主义者离得开现实呢？

---

数据可视化

数据可视化是指用图形或表格的形式来将信息显示出来。良好的数据可视化将数据（信息）转换成可视化形式，这样使得人们可以通过它分析或报告数据的特征与数据项或属性之间的关系。可视化的目标是对可视化信息进行解释以及形成信息的意境模型。使用可视化技术的首要动机是让人们能够根据图形快速地吸取大量可视化信息，并发现其中的模式。

可视化的第一步是将信息映射成可视形式，即将信息中的对象、属性和关联映射成可视的对象、属性和关联。换言之，数据对象、它们的属性，以及数据对象之间的关联要转换成诸如点、线、形状和颜色等图形元素。

对象通常用三种方法表示。

1、如果只考虑对象的单个分类属性，那么往往根据该属性的值将对象聚类，并将这些类作为表的项或屏幕的区域显示；

2、如果对象具有多个属性，则可将对象显示为表的一行（或列），或显示为图的一条线；

3、对象往往被解释为二维或三维空间中的点，其中，点可能用几何图形来表示，如圆圈、十字叉或方框。

可视化的主要难点是选择一种技术，使得关注的联系易于观察到。对于好的可视化来说，对象和属性的可视化表示的正确选择是基本的。在可视化显示中，项的安排也是至关重要的。

可视化的另一个关键概念是选择（selection），即删除或不突出某些对象和属性。处理多属性的最常用方法是选择一个属性子集（通常是两个属性）来表示。如果维度不太高，则可构造双变量（双属性）图矩阵来进行联合观察。选择一对（或少数）属性的技术是一类维归约，也有更复杂的维归约可以使用，如主成分分析（PCA）或Kohonen网络。

下面介绍一些常见的可视化表示方式（为方便起见，没有附上图形）：

茎叶图（stem and leaf plot）

可以用来窥视一维整型或连续数据的分布。对于最简单的一类茎叶图，将值分组，其中每组包含的值除最后一位数字外相同。每个组成为茎，而组中的最后一位数字成为叶。因此，如果值是两位整数（如，35、36、42和51），则茎是高位数字（如，3、4和5），而叶是低位数字（如, 1、2、5和6）。通过垂直绘制茎，水平绘制叶，可以提供数据分布的可视表示。

条形图（bar chart）

通过将可能的值分散到块中，块的所有区间等宽，落入每个块中的对象数正比于条形的高度。条形图显示属性值的分布。对于分类属性，每个值在一个块中，如果导致过多的值，则使用某种方法将值合并；对于连续属性，将值域划分成块，并对每个箱中的值计数（这两种属性的处理方式也适用于直方图）。

直方图（histogram）
1、直方图是用面积而不是高度来表示数（与条形图的区别，但我看到许多书籍将两者混淆）；
2、直方图由一组块组成，每个块的面积表示在相应的小组区间中事例的百分数；
3、直方图采用密度尺度，每个块的高度等于相应小组区间中事例的百分数除以该区间长度；
4、直方图采用密度尺度，面积呈现为百分数，总面积是100%；
5、直方图下的两个数值之间的面积给出了落在该区间内事例的百分数。

直方图有一些变形。相对频率直方图（relative frequency histogram）用相对频率取代计数，然而，这只是一种y轴尺度的变化，直方图的形状并不改变。另一种常见的变形是Pareto直方图（Pareto histogram），它专门针对无序的分类数据，Pareto直方图与普通直方图一样，只是分类按计数排序，使得计数从左到右递减。二维直方图（two-dimensional histogram）也是可能的。每个属性划分成区间，而两个区间集定义值的二维长方体。

饼图（pie chart，圆形分格统计图表）

类似于直方图，但通常用于具有相对较少的值的分类属性（这是其缺点）。饼图使用圆的相对面积显示不同值的相对频率，而不是像直方图、条形图那样使用条形的面积或高度，其优点是简洁且使用方便，适用大型资料。然而，尽管饼图在通俗文章中很常见，但是它们在技术性出版物中并不常用，因为相对面积的大小很难确定。在技术方面，直方图、条形图更可取。

盒状图（box plot）

另一种显示一维数值属性值分布的方法。盒的下端和上端分别指示第25和第75个百分位数，而盒中的线指示第50个百分位数的值，底部和顶部的尾线分别指示第10和第90个百分位数，离群值用“+”显示。盒状图相对紧凑，因此可以将许多盒状图放在一个图中。还可以使用占据较少空间的盒状图的简化版本。

双盲实验和中医

Wed, 23 May 2007 01:11:57 GMT

在中医中是否需要实施双盲实验？

一些中医的拥蹙认为这很迂腐，说：
任何技术手段的使用都是有范围的。在现代科技中或许双盲实验很具说服力，但它却完全不适于中医的检测！西医和中医的治病机理本身就有根本性的区别，你拿西医对付细菌和病毒的方法来检测中医岂不是贻笑大方？中医的验证没有别的，只有实际疗效，因为对每个人不同时段甚至天时地利人和都会有不同的辩证，这是一个动态的交互的智能过程！岂是尔等那种死板的西医治疗过程所能比的？
（http://post.baidu.com/f?kz=166135467）

sigh，“任何技术手段的使用都是有范围的”，这句话当然是没问题的，但也可以把这句话当作一句废话，接下来“在现代科技中或许双盲实验很具说服力，但它却完全不适于中医的检测！”就令人感到莫名其妙，尤其他居然用“西医和中医的治病机理本身就有根本性的区别”来作为论据，而双盲实验跟机制是没有任何关系的，它只是用来使结果避免受到主观性的控制，而不是“西医对付细菌和病毒的方法来检测中医”，接下来，又说“中医的验证没有别的，只有实际疗效”，是的，双盲实验就是用来验证疗效的，那为何说“它却完全不适于中医的检测”呢？

这全因缺乏科学精神所致。科学并非让人否定一切，譬如，它不能否定神的存在，也无法否定阴阳五行的存在，但，科学可以用来证实或否定一些事物，比如它可以用来否定力是使物体运动的原因等等，也可以证实某种药物是否有疗效。

阿西莫夫说：“即使亿万人的观察都认可了某个原理，但只要有一次观察和它相左或不符合，它就不得不被迫进行修订”；“原则之所以能站得住脚，那是因为它经受住了一次次新而更新的实验的检验，而且还要经受进一步归纳的不断检验。”对中医也是如此，不要说数千年来都是好的，那他就是好的。

而“因为对每个人不同时段甚至天时地利人和都会有不同的辩证，这是一个动态的交互的智能过程！岂是尔等那种死板的西医治疗过程所能比的？”似乎在说西医治病没有差别，但很显然西医并非对病人“一视同仁”，比如治疗心血管疾病药物有很多种，也是根据症状来区分的。

那位中医拥蹙也许还考虑了中医的望闻问切等等与病人之间的交流，确实，人与人之间的交流确实比机器那种冷冰冰的感觉好很多，心理因素对治疗疾病很重要，在《最年轻的科学》里面，刘易斯·托马斯说，人不喜欢陌生人的触摸，但病人不一样，他们需要以获取被关怀的感觉，他写了一件事，发生在他父亲身上，他父亲由于误开药治好了一位病人的病，结果那病人传播他父亲是神医的言语，在这种暗示之下，他父亲的病人很多都会感到他父亲开的药确实比其他医生强，当然，病也会治好了。人自身治愈的能力不可忽视，即使现在对AIDS毫无办法，依然有患者可以自己康复。但与病人的交流是医生的问题，并非仪器本身带来的。

我当然也会喜欢吃点淀粉（安慰剂）就治好病的情形，毕竟大多数药，不可避免要带来副作用，然而要验证药的有效性，除了双盲实验还有什么呢？

统计的问题

Tue, 22 May 2007 02:23:02 GMT

统计的问题

对冠心病患者服用安妥明的双盲实验中，发现结果：

----------------------------------------
|            |安妥明           |安慰剂         |
|            |人数   |死亡率 |人数   |死亡率|
----------------------------------------
|坚持者    |708   |15%    |1813 |15% |
|不坚持者 |357   |25%    |882   |28%  |
|整个组    |1103 |20%   |2789 |21%  |
----------------------------------------

结论：
(1)安妥明没有效果
(2)坚持者与不坚持者有所不同

在这个例子当中，统计得出的结论还是比较清晰的，然而许多事实不可避免地有较多的混杂因素。

比如宫颈癌和包皮切割
20世纪50年代，一些流行病研究专家发现犹太人及穆斯林少见宫颈癌，因此一些研究者推断男性包皮切除是一种防护性因素。然而由于有些妇女性欲较旺盛且有较多情人，似乎她们得宫颈癌高于别人，如此等等的混杂变量将导致错误结论。

最有趣的是学生入学性别歧视问题
一所大学有A,B两个学院，申请该校的有2000男生，申请A,B学院一半对一半，而申请该校的1100女生中，100人申请A而1000人申请B。A录取60%男生和60%的女生，而B录取了30%男生及30%女生。最后发现，申请该校的男生被录取的比例是45%，而申请该校的女生被录取的比例为32.7%
结论是：该校歧视女生

问题搞大了。。。。。。

有一本书叫“How to Lie With Statistics”（作者：Darrell Huff），可惜看不到。

事实上，研究者可以将两种因素建立关联，但关联性未必成为因果关系。然而这些因素可能一开始就影响受试验对象进入处理组还是对照组，从而导致观察者在研究因果关系上或多或少被导入歧途。

对照实验

Mon, 21 May 2007 03:32:49 GMT

一种新药问世。如何设计实验测试其结果呢？

最基本的办法是比较。通常，不与其他事物比较就很难正确判断处理的效果。

如果除了处理这一点外，处理组与对照组完全相同，那么这两个组反应的差别就很可能应归因于处理的效果。

为保证处理组与对照组相同，研究者随机地将实验对象分到处理组与对照组中。在随机对照实验就是这样做的。

单盲实验与双盲实验在新药的早期实验中，研究者虽然可以按经典实验设计的方式，采取用处理组和控制组进行比较的方法来控制和排除偏误，即对处理组给予新药，而对控制组则不给予新药。

通过将两组病人的治疗效果进行对比，可以得出这种新药的效果来。但是，即使采用这种控制和比较，仍然有产生偏误的可能。因为它没有控制住某种心理因素的影响。

为了控制这种宽慰效果的影响，真正得出新药的效果，研究者首先采用“单盲设计”，即采用给控制组吃“安慰剂” (一种无毒无害无任何作用的物质)的方法。这样，两组病人并不知道他们所吃的究竟是新药，还是“安慰剂”，因而他们受到的心理影响或精神作用是一样的。此时再将两组病人的结果进行对比，就可以得出新药的效果了。

然而，即使研究者采用了“安慰剂”的办法，还是可能会有偏性产生。这是因为研究者的期待对实验结果产生影响。在新药效果实验中，它会导致实验人员自觉不自觉地“看到”处理组的病人“病情好转”。

反应应当是针对处理本身而不是处理的想法。

所谓双盲实验(double-blind experiments)，指的是在一项实验中，实验剌激对于实验对象和参与实验的观察人员来说都是未知的。即究竟是处理组还是控制组被给予了实验刺激，参与实验的双方(指实验对象和实验人员)都不知道，实验剌激是由实验人员和实验对象以外的第三者任意分派和给定的。

在双盲实验中，实验对象不知道自己在处理组还是在对照组中；那些评估反应的人也不知道这点。这样就防止了反应中或评估中的偏性。

基础统计学笔记（07）

Thu, 24 Nov 2005 15:33:50 GMT

随机变量：定义于样本空间的实值函数

分布函数：对一切实数b，从无穷小到无穷大，F(b)=P{X=<b}所定义的函数F称随机变量X的累积分布函数，或简称为分布函数

离散型，随机变量数目可数

贝努利随机变量

二项随机变量

Poisson随机变量

几何随机变量

负二项随机变量

超几何随机变量

Zipf分布，或Zeta分布

当我看到连续型分布函数的时候，我才发现量子力学中所说的几率波属于这种分布

跟我们通常所直观了解的几率并非一样，后者属于离散型

当缺乏数学概念的时候，很多知识其实都没有真正把握

对那些统计学习工具、机器学习工具的使用也就只能停留在使用上面

当然用的也不好

基础统计学笔记（06）

Thu, 17 Nov 2005 09:33:00 GMT

概率论的一个重要概念是条件独立性。

如果在已知F发生的条件下，E1发生的概率不因E2是否发生而改变，

则E1与E2对于给定的F是条件独立的。

用公式可以表示为：

如果

P(E1|E2F)=P(E1|F)

P(E1E2|F)=P(E1|F)P(E2|F)

一个有趣的准则是Laplace继承准则：

盒中有（k+1）枚不均匀硬币，抛第i枚硬币时，正面出现的概率是i/k，i=1，2，……，k

从盒中随机取出一枚硬币反复抛掷，若前n次结果皆为正面，

问第（n+1）次仍抛出正面的概率是多少。

设Ei表示开始取出的是第i枚硬币这一个事件

Fn表示前n次都抛出正面的事件

F表示第（n+1）次抛出正面的事件

那么

P(F|Fn)等于P(F|FnEi)P(Ei|Fn)的0~k求和

假设各次抛出条件独立

P(F|FnEi)=P(F|Ei)=i/k

最后P(F|Fn)等于

(i/k)^(n+1)的0~k求和与(j/k)^n的0~k求和之商

k充分大的时候，P(F|Fn)约等于(n+1)/(n+2)

由此可以找到一个笑话：

如果一个孩子活了10岁，那么他再活一年的概率是11/12

而他80岁的爷爷再活一年的概率则是81/82

呵呵

基础统计学笔记（05）

Wed, 16 Nov 2005 14:21:36 GMT

条件概率定义设A, B是两个事件,且P(A)>0 称 P(B∣A)=P(AB)/P(A) 为在条件A下发生的条件事件B发生的条件概率。

需要知道一个Bayes公式，这个公式告诉我们，在试验之前，对这些假设条件所作的判断，如何根据实验结果来进行修改。

条件概率需要把握的是对条件，对信息的利用。

在概率论中有一个赌徒输光问题：甲乙两个赌徒接连抛掷一枚硬币赌钱，正面则甲赢一块钱，反面乙赢一块钱，一直赌到每个人输光钱为止。若假定接连抛掷硬币是相互独立的，且每一次出现正面的概率是p，开始甲有i元，乙有N-i元，求甲赢所有钱的概率。

论证有点繁，但是需要注意的是，赌博只有两种结果，甲胜，或者乙胜，即使是p=0．5也是这样的，不存在谁也不胜永远进行下去这种结果，直觉再一次欺骗了人们。

这个问题有一个特例，叫做赌博持续时间问题（甲乙各有12枚硬币，两人以掷3枚骰子的方式赌这些钱，若11出现，则甲给乙一枚硬币，若14出现，乙给甲一枚硬币，谁先赢所有的硬币就得胜），是费尔玛提出的，他和帕斯卡还分别独立对de Mere提出的分赌注问题（两个赌徒下了注，就以某种方式开始赌，规定胜者将得到所有赌注。但是中途因故中止，此时每人都得到了一些“不平衡比分”，那赌注该如何分？）提出了解法。

也许可以找到很多方法为自己的赌博获取更高可能性的获胜，

但是最好的方法就是不赌，成功可能需要运气，但是踏踏实实才是根本。

基础统计学笔记（04）

Wed, 16 Nov 2005 09:19:29 GMT

有时候，小概率事件却以远大于概率本身的机会发生

比如在意大利，某年，某妇女的父亲（或母亲）在某铁路交叉口被火车撞死

好像是10年后的同一天同一个时间（并没有精确到秒），她的姐姐在同一个地方被火车撞死

司机恰好是同一人！

哲学家常把“人不能同一次跨入同一条河流”挂在嘴边，当然我相信这不是同一条河流

促使概率研究蓬勃发展，并扩大其群众基础的行业是赌博行业

比如说，六合彩，其中奖机会比起纯计算的概率要高得多

我家那边有一次开奖，有十数人中奖，他们一起瓜分了1000多万

但是有的是其概率比人们想象的要大。

比方说，一个房子里面有n人，问n为多少的时候，其中任两人同一天生日的概率小于1/2

这可以通过求解下面公式得到：

365·364·……（365-n+1）/365^n

（m^n表示m的n次方）

n=23

这使很多人出乎意料，而更叫人吃惊的是，n=50，两人同天生日概率大于0．970

不过不好意思的是，我历年来的同班通学同一天生日好像没有达到这个概率

凡事都要靠实践来检验呵，须知

实践是检验真理的唯一标准

基本统计学笔记（03）

Wed, 16 Nov 2005 01:26:16 GMT

发现不用公式是没法表达下去了

对r不大于n，在这里记

C|n；r|=n！/[（n-r）！r！]

并称C|n；r|为，从n个对象中一次提取r个可能组合数。

若n1+n2+……+nr=n，记

C|n；n1，n2，……，nr|=n！/[n1！n2！……nr！]

表示将n个不同对象分成容量各为n1，n2，……，nr的r个不同的组的可能分法的总数。

基础统计学笔记（02）

Tue, 15 Nov 2005 01:44:25 GMT

概率中许多问题，只需要对某一特定事件的发生方式进行计数，便可解决。

这其实是排列组合问题，用术语来说是组合分析。

计数基本原理：r个试验，第一个试验有n1个可能结果，对前（i-1）个试验每一个可能结果，第i个试验有ni个可能结果，i=1，2，……，r，则这r个试验共有n1·n2·……·nr个可能结果。

集合

样本空间

事件

零事件

互不相容事件

概率

需要对术语有清晰的理解，有些术语的理解需要集合论的基本知识。

基础统计学笔记（01）

Mon, 14 Nov 2005 09:08:49 GMT

统计学分两种：

1．描述统计学

2．推理统计学

前者仅仅用统计学对数据进行描述。

但很多情况下，有必要从给定的统计显著性下进行数据比较，作出结论。这些检验方法属于后者。

描述是一种直观的过程，虽然推理过程也不失直观

描述可以用图形描述，这是最最直观的。

图形一般用2D、3D图形来表示，尤其是2D更加清晰，没办法，谁叫它简单呢？！

但是不能什么一上来就可以直接作图了，否则直接拿相机来就好。

比如随机数，我们可以用它在预先定义的区间内出现的频率作图，一般对象对频率作图。

作出的图有各种分布，比如

高斯分布、对数-正态分布、均匀分布、二项分布、Poisson分布等

这些分布的不同来源于它们由不同的数学公式来定义，于是我们完成了从具体到抽象到抽象之抽象过程

在这些种类繁多的图中，需要一些描述的参数

比如，位置参数，位置参数有很多种：

算术平均值、几何平均值、调和平均值、中位数、四分位数等等

其中很多又是一堆公式

肖申克救赎里面说一种体制化生活，在这里何尝不是一种公式化世界？

还需要了解一些概念：偏差、平均误差、标准偏差

这些描述了数据之间的差别

又来了一个术语化世界：（

还要知道置信区间，它描述了一个随机变量平均值的范围：）

描述统计学的最重要的细节可以用box-whisker-plots或简称为box-plot来表示。

它是沿着变量轴，标出坐标，分别以低端和高端四分位数为box的底和顶，box宽度不重要。

分析结果的不确定性可能有许多种来源，这可以通过误差传递的高斯定律得到。

误差跟不确定性这两个术语是有区别的。

误差描述了测量值与真值之间的差别，对于给定的测量可以用一个数值表示，理论上误差可以校正。

结果的不确定性则描述了一个范围，它对一组测量或全部测量有效，理论上不可校正。

乱弹

Fri, 11 Nov 2005 08:12:08 GMT

学习是一生的事情
尤其是时代的发展令知识更新更加迅速
而学习也是公众的事情
学习班遍地都是, 当然其中多是广告
所幸也有一些课程是开放性的
比如以前的函授和电视大学
然而学生们多是冲着学位或者证书而去
教育本身也随即变成了摇钱树
变味的是人心而非学习或者教育本身
形势大好, 人心大坏就是这个理
还是有一些与公众分享的课程的
比如麻省理工学院的开放教程(MIT OpenCourseWare)
教程可在
http://ocw.mit.edu/index.html
上面找到
虽然比起好好上课还是不及
但毕竟聊胜于无, 看看人家都学些什么