概率论的一些话题

新用户注册 | 用户登陆 | 刷新
论坛嘉宾: 萍踪浪迹 gauge 季候风

gauge


发表文章数: 596
内力值: 375/375
贡献度: 8310
人气: 1396

论坛嘉宾学术成员

概率论的一些话题 [文章类型: 原创]

先打个广告。会把以前贴过的一些相关内容收集到这里。
1,测度论和积分理论简介
2,概率理论
3,一些概率密度分布
4,Bayesian
5,Jaynes逻辑概率
等等

发表时间: 2007-01-10, 22:40:52 个人资料

萍踪浪迹


发表文章数: 1051
内力值: 453/453
贡献度: 9137
人气: 1200

客栈长老论坛嘉宾学术成员

Re: 概率论的一些话题 [文章类型: 原创]

期待~

漫漫长夜不知晓 日落云寒苦终宵
痴心未悟拈花笑 梦魂飞度同心桥

发表时间: 2007-01-11, 04:51:13 个人资料

gauge


发表文章数: 596
内力值: 375/375
贡献度: 8310
人气: 1396

论坛嘉宾学术成员

Re: 概率论的一些话题 [文章类型: 原创]

测度是体积的推广。我们先来看一下体积的性质,并由此导出测度需要满足的条件。

一个物体或者空间的一个区域A,其体积记作V(A),应该是一个非负的实数。首先,体积具有如下重要性质,若两个区域A,B互不相交,则V(A+B)=V(A)+V(B).这里我用A+B表示两个区域A,B的并集。这个性质称为体积的可加性。测度作为体积的推广也应该具有可加性。我们将要看到这是体积以及测度最本质的性质。其次,点、线、面的体积都等于0.所以应该允许一些子集的体积等于0.第三,3维空间自身的体积是无穷大,因而一般的测度也应该允许某些子集的测度为无穷大。

所以我们可以如下建立测度理论。给定一个大的集合,比如3维空间,或者一个微分流形等等,对这个集合的每一个子集A都指定一个数,即它的测度,也可称作体积,为方便起见,我们记之为V(A).当然这一指定方式需要满足一些条件,比如至少应该使得可加性成立,其次测度不可能是一个负数。因而集合的测度取值为0到正无穷大,即扩充的正实数集。

分析一下我们前面的讨论。注意到我们对每一个子集都指定了一个实数作为这个子集的测度。但是,这通常是做不到的,亦即,一般而言,不可能对一个集合的每一个子集都指定这样一个数并使得这一指定方式能够满足我们前面列出来的几个性质。事实上对3维空间或一般的欧几里得空间,如果我们要求单位立方体的体积等于1,那么不可能对每一个子集都赋予一个测度。因而测度只能定义在某些子集上,而不是全部的子集。这是建立测度理论总是要从集合运算开始的原因。

所以测度论的第一步就是讨论在哪些子集上赋予测度。我们从某些子集出发,通过集合运算-取并集、交集、余集-得到一些新的集合,这里的集合运算都是对有限多个集合来做的。比如对于3维空间,长方体肯定是有体积的,一些长方体的并集、交集以及余集都应该是有体积的。把所有这样得到的集合放到一起,我们很容易看出其中必定包括空集,因为集合A和A自身的余集的交集就是空集。所以我们认为空集也有体积,显然唯一合理的方式是对空集赋予体积0.

这样我们通过集合的有限并、交、补得到一些子集,并对其中的每一个赋予一个实数,即其测度并满足可加性,而且空集的测度为0.

我们继续考虑测度需要满足的性质。在数学分析中我们一般需要取极限。比如说,有无穷多个集合A1,A2,A3,...每一个都有测度,那么这些An的并集,设为A, 也应该具有测度。进而如果这些An是互不相交的,那么并集A的测度就应该是这些An的测度之和。这也是显然合理的要求。这个条件称为可列可加或可数可加。所谓可列或可数是指An的个数和自然数的个数相同。如果不对无穷作这样的限制,那么基本上就可以把所有的子集都构造出来。比如,3维空间,从长方体出发,通过集合的任意并、交、补可以得到3维空间的任意子集。这正是我们要避免的。所以我们在测度中讨论的集合运算最多允许
可数多个集合作并集、交集。

再比如说,有一系列的集合A1,A2,A3,...其中每一个都包含其后面的一个,亦即An 包含A(n+1). 假设An的测度为V(An),容易看出数列V(An)是单调减小的,这一列数有一个极限,这个极限记为a. 而集合的系列也可以作交集,因而一个合理的方式是这个交集也有测度,而且其测度就是a.

我们再来反思一下前面的过程。一开始我们只对有限多个集合进行操作。现在需要对可数无限多个进行操作。这样,我们构造可赋予测度的子集的过程就应该修正如下,从某些基本的子集出发,通过可数多个作并集、可数多个作并集、余集,如此得到的所有子集都应该是可赋予测度的。设大空间为X.
这个构造过程最终得到X的一些子集构成的集合,即W={A,B,C...},它在集合的可数并、可数交、取余集下是封闭的,在测度论中称之为一个sigma代数或sigma环,当然这并不是通常意义下的代数或环。注意到W中包含空集和大空间X自身。W中的元素称为可测集。

于是可赋予测度的对象已经构造出来了。接下来就是赋予测度。亦即对W中的每一个元素A都指定一个实数V(A)使得,
(1) V(A)的取值范围是0到正无穷大。
(2) V(A)满足可数可加性。
(3) 空集的测度为0.
这个V即称为(X,W)上的测度,(X,W,V)称为一个测度空间。一般而言我们还要求这个测度不是平凡的,亦即至少某个集合的测度不为0.因为一个显然的测度是对每一个集合A都赋予测度0.我们对这种平凡的测度没有兴趣。

注意到,我们只是描述了测度应该满足什么样的条件,还没有给出一个一般的获得测度的办法。通常
很难做到一开始就要求可数可加性。但是有限可加相对而言是比较容易验证的。所以测度论中要讨论如何从有限可加函数扩张为一个可数可加的测度。还有些技术上的事情要做,但并不困难。在此我们仅仅叙述结论:一个sigma代数上的有限可加取值非负的函数总是可以扩张成为一个可数可加的测度。换言之,扩张总是可行的。

这样我们对于测度就有了一个大致的印象,但是集合的运算还没有结束。测度为0的集合是很小的,自然而然地,0测集的任意子集仍然很小,也应该是0测集。但是,通过集合运算来扩充可测集的过程和赋予测度的过程可能不完全一致,从而使得某些0测集的子集并不包含在我们得到的sigma代数中。于是,我们需要再一次扩张sigma代数使得所有0测集的子集都被包含在一个更大的sigma代数中。从测度论的起点到现在,进行了数次集合的扩张,这是一些简单然而繁琐的技术工作,但是必不可少。有没有简单的一步到位的方法呢?现在看来没有,也看不到有任何希望可以简化这个步骤。但是容易证明我们现在得到的可测集以及其上的测度在某种意义下不能进一步扩张。

简言之,可测集以及其上的测度都可由一些简单的集合以及函数进行扩张得到的。从公理化的角度看,凡是满足上面几个性质的(X,W,V)都是测度空间,因而测度论中的所有定理都自然成立。

发表时间: 2007-01-12, 00:38:42 个人资料

卢昌海


发表文章数: 768
内力值: 416/416
贡献度: 7898
人气: 1737

站长客栈长老学术成员

Re: 概率论的一些话题 [文章类型: 原创]

好文章。gauge兄把这个系列放在小小的广告贴后面在计算人气时损失是很惨重的哦。:)

接下来的文章请在后面注一下“未完待续”及“完”吧,我在最后一篇发表后再收录,这比一有更新就update来得好,因为每次update都是用更完整(测度更大)的版本取代文集中的旧版本,每次取代都会导致文章的网址变更,这样重复可数多次,会使得已被google等收录的地址屡屡失效。

宠辱不惊,看庭前花开花落
去留无意,望天空云卷云舒

发表时间: 2007-01-12, 07:46:40 个人资料

ni_o


发表文章数: 33
内力值: 101/101
贡献度: 155
人气: 17

学术成员

Re: 概率论的一些话题 [文章类型: 原创]

谢谢。

期待逻辑概率。

命运取决于选择。

发表时间: 2007-01-12, 23:56:15 个人资料

星空浩淼


发表文章数: 799
内力值: 423/423
贡献度: 8426
人气: 1826

客栈长老学术成员

Re: 概率论的一些话题 [文章类型: 原创]

好文章!既通俗易懂,又不失严密性.
如果测度部分还没有讲完,下面可以着重讲一下它的一些应用例子,以及测度的推广(抽象测度或符号测度).

One may view the world with the p-eye and one may view it with the q-eye but if one opens both eyes simultaneously then one gets crazy

发表时间: 2007-01-13, 07:15:16 个人资料

星空浩淼


发表文章数: 799
内力值: 423/423
贡献度: 8426
人气: 1826

客栈长老学术成员

Re: 概率论的一些话题 [文章类型: 原创]

希望后面系列跟这篇一样通俗易懂.为了增添一点乐趣,还可以多多举例八卦一些概率逻辑方面的悖论:-).

One may view the world with the p-eye and one may view it with the q-eye but if one opens both eyes simultaneously then one gets crazy

发表时间: 2007-01-13, 07:23:31 个人资料

一剑断浪


发表文章数: 116
内力值: 153/153
贡献度: 502
人气: 284

学术成员

Re: 概率论的一些话题 [文章类型: 原创]

好久没来了 !
看样子又增加了不少的新人!
呵呵,也增加了不少我感兴趣的话题!
很期待gauge兄有关概率论方面的内容哦!

爱在孤独中绝望,在绝望中坚强!

发表时间: 2007-01-23, 02:10:41 个人资料

gauge


发表文章数: 596
内力值: 375/375
贡献度: 8310
人气: 1396

论坛嘉宾学术成员

Re: 概率论的一些话题 [文章类型: 原创]

过年去了,好久不来,结果忘了密码,忙了半天,结果发现是很简单的一个组合。完成一些计划过的内容。下面补充的是积分的相关部分。

1. 不可能象测度理论那样简单而又比较深入的介绍积分理论。因而我们下面的文字与其说是在介绍几分理论,不如说是对于积分理论的一个简要补充。我们不打算给出详细的定义以及证明,要给出这些内容,在这里既没有必要也做不到。另一方面,这也得益于Omni兄对这方面内容的很好的介绍,这使得我可以偷懒。总之,有兴趣的读者还得自己去啃。这里是一个很粗的线条。

2. Riemann积分与连续性。简要回顾如何定义一个函数的积分。

分割积分区域,或积分区间。

在分割得到的小区域上取一个点,计算函数在该点的值,以此函数值乘以区域的体积。得到函数在这个小区域上的积分的近似值。

把所有这些近似值加起来,得到函数积分的一个总体上的近似值。这个值依赖于区域的分割,以及如何在每一个小的区域中选取特定的点。

为了消除上述近似值和本来的积分之间的差异,我们取极限。极限过程为,分割区域的方式越来越细。通常这样叙述,分割得到的小区域的最大直径趋于0.如果得到的极限值不依赖于区域的分割方式以及小区域中点的选取方式,则称所得的极限为该函数的定积分。注意,这个极限不同于我们在微积分中通常见到的极限,为了描述这种极限过程,一般来说需要引入所谓的定向极限。当然不引入这个极限也没有关系,只不过在相应的证明中,将或多或少的用到定向极限的性质。

事实上,完整地叙述Riemann积分是一件很麻烦的事情。比如,在Riemann积分理论中,从来没有清楚地表明在所有的函数中,哪些函数是Riemann可积的。只有在引入了Lebesgue积分理论后才很好的解决了这个问题。再如,一列Riemann可积的函数取极限,不一定是Riemann可积的。亦即,所有Riemann可积函数在合理的极限运算下不封闭,这是一个很不好的性质。这表明,我们在Riemann积分下讨论问题,总是有一些研究对象会跑出Riemann积分的有效范围。如果我们把这些漏掉的东西加进来,可以证明,刚好就是Lebesgue积分。换言之,Lebesgue积分对于极限运算是封闭的。这一点,也就是泛函分析中距离空间的完备化。当然实际上,完备化可以更加一般,对于局部凸的拓扑线性空间都可以定义其完备化,亦即可以抛开距离结构谈论极限运算的完备与否。

Dirichlet函数没有Riemann意义下的定积分。这表明如果在很小的区域上函数的震动很激烈,则定积分可能不存在。实际上,由Riemann积分的定义也可以看出这一点。

定理,Riemann可积的函数几乎处处连续。

3. Stieljes积分。实直线$\Bbb{R}$上的单调函数$F(x)$.定义了一个Stieljes测度。

可推广到有界变差函数。

4. Lebesgue积分,转换公式
$\int_\Omega fd\mu=\int_{-\infty}^\infty xdF(x)$.
其中,$F(x)=\mu\{\omega|f(\omega)\leq x\}$. 上述公式的左边为Lebesgue积分,右边为Stieljes积分。这个公式实际上相当于Lebesgue积分的定义。Riemann积分的定义中,需要对积分的区域进行分割。在Lebesgue积分中,先对函数的值域进行分割,这个分割诱导了积分空间的分割。

5. 函数空间。可测函数空间,可积函数空间,$L^p$空间,$L^\infty$.
Banach空间,泛函分析。

可测函数全体构成的集合,称为可测函数空间,这是一个线性空间。亦即,若$f,g$为可测函数,$a,b$为实数,则$af+bg$也是可测函数。实际上两个可测函数的乘积$fg$也是可测的。

积分存在的函数称为可积函数。全体可积函数的全体构成的集合称为可积函数空间。

设$f$为可测函数,若$|f|^p$可积,则称$f$为$L^p$函数。全体$L^p$函数构成的集合记作$L^p(X)$.对于$f\in L^p(X)$,定义$\|f\|_p=\int_X|f|^pf(x)\mu(dx)$.则可以验证$\|\|_p$为$L^p(X)$上的一个范数,$L^p(X)$在这个范数下成为一个Banach空间。

因而积分理论必然导致泛函分析。

6. 反过来,我们也可以从纯粹泛函分析的方式来定义Lebesgue积分。完备化。这对于学过泛函分析的读者是很容易的。


7. 收敛性。几乎处处收敛,依测度收敛,$L^p$范数收敛。

设$f,f_n$是一列可测函数,对于$x\in X$, $f(x),f_n(x)$是一列实数,因而可以谈论这一列实数的收敛性。考虑使得$f_n(x)$收敛到$f(x)$的全体$x$构成的集合,如果这个集合与全空间$X$仅仅相差一个0测集,亦即对几乎所有的$x\in X$, $f_n(x)$都收敛到$f(x)$, 则称$f_n$几乎处处收敛到$f$.

依测度收敛。

$L^p$收敛。

对于初学测度论、积分理论以及泛函分析的人来说,一个很麻烦的地方是各种各样的收敛性。比如在此,我们看到有3种不同的收敛性。为什么要引入这么多的各式各样的品种繁多的极限以及相应的收敛性呢?原因很简单。首先,有某种收敛性比没有好。其次,不是所有的极限都可以统一处理。再举一个简单的例子。考虑如下序列。
(1,0,0,0,0,…)
(0,1,0,0,0,…)
(0,0,1,0,0,…)
(0,0,0,1,0,…)
(0,0,0,0,1,…)

注意到,这个序列中的每一个都是一个单位长度的向量,无限维向量。一方面,这一列向量的长度都等于1,不可能收敛到0. 另一方面,这些向量似乎又收敛到0. 实际上,用极限来叙述,上述序列不可能在范数的意义下收敛到0,但是弱收敛到0.
上面的例子可以更具体。考虑$[0,2\pi]$上的三角函数序列$\sin nx,n=1,2,\cdots$.这个序列也是弱收敛到0,但是不是在范数意义下强收敛的。

注意,向量的范数就是向量的长度。另外,对这些收敛性有兴趣的读者可自行参考泛函分析,我们不一一列举其定义。

8. 测度与拓扑,Borel测度。这是测度理论与拓扑理论的结合。国内的测度论方面的教科书一般都不介绍拓扑空间上的测度论。回顾,测度理论首先需要讨论哪些集合是可测的。拓扑空间上的Borel可测集,是由那些有拓扑意义的集合,亦即开集和闭集出发,通过集合的可数交和可数并得到的集合。当然也可以由紧致子集出发来构造可测集,这样得到的是Baire可测集。这个理论本身并不复杂。

9. Riesz表示定理。局部紧Hausdorff拓扑空间上的正线性泛函来自于一个Borel测度。

Gelfand-Grothendieck-Connes’s idea:用函数空间来反映底空间的性质。Riesz表示定理可以看作这个庞然大物的一个前奏,或者说一个注释。实际上泛函分析中还有很多这种定理。

10. 测度与群结构,Haar测度。这是测度结构与群结构想结合产生的。基本的结论是局部紧群上存在一个在群乘法下不变的测度。确切地说应该是左乘,当然也可以是右乘,但对于非幺模群,不可能同时在左右乘积下不变。

11. 取值在线性空间上的函数的积分,这个线形空间一般而言是无限维的。通常称为Pettis积分。由于需要定义极限,所以不可能是单纯的线性空间,而是定义了极限的线性空间,这等价于一个拓扑线性空间。

12. 微分形式的积分。与基于测度的积分不同的另一种积分。可回顾在通常的高等数学中介绍的第二类积分。实际上,微分形式的积分可以用基于测度的积分来描述。

发表时间: 2007-02-27, 23:02:18 个人资料
您尚未登陆 | 用户登陆