星空浩淼
发表文章数: 1743
武功等级: 九阳神功
(第五重)
内力值: 617/617
散谈信息、熵和秩序（原创）
散谈信息、熵和秩序
星空浩淼
申侬对信息量的定义，是用事件发生概率大小来定义的，而不是用信息的储存和传递所占用的资源大小来衡量的（其实后者才是我们通常说的信息量大小：计算机和网络中的信息量，依赖于编码长度，通常二进制只有0和1，认定0和1出现的概率一样——从而都是1/2，因为概率在0与1之间，信息量是对概率取2的对数并且加一个负号，以保证信息量取正值，并且0和1都对应一个比特。概率相乘对应对数相加，以此来计算一个字节或一个文件的大小。我说的所有这些，能让你知道你的文件大小为多少个K多少个M是怎么回事，这是你在书上是难以找到的来龙去脉。由于符号串中，0和1看作是等概率出现的，所以申侬信息度量其实没有用上，信息量其实就是信息编码所占用的资源大小）。
例如，
1）太阳从西边落下
2）拉登被抓到了
这两条内容，如果用信息的储存和传递所占用的资源大小来比较，二者的“信息量”可能差不多；但是从申侬的信息量定义来说，1）的信息量为零（发生概率为1），2）的信息量大于0（发生概率越小信息量越大）。而且申侬的信息量定义有相对性，对于不同的接受信息主体而言，信息量是不同的。例如对于已经知道消息的人而言，信息量为零。另外，一般事件的概率大小是没有通用的计算方法的，有的事件概率根本就无法计算。这些也是申侬的信息量定义的缺陷。
由于申侬的信息量定义基于事件发生的概率，人们基于对熵的统计定义的理解（我觉得，所有熵概念的推广，都是基于对熵的统计解释的理解），于是就有了“信息熵”这种概念。前面讲过，申侬的信息量定义依赖于认识者主体，而且实际上在信息理论技术中并没有用上。因此在我看来，可以带来负熵的东西，与其说是信息，不如说是结构与有序（对称破缺相）——只有把结构和序以信息形式进行储存和传递时，才能说信息携带负熵。当然在这个意义上，我们把信息等同于结构和序的载体。
物理学家Schrodinger有一天突然意识到：这个世界不仅仅是物质的，其实应该是“物质+能量+信息”的三位一体。宇宙好比一个大厦，物质和能量是构建大厦的砖块，而信息则是大厦的设计图纸。说实话，这多少有些利于“物质+灵魂”的二元论哲学，也许存在人类智慧之类的东西，就在于世界不仅仅是物质的，也是信息的缘故，前者对应载体，后者对应秩序和规则。狭义相对论的产生，让人们认为物质和能量是一回事。也许这还是一种错觉：这或许不过是物质和能量之间的一种相互度量时的比例关系，物质是载体，能量代表一种“运动”（光子被称作“能量子”其实是有含义的，如果你看过大师作品的话就知道），所以更准确地说，这世界是“物质+运动+信息”，或者“肉体+变化+秩序”。年轻人吃得多却长得瘦，但精力旺盛，在长大形成身体结构；岁数大的吃得少些，却只长胖，但总是感觉精力不济，不知这个是不是这样：前者吃食物主要获取负熵，后者则主要获取能量了？Schrodinger认为（“生命的本质”一书是他的经典作品），生命的本质是信息，让遗传信息通过物质能量载体传下去。人从父母那里得到的主要是信息，而身体主要靠后天吸收外界物质能量而长大的。按照物理学家们的观点，远离平衡和非线性是有序之源。
（欢迎抛砖头）
持之以恒就是胜利
| 发表时间：2004-10-20, 05:10:23 |
 作者资料
|
sage
发表文章数: 1125
武功等级: 天山六阳掌
(第六重)
内力值: 535/535
Re: 散谈信息、熵和秩序（原创）
Great. I have been wondering about information theory for a long time.
Let me ask you some really stupid question. We know that in statistical mechanics, entropy is just the volume of the phase space. Therefore, large volume corresponds to large entropy. On the other hand, it seems that large entropy corresponds to completely orderless. Therefore, no information here at all. Is this opposite to what Shannon has said?
| 发表时间：2004-11-03, 17:33:58 |
作者资料
|
星空浩淼
发表文章数: 1743
武功等级: 九阳神功
(第五重)
内力值: 617/617
Re: 散谈信息、熵和秩序（原创）
We know that in statistical mechanics, entropy is just the volume of the phase space. Therefore, large volume corresponds to large entropy. On the other hand, it seems that large entropy corresponds to completely orderless. Therefore, no information here at all. Is this opposite to what Shannon has said?
We know that in statistical mechanics, entropy is just the volume of the phase space. Therefore, large volume corresponds to large entropy. On the other hand, it seems that large entropy corresponds to completely orderless. Therefore, no information here at all. Is this opposite to what Shannon has said?
要准确一点地谈我的看法，得好好翻翻书复习和学习才行，所以这里我的看法不一定都对：
我的理解是，phase space中的每一点对应一个系统的一个微观状态，所以the volume of the phase space对应系统所有微观状态之和N，对它取对数，便对应热力学熵S=klnN（常数因子k为玻尔慈曼常数）。另一方面，Shannon信息定义成事件发生的概率倒数取对数，或者对概率取对数再加一个负号。系统处于某一微观状态表示一个事件，事件发生的概率，在系统所有微观状态等概率出现时（等几率假设），等于系统所有微观状态之和的倒数1/N，因此系统处于某一微观状态的一个事件的Shannon信息为－ln（1/N)=lnN...说到这里我也糊涂起来——不是说信息是负熵吗？这里没有差一个负号啊？不过有一点：
1）当系统处于平衡态时，各微观状态更趋于等概率发生，最无序，此时微观状态总和最多，因此熵最大；
2）当系统处于平衡态时，各微观状态更趋于等概率发生。而总的Shannon信息为SUM{－M(i)lnN(i)}，i=1,2,3...其中SUM表示对i求和，M(i)表示事件发生概率为1/N（i)的状态数，显然SUM{M(i)}=N。在这种约束下，可以证明，当M(i)＝N，1/N（i)＝1/N时，，即当系统各微观状态等概率发生从而最无序时，SUM{－M(i)lnN(i)}＝NlnN最小，即信息最少。
总之，熵最大最无序时，Shannon信息量最少。例如两件事情，等概率各为1/2，Shannon信息量为2bit；而一个为1/8，一个为7/8时，Shannon信息量大于3(取对2的对数）。但等概率时，最无序，熵最大（我怀疑熵的统计定义前提是假定完全平衡状态下系统各微观状态等概率发生——等概率假设）。
持之以恒就是胜利
| 发表时间：2004-11-04, 05:15:26 |
作者资料
|
快刀浪子
发表文章数: 1200
武功等级: 天山折梅手
(第五重)
内力值: 546/546
Re: 散谈信息、熵和秩序（原创）
论复杂性与随机性的关系
吴彤
最近，我们在研究复杂性问题的过程中，发现复杂性与随机性的关系具有特别的意义，许多国内外的学者在复杂性与随机性的关系认识上，常常以随机性代替复杂性，认为随机性就是复杂性的内容之一。本文力图剥离混合在复杂性与随机性相互关系上的一些误读和误解，还复杂性与随机性一种客观的本真关系。
一、历史上复杂性与随机性的认识回顾
科学上经典的复杂性的概念，最早起源于计算机科学研究领域，当然它主要参考了物理学当时的基本观念。
（一）建基随机性上的两种复杂性概念
为了探索复杂性与随机性的关系，我们先了解计算复杂性、算法复杂性的概念。
首先让我们从信息理论的角度来看待问题。信息的简单还是复杂涉及的是表达信息的序列串如何。简单的非复杂系统的产生指令很简短，通常也很明显：例如，所有项相加即为和。这样复杂性可以操作性地定义为：寻找最小的程序或指令集来描述给定“结构”——一个数字序列。这个微型程序的大小相关于序列的大小就是其复杂性的测量。
序列111111…是均匀的（不复杂的）。对应的程序如下；在每一个1后续写1。这个短程序使得这个序列得以延续，不管要多长都可以办到。
序列110110110110…的复杂性高一些，但仍然很容易写出程序：在两个1后续写0并重复。甚至序列110110100110110100…也可以用很短的程序来描述；在两个1后续写0并重复；每三次重复将第二个1代之以0。这样的序列具有可定义的结构，有对应的程序来传达信息。比较这三个一个比一个复杂些的序列。再看下面的序列11010010110111010010…，它不再是一个可识别的结构，若想编程必须将它全部列出。但是如果它是完全随机性的，那么，我们根据概率规则，可以知道最终在这个数串中0和1的出现几乎是等概率的。
于是为了解决这些关于如何认识复杂性增长和判别复杂性程序的问题，科学家们定义了多种描述性的复杂性概念。
计算复杂性(computational complexity)源于20世纪30年代数学逻辑发展过程中提出的一些深刻命题。它们都有自己特定的问题规模N，计算复杂性就是指解决问题随问题规模N增长而需要的代价增长。这种简单性和复杂性的分野是，如果计算时间（或空间）的增长不超过N的某个幂次或多项式，那么该问题是简单的，称为P类问题。如果增长速率超过N的任何多项式，则问题是困难的，称为NP类（NP即“非确定多项式”Non-deterministic Polynomial的缩写）问题，即复杂性问题之一。如推销商的路线选择问题（Travelling Selesman Problem，简称TSP）就属于问题中的“完全NP”一类问题。此类问题的特点是，随着问题涉及面增加，其计算量将指数性或失控式地增长。
对计算复杂性的常见度量是时间和空间。一般地说，所谓时间就是一个计算中离散步骤的数目；空间就是指计算指令读取独特的存储地址的数目。[1]如前所述，时间上的计算复杂性即一个计算机描述一个系统（或解一个问题）所需要的时间；空间上的计算复杂性即描述一个系统所需要的计算机存储量。
算法复杂性(algorithmic complexity)，主要是由A.N.Kolmogorov,[2]G.J.Chaitin[3]和R.J.Solomonoff[4]在20世纪60年代中期分别独立提出的概念，又称为Kolmogorov复杂性。基本思想和定义如下：
对每一个D域中的对象x，我们称最小程序p的长度丨p丨就是运用指定方法S产生的关于对象x的复杂性。对计算机S而言，设给定的符号串为x，将产生x的程序记为p。对一个计算机来说，x是输入，p是输出。粗略的说，关于一个符号串x的Kolmogorov复杂性，就是产生x的最短程序p的长度。上述定义可写为：[5]
K[,s](x)=min｛丨P丨:S(p)=n(x)｝
K[,s](x)=∞ 如果不存在p.
其中K[,s](x)即Kolmogorov复杂性。后一个公式的含义是明显的，即如果传送的符号串完全杂乱无章，找不到任何规律（即程序p），那么，复杂性就等于符号串本身，而符合串是无规无穷数，复杂性即无穷。因此在算法复杂性中，实际上是越随机性(random)的东西，越不可认识，其结果是它越复杂。换句话说，复杂的随机性对象有最大的复杂性，因为不可能压缩对其对象的描述。[6]
（二）Kolmogorov复杂性的影响和有效复杂性的提出
Kolmogorov复杂性定义实际上支配了后来计算机科学上对复杂性的几乎所有的研究，以后又波及到几乎所有科学领域。例如，F.Cramer就是按照这种思路把复杂性程度分为三个等级：亚复杂性、临界复杂性和根本复杂性。所谓亚临界复杂性是指系统表面复杂但其实很简单，或许是算术性的。简单的物理定律，如牛顿定律可以用于得到的决定性系统；所谓临界复杂性是指在复杂性的特定阶段——在它的临界值上——开始出现某些结构。最简单的情况是对流和对流图案形式。这个复杂度称为临界复杂性。这些系统构成一些亚系统，例如进化系统或不可逆热力学系统；所谓根本复杂性是指“只要系统有着不确定性解或混沌解它就是根本复杂的”，[7]“一旦程序的大小变得与试图描述的系统可以相提并论，不能再对系统进行编程。当结构不可辨识时——即当描述它的最小算法具有的信息比特数可与系统本身进行比较时——我称之为根本复杂性。根本复杂性的这个定义是以A.N.Kolomogorov(1965)的方程为基础的。”([7],p.211)
按照F.Cramer的认识，根本复杂性相当于无法认识。根本复杂性即那些表现得完全随机性（random或stochastic）、描述结果与被描述对象可以相提并论，完全无法获得规律性认识，简单地说，无法辨识即根本复杂性。
所以，根本复杂性＝完全随机性。
F.Cramer还按照复杂性程序的不同，比较了数学、一般科学理论、物理学、生物学、进化过程、科学之外系统（包括科学作为一个整体系统、哲学、美学、语言、宗教和历史）等6类知识体系的描述复杂性情况，按照他的分类，我们看到几乎每一个认识体系都有自己的三类复杂性（第一类实际上是简单性）情况。
当然，这种通过图灵机方式，用算法耗用资源的方法表示计算复杂性程序，给研究的难度做了一个很好的客观的划界。但是，如果一个对象根本无法简约对对象的描述，其描述长度与构成对象的组分“程序”完全一样，甚至完全不存在一个最短描述程序P，算法复杂性给出的复杂性定义与我们在物理学等科学上对随机性的复杂性认识就有所背离。
例如，完全随机性的全同粒子组成的气体系统，它的内部状态是无法给出程序描述的随机状态，但是它的结果却是非常简单的、确定的，不具有复杂性特征。
因此，反对复杂性等于随机性的观点也是应该考虑的。其典型的代表是盖尔曼，他提出“有效复杂性”概念。所谓“有效复杂性，大致可以用对该系统或数串的规律性的简要描述长度来表示”。([8],p.49)他认为算法复杂性不能用来定义复杂性，其原因在于算法复杂性具有不可计算性和随机性。他的根本观点是随机性不是复杂性，即有效复杂性这一概念的作用，尤其当它不是内部有效复杂性时，与进行观察的复杂适应系统能否很好地识辨与压缩规律并抛弃偶然性的东西有关。
盖尔曼认为，假定所描述的系统根本没有规律性，一个正常运作的复杂适应系统也就不能发现什么图式，因为图式是对规律性的概述，而这里没有任何规律可言。换句话说，它的图式的长度是零，复杂适应系统将认为它所研究的系统是一堆乱七八糟的废物，其有效复杂性为零。这是完全正确的；胡言乱语的语法图式其长度应该是零。虽然在具有给定长度的比特串中，随机比特串的AICI［算法信息量］最大，但是其有效复杂性却为零。([8],p.58)
AIC标度的另一个极端情形是，当它几乎等于零时，比特串完全规则，比如全由1组成。有效复杂性一用于描述这样一个比特串的规律性的图式的长度——应该非常接近于零，因为“全部为1”的消息是如此之短。
因此，盖尔曼提出，要想具有很大的有效复杂性，AIC既不能太高，也不能太低。换句话说，系统既不能太有序，也不能太无序。有效复杂性是非随机性的，但是有效复杂性又不等于有序中的简单性，即完全规则的那种情况。这里的有效复杂性应该指可理解性意义上的描述长度较长的类。因为可理解性意义的描述长度很短，就相当于简单性了。而完全不可理解，意味着完全随机性。描述长度与事物本身相等，相当于对事物没有认识。有效复杂性一定介于这两者之间。有效复杂性如何才是可以度量的呢？无法准确或定量的度量，是有效复杂性的缺陷之一。当然，有效复杂性一方面是对客观复杂性的有效理解与最小表达，一方面也应该是一个随人类主体认识能力进化而变化的变量。
二、对随机性的理解
这里需要对随机性概念进行辨析。研究表明，我们通常在三种“随机性”上使用随机性概念：第一，指该事物或事物之状态非常不规则，找不到任何规律来压缩对它的描述；第二，指产生该事物的过程是纯粹偶然的或随机的过程。而该过程所产生的结果，主要是随机的，其信息不可压缩；有时则可能得出包含一定的规律性，其信息可有一定程序的压缩性；极少情况下能够得出非常规则的结果，其信息具有很大压缩性。第三，指伪随机性过程产生的貌似随机性结果，即事实上该过程是非偶然的决定论过程的，但是其结果却非常紊乱（如混沌）。为避免混淆，盖尔曼建议在英文中用"stochastic"表示随机的过程，用"random"表示随机性的结果。本文所指的随机性是结果的随机性，即"random"。我们现在能够认识的随机性中的规律性的东西，是第二种类和第三种类的一部分性质。即对它们的描述有可以压缩其信息的情况。
这样，所谓随机性即有两种，一种即过程随机性，一种结果或状态随机性。而真正意义的随机性是不仅其产生的结果具有随机性的特征，而且产生的过程也是随机性的过程。混沌只具有结果形态上的貌似随机性，而不具有过程的随机性。
三、两类复杂性与随机性关系
由以上关于复杂性的各种描述性定义的探讨，我们可以看出，这里实际上存在着两种关于复杂性完全不同的观点。
观点一，认为“复杂性”相当于随机性。随机性大小是度量认识复杂性的尺度。随机性越多，复杂性越大，完全随机性的信息，则相当于最大复杂性，或根本复杂性。
可以比较一下关于熵的定义，系统内部混乱程度最大，系统熵最大。所以，最大复杂性就相当于最大信息熵。计算复杂性、算法复杂性中相当大的成分包含着这种涵义。像熵，Kolmogorov复杂性，以及F.Cramer定义的根本复杂性都属于此类复杂性。我认为，此类复杂性的意义对对象本身的复杂性认识没有意义，但是对认识条件下的认识复杂性长度即认识难度却是有意义的，即这种复杂性不是关于认识对象的，而是关于认识能力（如计算机解题所需资源）的。Kolmogorov给出了一个对如何度量计算难度有效的“复杂性”概念，但是却使得人们在认识客观对象的复杂性上陷入误区。
观点二，认为“复杂性”不等于随机性，而是胜于随机性的、人们对事物的复杂性的有效认识。
这两类复杂性哪个更科学和准确呢？我们需要仔细研究一下不同情况。我们要证明复杂性不等于随机性，但是复杂性又离不开结果表现为“随机性”的状态。
第一种情况，我通过“同无素的大量粒子组成的体系”的结果简单性表明，随机性不复杂。如气体体系，到达平衡态时，体系熵达到最大。但它复杂呢？不，原因在哪里？实际上，在体系未达到平衡态时，体系内部的分子的微观态存在大量的区别，如速率分布不遵循麦克斯韦分布，这时体系就其微观态的个数多少而言，其微观态个数多，体系是复杂的；但是到了平衡态时，按照麦克斯韦速率分布，绝大多数分子的速率趋于一致，体系的不同的微观态不是增加，而是减少了。故体系进入平衡与均匀，熵趋向最大。到达熵最大时，理想条件下体系的微观态变成全同态，完全一致，没有不同的微观态了。体系因而变得简单了。此时物理学对它可以运用气体定律（实际气体用范德瓦斯气体方程）描述。从信息的程序角度看，描述语句可以写成：
f(P,V,T)=C
换句话说，虽然体系内部此时微观态最随机，但是微观态为全同志，无区别、无演化（体系状态不随时间变化而变化），因此，描述可以极为简单，数据信息可以压缩，即存在着对这种针对全同微观态的统计意义下的简单规律描述。可见，完全随机性的东西不一定复杂，或完全随机性的东西有最简单的情况。因此，把随机性等同于复杂性至少存在反例。
第二种情况，我通过“混沌”的复杂性表明它不是随机性的复杂性。混沌是一种貌似随机的复杂性状态。说它貌似随机，即指它的产生不是随机性(stochastic)所为，而是确定性体系所为。但是它的微观态具有“随机性”(random)，即混沌局域内没有两个相同的状态，这种混沌与平衡态的无序完全不同。此时，体系内部的微观态个数随演化时间长度增加而增加，区别越来越大，越来越多，混沌的程序也随演化时间增加，这样对混沌的全部微观态描述就是不可能的了。然而，属于复杂性态的混沌态却不能作为复杂性等于随机性的证明，因为混沌不是随机性，而是貌似随机性的东西。对此，混沌现象和规律的发现者、美国气象学家洛伦兹作了这样的说明：“我用混沌这个术语来泛指这样的过程——它们看起来是随机发生的，而实际上其行为却由精确的法则决定。”[9]这表明混沌行为的重要属性是确定性，而不是随机性，即对处于混沌行为状态的系统来说，“现有状态完全或几乎完全决定未来，但却不是看上去如此”。那么，确定性的混沌行为为什么会看上去像是随机的呢？他认为，这是因为“在某些动力系统中，两个几乎一致的状态经过充分长时间后变得毫不一致，恰如从长序列中随机选取的两个状态那样。”([9],p.6)
第一种情况和第二种情况还有一个差别，那就是，产生第一种情况的办法是随机性(stochastic)的，因此对其产生过程我们是无法描述的；但是对结果或体系最终结果或体系整个状态我们能够用简单方法（统计方法）加以描述。而产生第二种情况的方法是确定性的，是有其简单性（动力学）方法的，对其产生过程或演化过程的一部分（在有限时间内）我们可以描述，但是对结果或体系最终结果或体系整个状态我们无法加以描述。换句话说，我们无法产生第一种情况，但是能够描述它；我们能够产生第二种情况，但是无法描述它。
这种情况使我想起突变论创始人托姆对“理解”和“行动”的精辟见解。按照托姆的观点，整个科学活动可比作一个连续进行过程，这一过程具有两极。一极代表纯粹知识：其基本目标是理解现实。另一个极涉及行动：其目标是对现实采取有效行动。传统的、目光短浅的认识论不赞成这种两极说，因为要采取有效的行动，总必须先“理解”。相应于这两种对科学所持的相反观点，存在两种不同的方法论。“行动”说在本质上是解决局部的问题，而“理解”说却试图要找到通用解（也即整体解）。明显的矛盾是，求解局部问题需要使用非局部手段，而可理解性则要求将整体现象化为几种典型的局部情况。[10]上述对无序和混沌的复杂性情况的分析告诉我们，这种传统认识论的观点可能是错误的。因为有这样的情况，我们对它已理解透彻，却无力对它采取任何行动。反过来，有时我们对现实世界能采取有效行动，但对其所以有效的原因却茫然无知。几乎可以毫不夸张地说，无序的简单性和混沌的复杂性为这种情况提供了佐证。我们能够产生和控制混沌，但是对混沌复杂性的认识还没有完全转化为盖尔曼意义上的有效复杂性。关于混沌类型的复杂性，我们目前就知之甚少，我们只了解混沌具有对初值的极端敏感性，具有某种类型的吸引子（局域性），混沌具有微观结构。我们计算的越细致，混沌也越反映出层次间的自相似性和嵌套性，它也就越复杂。
我们研究一个问题，一般先要界定清楚问题和环境。如果不能清楚地界定问题，你能拿它怎么办呢？然而，许多复杂性问题都是其内容尚未界定清楚的、并且在不断生成的问题，其环境因时间的推移而不断变化。适应性作用只是对外界对它的回报做出反应，而用不着考虑清楚行动的意义和对行动背后的理解。
复杂性问题的复杂正在于此。作用者面对的是界定不清的问题、界定不清的环境和完全不知走向的变化。只要略想片刻就会认识到，这就是生命的全部含义。人们经常在含糊不清的情况下做出决定，甚至自己对此都不明白。我们是在摸着石头过河，在过河中我们不断改变自己的思想，不断拷贝别人的经验，不断尝试以往成功的经验。
以气象学为例。天气从来不会是一成不变的，从不会有一模一样的天气。我们对一周以上的气候基本上是无法事先预测的，有时1～2天的预报都会产生错误。但我们却能够了解和解释各种天气现象，能够辨认出像锋面、气流、高压圈等重要的气象特征。一句话，尽管我们无法对气象做出完全的预测，但气象学却仍不失为真正的科学。[11]
以上研究表明，第一种类型即所谓随机性的复杂性不是我们要的复杂性，它相当于F.Cramer意义的亚临界复杂性（类似简单性），如果把复杂性与这种随机性联系起来，那么说复杂性等于随机性(stochastic)，则是不对的；但是如果是第二种意义的复杂性则与貌似随机性的随机性(random)结果相互关联在一起。那么的确存在随机性越大，似乎越复杂的情况。但是这里需要注意的是，信息熵在这里决不是热力学熵，另外，产生这种复杂性的原因也不是随机性。
所以在说复杂性与随机性的关系时，我们一定要辨别所说的随机性是什么随机性，是stochastic呢，还是random。我们是否可以这样说，复杂性是具有random性态的东西，而不是由stochastic产生的。
四、复杂性与状态随机性及其他
在随机性(random)基础上建立起来的复杂性，还应该继续加以分析。我们先暂时去掉第二种随机性(stochastic)，于是这里还存在两种random意义下的随机性。第一种是非常不规则结果，从而找不到任何规律来压缩对它的描述的随机性，另一种是貌似随机性的结果，即由非偶然的决定论过程所产生的，但是其结果却非常紊乱（如混沌）的随机性。在第一种随机性情况下，无法得到对事物的认识，描述长度将同事物本身一样。该事物我们认为复杂吗，如果不复杂为什么我们无法认识？如果承认它不复杂，那么就需要承认除了复杂性成为我们认识的障碍以外，我们认识的障碍还有其他。有其他障碍吗？如果承认其复杂，我们就需要承认世界上存在完全无规则的东西，它无法认识。而这点与我们关于世界是有规律的假定是矛盾的，似乎进入了不可知论。看起来，我们只能等待认识进步来解决该问题。
因此，我建议，在假定这个世界不断演化的前提下，把对应于第一类随机性（非常不规则，而无法压缩信息串）的复杂性称为“潜在复杂性”(potential complexity)，而把对应于第二类随机性（貌似随机性的结果，非常紊乱）的复杂性称为“有效复杂性Ⅱ”，以区别盖尔曼的“有效复杂性”。因为盖尔曼把对应于第一种随机性中可认识的复杂性称为“有效复杂性”（我们把它称为复杂性Ⅰ），有效复杂性不等于我们对该对象的认识达到了所有细节全部认识完毕，无一遗漏。而是指这种复杂性抓住了该对象的基本方面和特性，使得该对象成为科学研究的实在对象。
这样在随机性(random)背景下的复杂性可以分类为如下：
附图
五、余论：一些未解问题
随着对复杂性与随机性关系的讨论深入，我们自然会问：对随机性本身而言，它对认识客观复杂性就没有意义吗？现在最大的问题是，当我们面对一系列“貌似”随机性的东西，我们并不清楚它在演化过程中未来会如何？第一，在更广阔的场景中和更长的时间序列中它是真随机性，还是伪随机性？第二，对一个有限的时间和实践而言，现在它显现为随机性，并不能保证它以后的演化也是随机性的。所以，我们即便认为真随机性中不包含复杂性，我们在有限的时间内也不可能判定事物的后演化过程一定是非随机性的，或随机性的，从而也就无法判断其中是否有意义，即包含有效的复杂性。
另外，如果随机性中不包含有效的意义，我们如何说它复杂呢？这里马上就有一个例子：猴子在计算机键盘上随机地敲出的100万个符号组成的“文本”与莎士比亚的《哈姆雷特》哪个更复杂呢？按照根本复杂性＝最大随机性的观点，那一定是前者复杂于后者；而按照有效复杂性的观点则后者复杂于前者。在与随机性意义的关系上看，如果承认随着思想中包含第一类随机性(stochastic)越大，思想就越复杂的话，我们就得承认疯子的胡乱思想最复杂，因为无法对他的思想加以认识和把握（编程，也许在疯子的思想世界里，被认为可以把握，但是这两个世界即理性世界与非理性世界无法通约，除非一个理性人疯后又恢复为理性人并且没有遗忘疯子的经历和思想），我们也要承认谁的语言最晦涩难懂，谁的理论最复杂。如果认为非随机性的表达有效复杂性的思想才复杂，我们则可利用有效复杂性这个尺度上去度量历史上思想家的理论的复杂性程度。事实上，我们对思想家的思想复杂程度常以其思想深刻、细致和广度，以及是否逻辑自洽和论证充分判定的。我想，比较两个思想的复杂性程度时，可以通过是否对相同思想和思想对象的解读更深入、更细致和更广泛，以及思想体系的层次逻辑四个尺度加以把握，这四个尺度实际是：信息深度、结构层次、细致性、广度（包括问题范围性）。
可见，还是有效复杂性的实际意义更好些。但是一个没有随机性的世界，只有貌似随机性的世界虽然充满了不确定性，但是这却不解渴，我们那些突然的变化，我们那些临时的改变，那些偶然性的东西也是存在的，那么它们对复杂性就没有贡献了吗？如果存在这种贡献，又应该如何计量这种由偶然性或随机性产生的复杂性呢？
乱石穿空，惊涛拍岸，卷起千堆雪。
江山如画，一时多少豪杰。
| 发表时间：2004-11-05, 03:05:09 |
作者资料
|
快刀浪子
发表文章数: 1200
武功等级: 天山折梅手
(第五重)
内力值: 546/546
Re: 散谈信息、熵和秩序（原创）
“复杂性”研究的若干哲学问题(节选）
吴彤
2 描述“复杂性”概念的约定和限制
描述事物复杂性，首先应该约定把描述限定在某一层次。离开层次谈事物的复杂性，复杂性就是一个无法度量的具有无限深度的虚假问题。如一个生命，我们是在哪一个层次讨论它的复杂性呢，是原子、分子层次，还是组织层次或整体呢？显然，如果不加以限制和约定，复杂性无法加以讨论。第二，定义复杂性也要限定它的描述精细度，或粗粒化程度。这两个限定，都是认识论范畴意义的限定。第一个限定，不仅涉及观察者对事物认识的深度，而且也涉及事物本身的结构层次问题；第二个限定，则不仅涉及观察者的认识能力，也涉及事物可认识的理论极限等问题。
有了上述规定后，我们才可以在本体论和认识论意义上讨论复杂性概念。对科学家和哲学家们建立的某种复杂性概念，我们可以在本体论上了解它是否真正描述了事物的复杂性及其程度，在认识论上了解它是否有效地描写了事物相对复杂性以及人们掌握此复杂性的认识程度等问题。
3 复杂性概念
词典语词表达的日常意义“复杂性”概念，并不充足和科学， 〔1〕目前已知至少有30种以上的“复杂性”概念，如计算复杂性、语法复杂性、生态复杂性、演化复杂性等，〔2〕、〔3〕、〔4 〕大多数“复杂性”概念是涉及计算和计算机算法方面“复杂性”问题以及生物学或生态学、经济学方面的概念，论述一般复杂性，或对复杂性研究进行概念抽象的“复杂性”概念则比较少。较一般的定义如F.克莱默〔4〕把“复杂性”定义为，系统表明自身的方式数目的对数：K＝LogN。（式中K是复杂性，而N是不同的可能状态数目）， 该式与波尔兹曼的熵定义式类似（S＝LogW）， 有把系统熵最大等同于系统复杂性最大的混淆嫌疑。较早在哲学层面对复杂性进行研究的，也主要是研究与复杂性密切相关的一些基本属性，如对非线性、混沌、分形等概念、理论的研究。有人认为“复杂性”有三层涵义：〔5〕复杂性是客观事物的一种属性；复杂性是客观事物层次之间的一种跨越；〔6 〕复杂性是客观事物跨越层次的不能够用传统的科学学科理论直接还原的相互关系。这定义缺陷在第一和第三上方面。建议对上述定义修正如下：客观复杂性：客观事物某种运动或性态跨越层次后整合的不可还原的新性态和相互关系。认识复杂性：对客观复杂性的有效理解及其表达。
有人提出复杂性的基本属性有：突变、约束、编码、组织〔5〕。 我认为，除突变、约束（洛伦兹〔7〕称为：compact，紧致性，拉兹洛称为会聚〔8〕）和组织外，并非所有复杂性事物都具有编码特性， 隐会性（非不知，非随机性）可能是复杂性属性之一。复杂性的基本属性还有：非线性；混沌、分形；分岔；随机性、被冻结的偶然性〔9 〕与时间不矢［不可逆性］；循环的嵌套；递归等〔10〕。非线性是复杂性产生、演化的动力学机制，是连接简单性与复杂性的桥梁；混沌和分形是复杂性在空间和时间上的性态；涨落和突变是可编码外的复杂性演化内在特性；随机性和被冻结的偶然性是其在复杂性演化道路上的表现。复杂性演化必须具有约束或紧致性，风中飘扬的旗帜状态之所以复杂，是因为它被约束在飘扬的可能空间中，如果发散，运动就不存在，何来复杂？
度量复杂性的标度有：系统状态空间维数（原指系统内部独立运动的要素、关系、层次个数）；系统随参量变化的阶数（原指阶数反映处理问题的难度）多少；演化中相互关系的次数多少。根据近年来研究的发展，系统空间状态维数此时不仅是系统内部独立运动的要素多少，而且标志系统占领状态空间的能力大小。分数维数的出现，标志着复杂性的度量有了新的尺度。复杂性标度的另一个重要发展是，在不同标度变换下的不变性，这是认识复杂性的重要尺度，自相似性和分维都是这种尺度的反映，也是复杂性的层次穿越性。换句话说，当我们遭遇未知事物时，可以根据以上方法测度，如果事物表现出分数维数、自相似性和混沌运动性态，就可把它归结到复杂性范围。目前，运用复杂性方法研究人体、音乐、结晶生长、地震、经济演化等，已经取得了一定成果，表明复杂性方法抓住了复杂事物和过程的本质。当然运用和创新复杂性方法还任重道远，复杂性认识和方法还十分年轻，前面不知有多少困难和未知等待科学家解决和认识呢！
4 本体论复杂性概念
为区别于日常生活意义“复杂”概念，我们把“复杂性”概念做了分类。如按事物本身运动或形态、性态分类，有运动复杂性、结构复杂性等。如按人们的认识区分，则有算法复杂性或计算复杂性、有效复杂性等概念〔11〕。第一类称为本体论复杂性概念，第二类称为认识论复杂性概念。
1 两种运动复杂性
至少有两种运动复杂性，第一是突变论的——指运动曲线或轨道非光滑有突跳的运动。第二是混沌的——指运动的相邻轨道永不相交、相互分离的运动。以上两种运动都是传统数学不可分析的。现代分析工具主要是混沌理论和非线性动力学等。运动复杂性涉及运动发生条件以及对条件的敏感依赖性程度，同时也涉及不同层次和尺度的运动。
2 两种结构复杂性
同样存在两种结构复杂性，第一是分形的——指系统内部结构具有多层次、多部分，并且各个部分相互联结、嵌套、递归；第二涉及结构稳定性，局部非稳定的结构具有多个分岔点、鞍点，它同时也是复杂性的结构；当然也有完全不稳定结构，但它存在时间极短，有时处处不稳定，或时时不稳定，这种结构目前还不可分析。此外稳定与非稳定结构还牵扯着结构演化以及演化方向问题。
5 认识论的各种复杂性概念
认识论的复杂性概念涉及到认识主体或观察者的认识能力、范围、主体间相互交流的状况和水平，特别涉及理论上的复杂可认识性，涉及一种可共享的语法、语意和语用环境。在信息意义上，我们可以把复杂性描述分成两个层次：语法意义和语用意义的复杂性描述。我们首先涉及的问题是，如何度量复杂性？一般度量尺度有：数量多寡、种类之间的相互联系的多少。这种经验性的尺度，仍然属于本体论范畴。如何把本体论的复杂性度量尺度转换成为认识论尺度呢？按一些学者的观点，认识论的复杂性就是主体之间关于事物认识的描述长度。然而问题在于怎样描述事物。复杂性概念主要是主体信息交流过程中可理解的复杂性。在一定的共享意义下，描述长度越长，所涉及的对象就越复杂。复杂性概念应能确切表示我们通常所理解的“复杂性”，即对事物复杂性的理解性。另外，当理解者认识程度、水平和能力不同时，这个描述长度不同。目前人们常用算法复杂性或计算复杂性、有效复杂性等概念概括与描述长度相关的认识复杂性。
算法信息量或算法复杂性（algorithmic information content， 简称AIC）是计算机专家用来描述事物的计算机程序信息串的长度， 它的基本思想是用描述长度来定义描述的复杂性。一个事物如果其包含的信息是很难获得的，那么它就是复杂的。算法复杂性是申农语法信息意义下的复杂性，不能包括意义中含混、歧义等语用成分，对有效复杂性理解描述是不完全的。
有效复杂性概念，指的是对某事物或系统或数串的规律性的简要描述长度。我们对事物复杂性或复杂程度的认识，通常通过辨识其规律而获得，而不是仅仅在表面上感觉事物头绪繁多无从下手而已。所以，复杂性之所以有效，就在于人们能够认识它的规律性。例如，众所周知的混沌，原来意义就是一种认识上浑浑噩噩的朦胧状态，是对复杂性事物的一种朦胧感受而已。现在的非线性混沌，对它的属性科学家已经有了许多了解。
在有效复杂性概念下，数量这种描述长度需要改造。1 摩尔纯氧至少有6×10[23]个氧分子，但容器中的气体整体并不复杂。 故应在这个尺度上加以限制，定义为：不是元素而是要素数量多少是复杂性的一个量度。换句话说，系统内部相互独立的不同种类组分越多，描述系统才越复杂。
在有效复杂性概念下，类间联系这种描述长度也需要改造。系统内部可相互独立的各个要素之间如果完全没有联系，这个模式被认为是简单的。以点为例，其描述长度为“所有点间完全无关”；而系统内部可相互独立的各要素间如果完全联系，即全部点之间全部存在联线，它的描述长度为“所有点间完全相关”，在语法信息角度上，两者描述长度完全一样（语用信息角度不同吗？），所以并非联系越多越复杂。在一个有限系统内，类间联系这种描述长度的复杂性应是一个非线性函数，最少与最多都简单，而介于两者间才复杂。要有效复杂性大，AIC 既不能太高，也不能太低；系统既不能太有序，也不能太无序。但是由于这样一个概念无法精确化，无法给出介于有序和无序间的程度，而无法度量一般最大有效复杂性程度。或许有效复杂性本身就是一个“有个性”的概念，每个系统其最大有效复杂性都处于该系统演化的无序和有序间不同时空点。当然，复杂性的非线性类并不是每一个与另外一个现象毫无相似或共同之处，目前已经发现，非线性至少存在三个类：孤立（子）波、混沌和分形〔12〕。
乱石穿空，惊涛拍岸，卷起千堆雪。
江山如画，一时多少豪杰。
| 发表时间：2004-11-05, 03:06:41 |
作者资料
|