反问题略论

前言

昌海兄推出并辛苦义务地为众多学子维护一个难得的高雅学术网站，高手云集，华山论剑，本人一直受益，尤其是我的弱项数学。虽然蒙站长看得起，封给我＂学术成员＂的荣誉，但羞于水平有限，一直没有发表文章回报，甚感对不起这个我很引以自豪的头衔。但一个好网站，还是大家要做贡献才会使每个人受益越来越多。考虑到这些，并承昌海兄鼓励，这里介绍一下反问题，系由轩轩的一个贴子引发。

我不敢叫自己是反问题专家，一个小小用户而已，但也不妨篡改星空兄的话用一下：＂我可也是向高标准的人看齐的＂，以示并非民科搅场。

下面的介绍是九牛一毛，但应该也会讲清一些事，另外，我会告诉或暗示那些想做相关问题的新手（虽然我不认为自己是老手），哪些东西可以不要浪费精力去看，至少不要先去看，因为这个领域，也像很多别的领域一样，灌水的人自然不少，有些方向看似不错，实属无用。新人往往要很久才会悟出这一点，对研究生而言，这个时刻往往是要提交学位论文大纲的时候了。

内容会涉及到一些数学和电脑程序演算法方面的事，虽然我尽量遵循sage兄的教导＂think really hard before you speak＂,而且也争取满足＂check hard before you write＂的标准,但肯定还是不免会有错误，请sage，季候风,萍踪和星空诸位数理牛人多加把关，将错误指出来点评以使大家受益。这其实也是写此文的一个期望。

目录：

1.引语
2.基本原理
3.例子
A：结构分析（断层重建）
B：黑体辐射
C：其他反问题或伪反问题
C.1声子态密度（比热逆问题）
C.2由结合能反推原子对作用势能
4.结语


1. 引语

最粗略地讲，反问题就是如何从输出来反推输入。举个最简单的例子，我们有一组输入值g，由一个转换器f转换后，测得一组输出o：


反问题就是由输出o和转换函数（转移函数）f来反推输入g。

由矩阵论知道，现实情况中的g(i)往往有多重解，解也可能不稳定。但如果进一步限定g(i)，如我们预先知道它不可能为负，多重解可以减少。如果更进一步限定g(i)，如预先就知道或事后独立地测量到g(i1), g(i2)…等处的值，你甚至可一唯一地确定g(i)的形式或数据组。这个例子很简单，都可以考虑以＂最简单的反问题＂为名称去申请专利了，但他包含了反问题的骨架：（1）他告诉我们反问题是由输出反推输入，（2）反问题经常会有内在的多重解，（3）反问题经常会有内在的不稳定性，实验数据的误差或噪音可能会对反演结果带来严重问题，（4）增加限制条件会减少多重解数目甚至得到唯一解。这第（2,3）个条件使得大量的反问题归类为数学上的ill-posed问题，是整个领域的核心问题，也是这个领域还不断有如何＂矫正＂（2,3）两个缺点的文章发表，研究人员藉此还能整到经费的原因。可惜很多的矫正结果只不过是给老问题换了张新面孔。

反问题俯视即是。每个做研究的人或多或少都与反问题打交道，只是很多人没留意到这一个词。更广义地讲，每个人时时刻刻都在解反问题。反问题在现实中是大有用途的，例如物理的各分支（涉及到碰撞或散射，辐射，晶格振动），地质，海洋，大气，遥感，医学成像和无损检测中各类图形和影像的处理。因而，反问题有不同名称，如反演问题，逆问题，反散射问题，背投影问题等等。数学上讲的反散射方法往往特指解偏微分方程的一种方法，但这些方程可以化为积分方程。反问题虽然每个人都会碰到，很重要，但比起物理科学或工程领域里的一些hardcore问题，它其实不算是什么特别深奥的东西。

2.基本原理

文献上反问题更常表示为连续情形，就是你知道一个含参数的积分（被积函数往往是一个带参数的已知函数和一个待定函数的乘积）的一系列积分值（对应参数取不同的值），如何得到被积函数。具体而言，常表述成如下



其中s是可调参数，f(x,s)是已知的函数，反问题就是由一系列F(s)值来推断g(y)的表达式。
当然我们知道，这在一般情况下是不可能的，因为有很多可能的被积函数得到同样的积分结果，也就是说没有唯一性保障。但是，有额外限制的情况下确实可能保障唯一性，例如我们常用的傅里叶变换这种以正交函数为基的线性变换。而另一个常见的线性变换，拉普拉斯逆变换就没有唯一性。

3.例子

这里举几个（类）实际例子。我先坦白，考虑到篇幅，也由于水准有限，我得忽略一类核心的反问题，即由散射截面反推势能面，通常叫反散射问题。这在原子物理，核物理，粒子物理里都是核心问题。我们知道，对很多人而言，反问题就是指反散射问题，因此，此一忽略，本文的价值立即向零趋近，也许今后某个恰当的时机，会写一个反散射简介以作补偿。

先举well-posed的线性变换的情况，总的而言，他们的解唯一而且稳定，是最受欢迎的。然后举一个ill-posed反问题的例子─黑体辐射反问题。

A：结构分析（断层重建）

看清内部结构，小到分子，大到地球内部板块，是许多学科的目标。可以利用的资源包括各频段的电磁波（正电子湮没术中的γ光，X光，红外，微波，无线电波），超声波，地震波，等离子振荡波等等。

由于FT是线性变换，且保障唯一性，加上有快速演算的电脑程序，它是用得最广的一个变换。真实空间与倒空间由FT联系：


很多方法都是先得到所谓倒空间的资料，然后做逆FT得到真实空间的影像。有人说人眼，耳朵都有FT功能以分辩物体颜色或声音频率。

能得到完整的直角座标下倒空间资料，当然最理想不过了，因为你只要做个逆变换就得到了唯一稳定的结果，这就是各类以FT为姓氏的谱学，也包括没有冠姓FT的X光晶体结构学。

我刚才强调直角座标，是因为有不少方法如用于人体诊断或工件探伤的X光，超声波，地震波，遥感测量等，虽然也可以直接拿到全部倒空间资料，但＂数据结构＂并非是上面那种＂直角座标＂，而往往是一次得到一个线投影，即


其中p是投影线的斜率,τ是截距。然后不断改变方位（p,τ）得到所有需要的或所有能够得到的投影资料{a(p,τ)}。理论上，由这些投影可以唯一地重构出原物。这时最直接的变换是Radon逆变换：


其中，H为Hilbert变换：

P为主值积分。我们可以将Radon变换理解成弯曲座标下的FT。现在许多软件可以作Radon变换，但由上知道，Radon变换涉及到Hilbert变换，而后者又涉及到主值积分，显然比FT复杂。自很久之前就有不少工作号称提供Radon变换的快速演算法，可谓目不暇接，鱼目珍珠应有尽有。不少商用软件上也配有相关的自动呼叫语句。真正称得上computationally efficient的可与FFT可媲美的＂fast algorithm＂是十年前左右提出来的(W. A. Gotz, H. J. Druckmu ller (1996)， Pattern Recognition 29，711. M. L. Brady (1998) SIAM J Comput 27，107.)，而Radon逆变换的快速算法去年才真正解决（W.H.Press (2006), Proc. Natnl. Acad. Sci. USA 103, 19249─该文附有C原码，且属免费文章，人人可以下载：http://www.pnas.org/cgi/content/abstract/103/51/19249）。
很多home made的程序中，用户不会直接使用Radon变换，而是先将原始背投影数据作＂ 重新划格(regridding)＂，即藉助内插外推将弯曲座标系下的数据重新划格为直角座标下的数据，把渔网拉直拉平，然后就可以轻松呼叫逆FFT得到你要的影像。

实用上还有10来种其他的变换，归根到底，都是由于不能得到直角座标下的原始数据，而只能得到弯曲座标下的数据，故要藉助别相应的＂弯曲＂逆变换才能回到原物，故精髓与Radon变换没有两样。而且只要信噪比允许，分辨率可以接受，就应该通过重新划格得到直角座标下的资料然后做逆FFT。在这里，我们经常有机会祝贺欧氏空间以她平平直直的性格魅力和古色古香的深沈风度屡屡压倒众多富有曲线美感的弯曲空间而赢得电脑的青睐.

B：黑体辐射

这是一个ill-posed反问题。
由Planck的黑体辐射公式，给定温度T下单位时间单位面积辐射频率为ν的能量为


现在稍做一点推广，即假定我们的辐射体由一系列温度不同的黑体组成，即引入温度权重因子a(T)，叫做面积分布函数。我们可以量度出给定频率处的总辐射功率


根据测定一系列频率下的功率谱值，求面积分布函数，就是典型的反演问题。
由于＂基函数＂为1/(e^{uv}-1)，不构成正交函数集，因此由W（ν）反演出a(T)就不是直接了当的。但低频条件hν<<kT下，可得


而”亞毫米條件”

下，

即这两个近似下均可以用拉普拉斯逆变换表示a(T)。
一般情况下可对1/(e^{uv}-1)按e^{-uv}做级数展开并做积分变数替换nu-->u得：



这时，一样可以用反拉普拉斯变换，但只能得到a(u)的求和形式，即f(u)，因此又来了一个反问题，由f(u)反推a(u)。但是Kim和Jaggard证明，（IEEE Trans. Antennas and Propagation, 1982, 33（7）,797）这个反问题可以得到唯一的严格解:


其中，[p!]是不相等质数的的乘积，N是[p!]里质数的数目。

还有其他方法也可以得到上述解。
但问题到此并没有完，因为f(u)来自反拉普拉斯变换，而它是数值计算中出名的ill-conditioned问题之一，没有唯一性，而且不稳定─即实验数据W（ν）的微小波动（如，误差，噪音）可能导致f(u)变得nonsensical。这是这种方法内在的缺陷，靠进一步的变换不能改善，徒然增加计算量而已。这方面文章很多，建议对反问题有兴趣的人不要看，绝对是浪费时间。因为到目前为止，所有关于用反拉氏变换而得到准确结果的声称不外乎是（1）针对非常的特例（a(T)大体预先已知，往往用不着反拉氏变换计算），（2）夸大其词和（3）撒谎，也就时捏造漂亮数据这三种情况。

当然，针对如何消除这种非唯一性和不稳定性，已经做了很多实实在在有意思的工作：如正规化，最大熵，共轭梯度法，傅氏变换法，变分法等，文章不计其数。本人比较推荐正规化方法，其次是最大熵。共轭梯度法其实可以归为正规化方法，因为都是把这个反问题当作最佳化问题来处理。

这里的所谓正规化，是指Tikhonov正规化方法。正规化同时将积分离散化，卷积问题变为矩阵本征值问题（或奇异值分解）。由于矩阵对角化用电脑上处理比算积分要友好很多，正规化方法可以得到好得多的精度，对误差和噪音的负面效应更robust。具体的例子可以参考X. Sun, D. L. Jagaard, J. Appl. Phys. 62,4382(1987),N.V.Sorovtsev, Phys Rev. E64, 061102(2001).

当然从实验角度增加约束条件或验证已有方法，是一直使用的老办法。

小插曲：a(u)由f(u) 表达的方程里出现质数，表明清纯洁白的数论其实在庸俗浑浊的物理领地也常常露面。但这根本就无需大惊小怪的，这类例子在物理学或工程或生物学领域比比皆是，古已有之，天天有之，从三叶草，五叶草，17年蝉，兔子繁殖的费波纳奇序列，到昌海兄的<<Riemann猜想漫谈>>里谈到的事例。因此，Kim和Jagaard在他们的论文里写出上述结果时也没有做任何特别的发挥。没想到，在Kim和Jagaard发表这个结果差不多10年以后，因缘相济，竟有人由此made quite a splash in the famous science magazine Nature! 说什么给两个毫不相连的领域搭起了一张桥，吹嘘说是stunningly amazing, like a magic, a bunny coming out of a magician’s hat。一个脱离研究一线的Magazine编辑为给公众和外行吊吊胃口，凑凑热闹，故弄玄虚，添油加醋，增加些影响和销量，本是常态，但被吹者自己掂不出斤两，真的以为自己完成了一个学术突破，常年累月挂在嘴上，毕恭毕敬供奉在自己的学术介绍网页上，就大大地搞笑了。这种神奇的bunny大家可见得太多了！至于把这类东西在演讲前散发给听众（据yinzhangqi兄），就大有误导之嫌，纳税人有权质疑和抗议的。劝那些水平有限成就些微的人，得了实在就算了，还是低调一点吧！别以为众星捧月感觉好，其实有多少人在看猴呢。退一万步，就是要说什么＂搭桥＂之类的话，也是Kim和Jagaard搭起来的，但人家有修养，知道那样说其实是自贬三分，只增笑耳。（有人建议我写一篇XX定理真相，我说算了，还不如像昌海兄，写点对新人有用的东西，老人们就随他们意好了。）
扯远了，抱歉。

C：其他反问题或伪反问题

这一节列出的反问题大体是＂不正经＂的反问题，即为了反而反的＂伪反问题＂。文献上出现不少，但并无实际意义，对新人有非常的危害作用。放在这里讲的原因更多的是提供一些反面教材。

C.1 声子态密度（比热逆问题）

晶体振动对比热的贡献也可以与反问题相连。在不同温度下测量一系列比热值，如何求得声子谱的态密度（给定能量范围的晶格振动状态数目）？


态密度函数有一个天然的限制条件，即它对频率的积分（总态数）等于晶体的全部自由度：
，

其中N为分子总数目，r为每个分子的自由度。
这个反问题是由Lifshitz（应该是与Landau写书的那个合作者吧）和Montroll于1940年代分别独立地利用Mellin变换完整地解决：


其中Γ为gamma函数， M^{-1}为逆Mellin变换，数论中至关重要的Riemannζ函数（它可比Mobius变换重要多了！）自然出现在上述公式里，根子来自Mellin变换。这是1940年代的事，比Mobius公式出现于反问题中早不太久，仅半个世纪而已。

这里想指出，声子态密度反问题与黑体辐射反问题很不同的一点是，后者是个正经的反问题，而前者不是，因为在黑体辐射反问题中，一是精确的实验数据来自辐射功率的测量，二是面积分布函数的现实意义清楚，在遥感，通讯，军工上的应用都是一清二楚的，本身就是解问题的最终目标，而声子态密度反问题中，第一，实验上分离出晶格振动对比热的贡献之数据精确度何等之低！而直接测量声子态密度的实验方法却可以给出很好的精准度，如IR，Raman, X光散射，中子衍射法或动力学模拟计算(X. Dai, S. Y. Savrasov, G. Kotliar, A. Migliori, H. Ledbetter, E. Abrahams, Science 2003, 300, 953). 第二，大多数清况下，声子态密度只是作为一个＂中间物＂出现在诸多物性参数的被积函数里，往往并不是最终的目标（也就是说很多不同的声子态密度函数可以得到同样的结果，而我们实际上可以不管到底哪个为＂真正的＂态密度函数）。

可能令一些人感到奇怪的是近10余年做这个问题的人还是不少，文章不下几十篇，或者是反覆重复＂发现＂Lifshitz和Montroll在60多年前的老结果，或者是提出＂新方法＂给出比Lifshitz和Montroll的结果要遭的＂新结果＂。类似于黑体辐射反问题，可以指出，那些藉助拉氏逆变换的文章通通没有真正解决问题，而仅是将问题换了个＂可爱的＂模样而已，当然更主要的是没用！学者为稻粱谋到处灌水，是为一例。

C.2由结合能反推原子对作用势能

分子或晶体的总结合能由大量的原子间的相互作用势能叠加。总结合能可以直接测量或由基于第一原理的计算得到。如何由总的结合能反推指定的两个原子之间的相互作用势能（或弹性系数张量）也是一个反问题。不过，我认为，直接测弹性系数张量总是比较来得快和准，因而不难看穿文献上这类反问题绝大多数是为了反而反，并无现实意义。毕竟是与实际材料打交道，花架子没有内涵的东西自然没人理睬，很快被遗忘。这个领域的正道是设计合理精确且计算有效的势能模型，这方面的工作当然是太多了，商用软件如Gaussian, CHARMM, AMBER等都已演化得相当强悍。因此，就不多谈了。

4.结语

实际情况涉及的大多数反问题并没有太深奥的学问（可能有胡说之嫌─因为很多Inverse Problems上的文章我读不懂），但这个领域充满活力，原因在于很多反问题都是ill-posed，数值计算时是ill-conditioned，只有比较稀有的情形才作一个有良好特徵的逆变换即可。因此归根到底的任务是：在解的唯一性不满足的情况下如何办的问题，例如，靠经验限定，开发新的实验方法补充实验数据往往才是获得可靠结果的正途，多数情况实与数学处理或数值计算演算法几无关系。当然很多人依然呕心沥血去设法矫正被积函数的内在多重性和不稳定性，即转化ill-posed问题为well-posed问题，由于现实世界的反问题千变万化，这种工作也就永无止境。
另一点想要强调的是，做反问题是＂被逼才反＂，是不得以才反，当正问题的解不可能，很难或代价很昂贵，数据太不准确，才反过来解。只要正问题有解，就老老实实解正问题好啦。不幸的是，文献上有不少反问题是为了反而反，根本没有实际价值，具有误导性。如声子态密度，弹性系数张量等反问题，实游戏尔。

谢谢浏览。
夸赞，鼓励，批评都一样欢迎。

Very good post.

I was wondering why people are interested in blackbody radiation inverse problem. It is, as you said, a little bit useless.

In particle physics, in principle, we are doing some kind of inverse problem all the time. We collide things, observe what is coming out, try to infer what has happened in between. There are a lot of constraints, such as unitarity, rules of quantum field theory, various symmetries, etc. However, the answer is also quite far away from unique. The difficult question here is usually not innovative ways to do inverse (although it certainly helps), but how to guess the right answer from limited information.

谢谢laworder兄的精彩文章！

考虑到upload到imagepile.net的图片有朝一日可能会失效，建议laworder兄将图片打包成zip文件发一份到公共邮箱，这样即便imagepile.net的图片失效，网友们依然可以从邮箱中找到图片复原全文。

即引入温度权重因子a(T)，叫做面积分布函数。

------------------搞半天a（T）就是不同黑体所占据的权重啊


看了半天laworder的文章，虽然没有怎么看懂，但明白了原来现在搞反问题要么是很难搞简直不能搞，要么就是干脆当一个骗子。看来各行业全差不多，真正有意思的事情不是很多。

看到那个跟素数有关的求和，觉得很新奇，但没有明白这求和是怎么一回事情（感觉是law兄说的太快了，跟不上思路）

看到hilbert变换，想起信号和系统里出现过，好象和目前的引力波探测的信号分析也有关系。可惜需要深入看看bracewell的书（一本好书）我才能把那么多东西串联起来，……law兄有时间，还可以漫谈一下小波变换等等这些变换之间的亲戚关系

昨天我去市场上看了几本反问题的书，其中有一本王彦飞博士的书，从封皮上看，和文小刚教授的书是一样的。

好文章！
laworder兄过谦了

谢谢昌海兄的提示。我已将全部公式发到邮箱。另外，我注意到收集在＂繁星文集＂里文章有一个公式（Radon变换公式）与它下面的公式（Hilbert变换）是重复的，恐怕要麻烦站长改回来。

To sage兄:

Inverse black body radiation or its more general version, gray body radiation, has practical applications such as in remote sensing, radar etc where a detector collects emission power from the target that might possess a temperature distribution (e,g, a machine part during heat processing).
How to deal with particle scattering is the hardcore problem in inverse problems. Potential scattering might be the easiest to treat, but inelastic collisions involving high energies make the problem really insidious (to me at least).

Maybe to 轩轩：
────────────────────────────────
看到那个跟素数有关的求和，觉得很新奇，但没有明白这求和是怎么一回事情
───────────────────────────────────────────
Jim和Jagaard的原文有一段推导，约半页，建议你看原文：IEEE Trans. Antennas and Propagation, 1982, 33（7）,797。你肯定走得过。

另外，关于物理于数论的关系，英国有一个好网站，收集了大量文献，并附有相当权威的评论。
http://www.secamlocal.ex.ac.uk/people/staff/mrwatkin/zeta/physics.htm
例如，关于＂XX定理或＂XX-Mobius定理＂以及Maddox杂感的评论为"再平淡不過，眾所周知的东西"("utterly trivial and well known"）,全文如下：

To number theorists this key result in Chen is utterly trivial and well known, and Chen subsequently noted that the rather circuitous original derivation of equation 2 can be replaced by appeal to [a theorem of Hardy and Wright], yet for physicists not familiar with analysis buried in classics like Titchmarsh or Hardy and Wright some new magical tools seem to have been invented. Indeed the Editor of Nature suggested (volume 344 (1990) that by so calling in the treasure-trove of the old world some new insights of classical analysis might become accessible."
( http://www.secamlocal.ex.ac.uk/people/staff/mrwatkin/zeta/physics2.htm

星空兄：
谢谢，过奖了。越来越觉得高段数学功夫和洞察力真的不容易练啊，只好尽力。

:: 我注意到收集在＂繁星文集＂里文章有一个公式（Radon变换公式）
:: 与它下面的公式（Hilbert变换）是重复的。

谢谢laworder兄提醒，已经更正了。

In particle physics, in principle, we are doing some kind of inverse problem all the time.
====================================
想知道LHC的inverse problem发展地怎样了

想知道LHC的inverse problem发展地怎样了

As I said earlier, it is in principle easier than the general inverse scattering problem (which we don't really care). Quantum field theory impose highly non-trivial constraints on what S-matrix can be. Therefore, a theory only contains a limited set of parameters. Measurement of full differential cross-section contains far more information than necessary to invert. However, the real difficulty is that one can only make a very limited set of measurements at the LHC. It is not the collision of one particle on another only. There is no center of mass frame. A lot of QCD background. And so on.

It is going to be hard. Mathematically, it is probably an ill-posed problem, no unique solution, no good algorithm to converge.

However, we are not mathematicians either. Our approach will be combination of more clever observables and good intuition.

谢谢sage兄。原来这个问题的主要困难就在于其解的不唯一性与探测过程中的本底影响。

>>没想到，在Kim和Jagaard发表这个结果差不多10年以后，因缘相济，竟有人由此made quite a splash in the famous science magazine Nature! 说什么给两个毫不相连的领域搭起了一张桥，吹嘘说是stunningly amazing, like a magic, a bunny coming out of a magician’s hat。一个脱离研究一线的Magazine编辑为给公众和外行吊吊胃口，凑凑热闹，故弄玄虚，添油加醋，增加些影响和销量，本是常态 ...

Interestingly, John Maddox's name was mentioned in the Hao Bai-Lin blog article I reposted in this forum several weeks ago. Maddox's decision to leave physics really justifies my earlier questioning of his qualification in commenting on most recent research results in physics. It seems to me that he tends to be hyped by "major breakthroughs in science".

伊辛(Ising)模型背后的故事

郝柏林

......

年青的Luttinger写信给Onsager，想用他的方法求解三维问题，作为博士论文。Onsager回信说，用我的方法解决三维伊辛模型的可能性等于零。1950年代初，在一次国际会议上有人写出了三维问题的“解”。Eliott立即从座位上跳起来说，那不可能是对的。同一时期有流言盛传，说一位年青的英国人解决了三维问题。直到Onsager专程去了一趟英国，传言才销声匿迹。那位年青人叫John Maddox。他在失望之余，放弃物理，改做科学记者，最终成功地担任了许多年《自然》杂志的主编。退休前后，英国女王赐封Sir头衔。1985年Maddox访问北京，笔者当面核对了这段历史。1978年曾经传闻，理论物理尖子之一，苏联的Polyakov解决了三维问题，但不久就烟消云散，Polyakov转去做量子引力。

Omni:

Thanks for your brief but sharp comments. Surely your judgement on Maddox's academic qualification is right. Other than that, he is not the person to blame because, normally, nobody in academia would take seriously a comment from a magazine editor. But situation in China is certainly not normal, that's why his laughable comment could fool the entire Chinese physics/mathematics community into believing the worth of "XX-Mobius theorem".