合作的进化（博弈论）

厨师

北京天则经济研究所第139次双周学术讨论会由吴坚忠博士作主题发言，研讨了美国学者艾克斯罗德提出的《合作的进化》问题，艾克斯罗德通过对多人多次重复博弈的对策研究，指出在博弈中产生合作的必要条件和获胜策略的主要特征。当策略群体是按各种策略的得分进行淘汰和进化时，艾克斯罗德发现，群体以一种不可逆转的方式向合作的方向进化，也就是说，群体的合作性随进化过程越来越大。与会学者在主题发言之后展开了热烈的讨论。以下是这次学术讨论会的综合观点。

　

一、 博弈中最优策略的产生

艾克斯罗德在开始研究合作之前，设定了两个前提：一、每个人都是自私的；二、没有权威干预个人决策。也就是说，个人可以完全按照自己利益最大化的企图进行决策。在此前提下，合作要研究的问题是：第一、人为什么要合作；第二、人什么时候是合作的，什么时候又是不合作的；第三、如何使别人与你合作。


社会实践中有很多合作的问题。比如国家之间的关税报复，对他国产品提高关税有利于保护本国的经济，但是国家之间互提关税，产品价格就提高了，丧失了竞争力，损害了国际贸易的互补优势。在对策中，由于双方各自追求自己利益的最大化，导致了群体利益的损害。对策论以著名的囚犯困境来描述这个问题。


A和B各表示一个人，他们的选择是完全无差异的。选择C代表合作，选择D代表不合作。如果AB都选择C合作，则两人各得3分；如果一方选C，一方选D，则选C的得零分，选D的得5分；如果AB都选D，双方各得1分。


显然，对群体来说最好的结果是双方都选C，各得3分，共得6分。如果一方选C，一方选D，总体得5分。如果两人都选D，总体得2分。



对策学界用这个矩阵来描述个体理性与群体理性的冲突：每个人在追求个体利益最大化时，就使群体利益受损，这就是囚徒困境。在矩阵中，对于A来说，当对方选C，他选D得5分，选C只得3分；当对方选D，他选D得1分，选C得零分。因此，无论对方选C或D，对A来说，选D都得分最多。这是A单方面的优超策略。而当两个优超策略相遇，即A，B都选D时，结果是各得1分。这个结果在矩阵中并非最优。困境就在于，每个人采取各自的优超策略时，得出的解是稳定的，但不是帕累托最优的，这个结果体现了个体理性与群体理性的矛盾。在数学上，这个一次性决策的矩阵没有最优解。


如果博弈进行多次，只要对策者知道博弈次数，他们在最后一次肯定采取互相背叛的策略。既然如此，前面的每一次也就没有合作的必要，因此，在次数已知的多次博弈中，对策者没有一次会合作。


如果博弈在多人间进行，而且次数未知，对策者就会意识到，当持续地采取合作并达成默契时，对策者就能持续地各得3分，但如果持续地不合作的话，每个人就永远得1分。这样，合作的动机就显现出来。多次对局下，未来的收益应比现在的收益多一个折现率W，W越大，表示未来的收益越重要。在多人对策持续进行下去，且W比较大，即未来充分重要时，最优的策略是与别人采取的策略有关的。假设某人的策略是，第一次合作，以后只要对方不合作一次，他就永不合作。对这种对策者，当然合作下去是上策。假如有的人不管对方采取什么策略，他总是合作，那么总是对他采取不合作的策略得分最多。对于总是不合作的人，也只能采取不合作的策略。


艾克斯罗德做了一个实验，邀请多人来参加游戏，得分规则与前面的矩阵相同，什么时候结束游戏是未知的。他要求每个参赛者把追求得分最多的策略写成计算机程序，然后用单循环赛的方式将参赛程序两两博弈，以找出什么样的策略得分最高。


第一轮游戏有14个程序参加，再加上艾克斯罗德自己的一个随机程序(即以50%的概率选取合作或不合作)，运转了300次。结果得分最高的程序是加拿大学者罗伯布写的"一报还一报"(tit for tat)。这个程序的特点是，第一次对局采用合作的策略，以后每一步都跟随对方上一步的策略，你上一次合作，我这一次就合作，你上一次不合作，我这一次就不合作。艾克斯罗德还发现，得分排在前面的程序有三个特点：第一，从不首先背叛，即"善良的"；第二，对于对方的背叛行为一定要报复，不能总是合作，即"可激怒的"；第三，不能人家一次背叛，你就没完没了的报复，以后人家只要改为合作，你也要合作，即"宽容性"。


为了进一步验证上述结论，艾氏决定邀请更多的人再做一次游戏，并把第一次的结果公开发表。第二次征集到了62个程序，加上他自己的随机程序，又进行了一次竞赛。结果，第一名的仍是"一报还一报"。艾氏总结这次游戏的结论是：第一，"一报还一报"仍是最优策略。第二，前面提到的三个特点仍然有效，因为63人中的前15名里，只有第8名的哈灵顿程序是"不善良的"，后15名中，只有1个总是合作的是"善良的"。可激怒性和宽容性也得到了证明。此外，好的策略还必须具有的一个特点是"清晰性"，能让对方在三、五步对局内辨识出来，太复杂的对策不见得好。"一报还一报"就有很好的清晰性，让对方很快发现规律，从而不得不采取合作的态度。

　

二、 合作的进行过程及规律

"一报还一报"的策略在静态的群体中得到了很好的分数，那么，在一个动态的进化的群体中，这种合作者能否产生、发展、生存下去呢？群体是会向合作的方向进化，还是向不合作的方向进化？如果大家开始都不合作，能否在进化过程中产生合作？为了回答这些疑问，艾氏用生态学的原理来分析合作的进化过程。


假设对策者所组成的策略群体是一代一代进化下去的，进化的规则包括：一，试错。人们在对待周围环境时，起初不知道该怎么做，于是就试试这个，试试那个，哪个结果好就照哪个去做。第二，遗传。一个人如果合作性好，他的后代的合作基因就多。第三，学习。比赛过程就是对策者相互学习的过程，"一报还一报"的策略好，有的人就愿意学。按这样的思路，艾氏设计了一个实验，假设63个对策者中，谁在第一轮中的得分高，他在第二轮的群体中所占比例就越高，而且是他的得分的正函数。这样，群体的结构就会在进化过程中改变，由此可以看出群体是向什么方向进化的。


实验结果很有趣。"一报还一报"原来在群体中占1/63，经过1000代的进化，结构稳定下来时，它占了24%。另外，有一些程序在进化过程中消失了。其中有一个值得研究的程序，即原来前15名中唯一的那个"不善良的"哈灵顿程序，它的对策方案是，首先合作，当发现对方一直在合作，它就突然来个不合作，如果对方立刻报复它，它就恢复合作，如果对方仍然合作，它就继续背叛。这个程序一开始发展很快，但等到除了"一报还一报"之外的其它程序开始消失时，它就开始下降了。因此，以合作系数来测量，群体是越来越合作的。


进化实验揭示了一个哲理：一个策略的成功应该以对方的成功为基础。"一报还一报"在两个人对策时，得分不可能超过对方，最多打个平手，但它的总分最高。它赖以生存的基础是很牢固的，因为它让对方得到了高分。哈灵顿程序就不是这样，它得到高分时，对方必然得到低分。它的成功是建立在别人失败的基础上的，而失败者总是要被淘汰的，当失败者被淘汰之后，这个好占别人便宜的成功者也要被淘汰。


那么，在一个极端自私者所组成的不合作者的群体中，"一报还一报"能否生存呢？艾氏发现，在得分矩阵和未来的折现系数一定的情况下，可以算出，只要群体的5%或更多成员是"一报还一报"的，这些合作者就能生存，而且，只要他们的得分超过群体的总平均分，这个合作的群体就会越来越大，最后蔓延到整个群体。反之，无论不合作者在一个合作者占多数的群体中有多大比例，不合作者都是不可能自下而上的。这就说明，社会向合作进化的棘轮是不可逆转的，群体的合作性越来越大。艾克斯罗德正是以这样一个鼓舞人心的结论，突破了"囚犯困境"的研究困境。


在研究中发现，合作的必要条件是：第一、关系要持续，一次性的或有限次的博弈中，对策者是没有合作动机的；第二、对对方的行为要做出回报，一个永远合作的对策者是不会有人跟他合作的。


那么，如何提高合作性呢？首先，要建立持久的关系，即使是爱情也需要建立婚姻契约以维持双方的合作。第二、要增强识别对方行动的能力，如果不清楚对方是合作还是不合作，就没法回报他了。第三、要维持声誉，说要报复就一定要做到，人家才知道你是不好欺负的，才不敢不与你合作。第四、能够分步完成的对局不要一次完成，以维持长久关系，比如，贸易、谈判都要分步进行，以促使对方采取合作态度。第五、不要嫉妒人家的成功，"一报还一报"正是这样的典范。第六、不要首先背叛，以免担上罪魁祸首的道德压力。第七、不仅对背叛要回报，对合作也要作出回报。第八、不要耍小聪明，占人家便宜。


艾克斯罗德在《合作的进化》一书结尾提出几个结论。第一、友谊不是合作的必要条件，即使是敌人，只要满足了关系持续，互相回报的条件，也有可能合作。比如，第一次世界大战期间，德英两军在战壕战中遇上了三个月的雨季，双方在这三个月中达成了默契，互相不攻击对方的粮车给养，到大反攻时再你死我活地打。这个例子说明，友谊不是合作的前提。第二、预见性也不是合作的前提，艾氏举出生物界低等动物、植物之间合作的例子来说明这一点。但是，当有预见性的人类了解了合作的规律之后，合作进化的过程就会加快。这时，预见性是有用的，学习也是有用的。


当游戏中考虑到随机干扰，即对策者由于误会而开始互相背叛的情形时，吴坚忠博士经研究发现，以修正的"一报还一报"，即以一定的概率不报复对方的背叛，和"悔过的一报还一报"，即以一定的概率主动停止背叛。群体所有成员处理随机环境的能力越强，"悔过的一报还一报"效果越好，"宽大的一报还一报"效果越差。

　

三、 艾克斯罗德的贡献与局限性

艾克斯罗德通过数学化和计算机化的方法研究如何突破囚徒困境，达成合作，将这项研究带到了一个全新境界，他在数学上的证明无疑是十分雄辩和令人信服的，而且，他在计算机模拟中得出的一些结论是非常惊人的发现，比如，总分最高的人在每次博弈中都没有拿到最高分。


艾氏所发现的"一报还一报"策略，从社会学的角度可以看作是一种"互惠式利他"，这种行为的动机是个人私利，但它的结果是双方获利，并通过互惠式利他有可能覆盖了范围最广的社会生活，人们通过送礼及回报，形成了一种社会生活的秩序，这种秩序即使在多年隔绝，语言不通的人群之间也是最易理解的东西。比如，哥伦布登上美洲大陆时，与印地安人最初的交往就开始于互赠礼物。有些看似纯粹的利他行为，比如无偿损赠，也通过某些间接方式，比如社会声誉的获得，得到了回报。研究这种行为，将对我们理解社会生活有很重要的意义。


囚徒困境扩展为多人博弈时，就体现了一个更广泛的问题──"社会悖论"，或"资源悖论"。人类共有的资源是有限的，当每个人都试图从有限的资源中多拿一点儿时，就产生了局部利益与整体利益的冲突。人口问题、资源危机、交通阻塞，都可以在社会悖论中得以解释，在这些问题中，关键是通过研究，制定游戏规则来控制每个人的行为。


艾克斯罗德的一些结论在中国古典文化道德传统中可以很容易地找到对应，"投桃报李"、"人不犯我，我不犯人"都体现了"tit for tat"的思想。但这些东西并不是最优的，因为"一报还一报"在充满了随机性的现实社会生活里是有缺陷的。对此，孔子在几千年前就说出了"以德报德，以直报怨"这样精彩的修正策略，所谓"直"，就是公正，以公正来回报对方的背叛，是一种修正了的"一报还一报"，修正的是报复的程度，本来会让你损失5分，现在只让你损失3分，从而以一种公正审判来结束代代相续的报复，形成文明。


但是，艾氏对博弈者的一些假设和结论使其研究不可避免地与现实脱节。首先，《合作的进化》一书暗含着一个重要的假定，即，个体之间的博弈是完全无差异的。现实的博弈中，对策者之间绝对的平等是不可能达到的。一方面，对策者在实际的实力上有差异，双方互相背叛时，可能不是各得1分，而是强者得5分，弱者得0分，这样，弱者的报复就毫无意义。另一方面，即使对局双方确实旗鼓相当，但某一方可能怀有赌徒心理，认定自己更强大，采取背叛的策略能占便宜。艾氏的得分矩阵忽视了这种情形，而这种赌徒心理恰恰在社会上大量引发了零和博弈。因此，程序还可以在此基础上进一步改进。


其次，艾氏认为合作不需预期和信任。这是他受到质疑颇多之处。对策者根据对方前面的战术来制定自己下面的战术，合作要求个体能够识别那些曾经相遇过的个体并且记得与其相互作用的历史，以便作出反应，这些都暗含着"预期"行为。在应付复杂的对策环境时，信任可能是对局双方达成合作的必不可少的环节。但是，预期与信任如何在计算机的程序中体现出来，仍是需要研究的。


最后，重复博弈在现实中是很难完全实现的。一次性博弈的大量存在，引发了很多不合作的行为，而且，对策的一方在遭到对方背叛之后，往往没有机会也没有还手之力去进行报复。比如，资本积累阶段的违约行为，国家之间的核威慑。在这些情况下，社会要使交易能够进行，并且防止不合作行为，必须通过法制手段，以法律的惩罚代替个人之间的"一报还一报"，规范社会行为。这是艾克斯罗德的研究对制度学派的一个重要启发。

hhhhhhhh

不错

厨师

呵呵，来点例子，转自ROR

以下是博弈理论的一个经典案例：
猪圈里有两头猪，一头大猪，一头小猪。猪圈的边处有个踏板，每踩一下踏板，在远离踏板的投食口就会落下少量的食物。如果有一只猪去踩踏板，另一只猪就有机会抢吃到另一边落下的食物。 当小猪踩动踏板时，大猪会在小猪跑到食槽之前吃光所有的食物，若是大猪踩动踏板，则还有机会在小猪吃完落下的食物之前跑到食槽，争吃一点食物。现在问：两只猪会采取什么策略？答案是：小猪将舒舒服服地等在食槽边，而大猪则为这一点食物而不知疲倦在奔忙于踏板和食槽之间。这就是著名的“智猪博弈”。 现实生活中我们也常遇到这样的情况。譬如说，一家澡堂，每天开门时，水管里总有一段是凉水，当这段凉水流完后，热水将会源源不断。于是，每天第一批进澡堂用水的人，他们的情况是要忍受一陈凉水的放水过程，然后才能使有到热水。而他们后面的人，则可以马上使有到热水。如此一来，会出现什么样的情况呢？事实上，很多人都想当“小猪”，等着“大猪”先把凉水放尽。 这里，撇开道德因素，仅从技术角度去谈，“小猪”的策略是对的。但一个群体之中，假如“小猪”的策略是对的话，那么“大猪”就必将越来越少了。如何解决这个问题呢？有个办法，其总体思路就是提高“小猪”的投机成本。还以为那家澡堂为例，如果澡堂的经营者来个分时段收费，让“大猪”享受五折优惠，那么“大猪”就有可能多起来了。 当然，世上的事不会总是这么简单。譬如股市，“小猪”特别多，都想让“大猪”来拉动股价去从中获利。而股市里的“大猪”往往是些“大鳄”，他们“踩动踏板”的同时会设置大量的陷阱，以提高“小猪”们的投机成本，但如此一来，又会引出许许多多的问题来，稍有不慎，大的动荡随之而来。如何平衡“大小猪”之间的利益关系呢？这和是经济学家们一直在苦苦思索的事。

情侣还讲什么博弈？
其实，即使是情侣，双方的爱好或者偏好还是不尽相同。大海和丽娟正在热恋，难得周六又到了，安排好什么节目好呢？周六晚上，中国足球队要在世界怀小组赛中和巴西队比赛。大海是个超级球迷，国内的甲级联赛都不肯放过，何况是国家队和心目中的偶像巴西队的比赛？也正好是这个周六的晚上，俄罗斯一个著名芭蕾舞剧团莅临该市演出芭蕾舞剧《胡桃夹子》。丽娟喜欢钢琴、芭蕾这样的高雅艺术，对俄罗斯的歌剧和芭蕾更是崇拜得五体投地，她怎么肯放过正宗俄罗斯的芭蕾舞剧《胡桃夹子》？那么，一个在自己家里看电视转播的足球赛，一个去剧院看芭蕾舞演出，不就得了？问题在于，他们是热恋中的情侣，分开度过难得的周六，是他们最不乐意的事情。这样一来，他们真是面临了一场“博弈”。
我们不防这样给大海和丽娟的“满意程度”赋值：如果大海看球，让丽绢一个人去看芭蕾，双方的满意度都为０；两个人一起去看足球，大海的满意度为２，丽娟的满意度为１；两个人一起去看芭蕾，大海的满意程度为１，丽娟的满意程度为２；应该不会有丽绢独自看球而大海独自去看芭蕾的可能，不过，人们还是把这写出来，设想双方的满意程度都是-１。
情侣博弈的正式名称是“性别之战”。在情侣博弈中，双方都没遇到“囚徒困境”中那样的最佳策略，但是，他们总会做出一个较好的选择，因他们是热恋的情侣。这里就遇到博弈中最重要的概念“纳什均衡”（纳什于１９５０年建立的概念，由于对博弈论做出奠基性的贡献，他在１９９４年荣获诺贝尔经济学奖），它指明了“情侣博弈”等一大类策略优势不那么明显的博弈的结局。策略优势不明显，指的是双方都没有“不论对方采取什么策略，我采取这个策略总比采取任何别的策略更好”的严格优势策略。其实，我们只需留意一种双方“相对优势策略”的组合。在情侣博弈中，双方都去看足球，或者双方都去看芭蕾，就是我们所说的相对优势策略的组合，一旦处于这样的位置，双方都不想单独防改变策略，因为单独改变没有好处。比方说两人一起看足球，大海得２，丽娟得１。如果大海改变主意单独去看足球，变成双方都得０，没有好处；如果丽娟改变主意单独去看芭蕾，也变成双方都是０，也没有好处，所以，两人一起走看足球是稳定的结局。同样，两人去看芭蕾也是稳定的结局。
这种稳定的结局就是“纳什均衡”，在情侣博弈中，双方都去看足球，或者双方都去看芭蕾，是博弈的两个纳什均衡。形象地说，纳什均衡实际上就是一种“僵局”：给定别人不改变策略的情况下，没有人有兴趣单独改变策略，而且，这种单独改变不会结他们带来好处。

先下手为强
让我们再回到情侣博弈：前面说了，大海是个球迷，丽娟最喜欢芭蕾，但是分开各自度过难得的周六，才是他们最不乐意的事情，那么，他们怎样安排周六的节目呢？我们知道情侣博弈有两个“纳什均衡”：或者一起看球，或者一起看芭蕾。但是，就单次情侣博弈而言，最后结局究竟落实到哪一个“纳什均衡”，是博弈论本身尚未解决的问题。
情侣博弈可以用来描述友好企业或者有互补的企业之间的关系。在这种情况下，企业双方偶尔像真正的情侣那样互相谦让一下也有好处。但是，在许多情况下，结果会体现先动优势，虽然双方都会得好处，但是，先行动的一方得益多一些。比方说，两人还没商量，丽娟就打电话告诉大海：我已经买了票，周六一起去看芭蕾，好吗？他们是恋人，丽娟已经开口说了，大海还会驳她的面子吗？如果你觉得没经过商量就先买了票有点过分，那么，可以把情况改为丽娟打电话给大海，建议一起去看芭蕾，得到同意才去买票，我们可以设想，大海接到丽娟的电话，也不会驳她的面子。
我国古代已有“先下手为强”的说法。的确，大量例子说明，在有多个“纳什均衡”的情况下，常常是先动手的一方会占一些优势。但是，要指出的是，现实生活中也有很多后动优势的例子。在这里，由于决策或行动有了先后次序，所以叫做“动态博弈”。

生物种群中的骗子、傻瓜和小气鬼

生物种群中的骗子、傻瓜和小气鬼
专栏作家东方更夫撰文说，生物学家运用经济学的博弈论，证明了一个到了，即不求报答绝对利他的种群，即使一开始存在，但是随着博弈的多次进行，也将走向灭绝。
假定某个组织中的所有成员都不能自己抓自己头上的虱子。假定B头上有一只虱子，A为它剔除掉。不久以后，A头上也有了虱子，A当然去找B，希望B也为它除掉，作为回报。结果，B嗤之以鼻，掉头就走。B是个骗子。
假设一个生物种群中的个体采取两个策略——傻瓜策略和骗子策略中的任何一种。傻瓜可以为任何人梳理头上的虱子，而不问对象是谁，只要对方有需要。骗子只接受傻瓜的利他行为，但却不为别人服务。在这两种策略的博弈中，傻瓜基因很快就要被挤掉。如果生物种群中骗子所占的比例达到90%时，因为只有很少的人为别人梳理头部而导致寄生虫的大量繁殖，如果我们考虑的只限于很少的人为别人梳理头部而导致寄生虫的大量繁殖，如果我们考虑的只限于这两种策略，那就没什么东西能够阻止傻瓜的灭绝，而且整个生物种群大概也难逃覆灭的厄运。
现在让我们假设还有第三种称为小气鬼的策略。小气鬼愿意为没有打过交道的个体抓虱子，而且为它抓过的个体，它更不忘报答。可是，哪一个骗了它，它就要牢记在心，以后再不肯为这个骗子服务。生物学家证明，小气鬼策略是一种生物进化上稳定的策略，小气鬼优越于骗子或傻瓜，因为小气鬼占多数的种群中，骗子或傻瓜都难以逞强。同样，在骗子占大多数的生物种群中，小气鬼或傻瓜也难以逞强。
生物学家道金斯对三种策略的博弈进行了计算机模拟。开始模拟时，傻瓜占大多数，小气鬼占少数，骗子也属于少数，与小气鬼的比例相仿。骗子对傻瓜进行无情的剥削先在傻瓜种群中引发了剧烈的崩溃。骗子的激增随着最后一个傻瓜的死去而达到高峰。这时，骗子还要应付小气鬼。在傻瓜激剧减少时，小气鬼在日益取得优势的骗子的打击下也缓慢地减少，但仍能勉强地维持下去。在最后一个傻瓜死去之后，骗子不再能够跟以前一样那么随心所欲地进行剥削。小气鬼在抗拒骗子剥削的情况下开始缓慢地增加，并逐渐取得稳步上升的势头。接着小气鬼突然激增，骗子从此处于劣势并逐渐接近灭绝的边缘。由于处于少数派的有利地位同时因受到小气鬼怀恨的机会相对地减少，骗子这时得以苟延残喘。不过，骗子的覆灭是不可挽回的。它们最终慢慢地相继死去，留下小气鬼独占整个种群。
根据以上模型，只要一个骗子，利他主义的“傻瓜”的存在，将带来组织内骗子的繁荣和组织的覆灭。小气鬼策略是组织的稳定策略，它的含意“互惠”，是相互报答和感恩，因此也可以说是互惠利他或互惠自私，就象市场中的那种情况一样。假如大家把相互清除寄生虫作为“宪法”固定下来，那么，可以说，这个组织就有一个道德共识。
编者视点：“傻子”在这个世界一定是无法生存的，因为“傻子”代表“利他”，而“利他”必须“损己”，在一个资源稀缺的世界，任何“利他”行为都是以“损己”为代价的，可以说“利他”的机会成本就是“损己”，而“损己”的极致便是让出你的生存空间给别人。所以，最后的结局，一定是“利他”的“傻子”逐渐地消失，而“骗子”在“傻子”消失之后由于没有了其生存的依托也将自然地走向消失。最后这个世界的生物种群就构成了一个由“小气鬼”所组成的“食物链”——现实存在的世界。当然，“傻子”和“骗子”并非完全消失，即便“小气鬼”有时也会偶尔地充当一回“傻子”和“骗子”，比如说，有人对你说“你应该‘利他’”，那么你一定是碰到了一位“骗子”，他无非是想占你的便宜而已，如果你信了他的话，你也就充当了一回“傻子”。但由于小气鬼把握的原则是“互惠”，他给出的“无偿”机会只有一次，不会有第二次，这就迫使其对手也不得不采取同样的交易规则，否则，交易就会中断，不可能延续。于是，这社会（或市场）就出现了走向公正、有序的转机。