刚Google了一下，大致有信心可以把GitHub翻译成“极客屋”这一荣誉划到自己名下。当然，早有把geek station翻译成“极客屋”的，窃以为可以并存。

科普一下，Git是最近几年开始流行的版本控制软件（比CVS、SVN要新），而GitHub(极客屋)则是部署了Git的一个网络合作平台（当然你也可以把Git部署在自己机器上）。谢益辉说Git是版本控制软件中的战斗机，极客屋则是程序员的Facebook。早就受他感染，自己也去注册了一个，开始玩儿：

https://github.com/Jiangtang

看益辉自打来到美国，一半以上的在线时间都泡在极客屋里。借助个平台，大概可以激发自己写代码的兴致，我也要多督促自己多些代码了。

一月份我到的北卡，离SAS总部是更近，但是自己SAS代码却写得不多。我在这里换了份工作，从纯SAS程序员转成咨询顾问（还是在临床研究这个领域），工具大致是Excel、SAS Solutions（+Java）、PowerPoint，SAS Base本身则成了一门胶水语言，不像以前是出报表的主打工具。北卡地广人稀，鸡犬之声不相闻，跟北京比是几乎没什么应酬，刚好可以写写代码，杀杀时间（为写代码而写代码，简直跟为艺术而艺术一样纯粹）。

翻了下这个博客，更新得是很不够（我去年年底的一份总结在这里）。但接下来的时间里，我会更多地更新另一个英文技术博客（From a Logical Point of View）。关于技术话题（比如SAS， CDISC），即使对中文读者来说，英文也是更为Google Searchable的（如果google不到，那就可能不存在），这样对读者和我，都方便了很多。听谁说过，博客不是用来浏览的，而是用来被搜索的。这个中文（所谓）技术博客，我觉得最好用来说说八卦，技术八卦什么的，然后它们链上某些有意思的话题，比如说极客屋之类的。下篇或许谈谈我现在的公司和CDISC，我每天的工作。

主题（关键字）：SAS编程、生物统计、行业应用

时间：2011年10月28号，周五，晚上，7点到9点

地点：北京大学，二教422（地铁北大东门下就是）

适用人群：对SAS与生物统计感兴趣的在校生，其他感兴趣的朋友也欢迎捧场

组织单位：北京大学应用统计研究会

出席人员：来自赛诺菲巴斯德(Sanofi Pasteur)生物统计中国部的SAS程序员与生物统计师

这将是一场非正规的经验交流（赶在这个校园招聘忙的季节），但我们也抱着接触潜在实习生与员工的想法。对我个人来说，就是趁着机会，回次学校，见见朋友，再体会一把久违的社团生活。

又，如果你是在校生，先读一下这篇文章会很有作用：

http://cos.name/2010/04/think-sas-1/

1.  CDISC Express

CDISC Express是一款开源的SDTM转化器，基于SAS和Excel（其实背后是XML）。我为这个产品写了一系列的入门教程，并参加了一个相应的比赛（赢了一台iPad）。益辉最近也抽中了一台Kindle，加上上半年在SAS Global Forum拎回来的一台Kindle,不禁感慨，知识（和概率）真是咱农民的第一生产力呀。对着手头这台上世纪的诺基亚6300，我坚定的目光瞄上了iPhone5。有一句话说，做自己喜欢的事，然后找一个人或机构买单，人生一乐也。

又，把临床数据自动导入到符合CDISC标准的数据集，现在有不少vendor在做，很多药厂内部也有开发。感兴趣的朋友不妨也鼓捣鼓捣。

2. Big Data

现在还提这个概念就较不时尚了，重要的是如何做，或者如何为以后做些准备。SAS也将加入对Hadoop的支持，不过现在Hadoop的框架还是基于Java，拣回来些C/C++、Java或者Python还是很有戏场的（甚至R也能够玩会Hapoop），对一个SAS程序员来说，是时候更新自个的工具箱了。

迄今为止，这个领域还是IT人士的天下。这一方面说明了我们这些传统的数据分析人员还需要夯实技术（去看看Hadoop的‘hello world’, 所有的操作都要分解为map()和reduce(),而这并不是所有人都习惯的），也说明目前这一块，发展还在起步阶段，因为这些框架，最终都是要为了让数据产生价值，而这就不可能有数据分析师的缺席。

3. SAS之外

这些日子，在SAS之外，试图拣回来些数据挖掘的东西。本来准备四月份在拉斯维加考下SAS数据挖掘的认证，后来还是被其他事情给挪掉了。最后所得就是，还是稍微看了下这块的东西，在概念上是过了一遍。这次在拉斯维加，碰到以前在北大一起做SAS俱乐部的朋友光辉，他现在加拿大工作。光辉说他趁着开会的缝隙，随手把SAS的数据挖掘认证（SAS Certified Predictive Modeler using SAS Enterprise Miner 5 or 6 Credential）给考了。这叫行动力啊。

机缘巧合，这上半年有朋友给我介绍Feature Selection（大白话就叫变量选择，在数据挖掘里面属于前期的工作），我就对着一个R的包看了一遍，也就是在脑袋里过一下，最后没有什么成果出来。另一个额外的好处是，这次我是对R在学习方面的优势有了切身体验，对R算是有了些个人感情。一边找论文看，然后几乎就能找到一个相应的R包跑一跑，增加些手感，这效果真是不错。

再说些R。我还真尝试过认真学一学R。做为一个SAS程序员，想，还是从input/output开始吧，就先研读官方文档R Data Import/Export，转了一圈，发现，这数据读取转存还是SAS更为方便有效，对我来说，鼓捣这个有点得不偿失，遂罢。

又想，R对SAS的一个优势在于它支持多种数据结构，像array、list之类，就从这入手了。不知道怎么搞的，在学习R的数据结构时，可能是我学习不够深入，修为不够，总觉得有些不够畅快——具体我说不上来。想，我还是把自己的Python拣回来吧，R跟Python有类似的地方。后来我就能说上来了，Python的List等数据结构，对我来说，的确是更为优雅（换一种说法，或者是因为我还没有读到一本“优雅地”介绍R数据结果的文档）。好吧，到此为止，我的R还停留在用它尝试算法的阶段。

然后就是捡回Python。我两年多的SAS程序员工作经历，一个直接的后果就是把之前学过的一点C++、Java和Python又打回“hello world”的水平，手都生疏了。我读了很多Jian Dai（他在加州做SAS程序员）的代码，包括Perl, C, JavaSAcript等等，想，做SAS程序员也不至于把其他的语言都丢掉，为了方便，又重新学习下Python。

为学而学毕竟有局限，在工作中使用当然来得最快。现在我还没有这机会，除了翻文档之外，就尝试用Python写些小东西，把它就当一回事一样。其实，除了工作中直接使用，还有一项就是参加开源运动——我看益辉这几年写R代码是风生水起，一个极大的外部刺激就是参与开源运动，整个积极性都给起来了。一个普通的统计学博士生，用不了那个多的代码量，那动力，就在于统计之外。

统计。今年的基础统计学习，没有去年那么饱满。每天跟统计师打交道，就想好好学习一下他们的语言。今年，到现在为止，算是在工作中（向统计师）学习，整了下CI calculation和euivalence and noninferiority test。下一步准备鼓捣些Sample Size之类。有个哥们写了一篇文章叫Programmers Need To Learn Statistics Or I Will Kill Them All，好吧，作为一个程序员，为了生命安全，每天跟统计师打交道，还是学下统计了。

4. 工作

不是说自己的工作，是说工作与实习机会。感兴趣的朋友，不妨跟我联系。中南大学统计系的本科生韩帅，不久前结束在我公司的实习，在Sxlion主持的SAS中文门户写了两篇非常有价值的总结文章，大伙可以去看看：

一个SAS菜鸟的故事 学习篇

一个SAS菜鸟的故事 实习篇

人是这样的，只有经历过了（我说的是第一份实习或其他），才能自信地自称“菜鸟”，否则就真是论坛里“弱弱地问”的菜鸟。我推荐我公司，当然是因为最熟悉。说实在的，在北京，在药厂，对SAS程序员来说，这的确是一份不错的的实习机会。去年我也推荐了汤耀华来我公司做实习生，他现在中科院读研。这两位都来自中南大学，怎么说？对我和我的同事来说，他们提升了中南大学在我们心目中的分量。在上海，我想，很多SAS程序员对中南大学也很有兴趣。

一些大学生朋友给我写邮件打电话，说些职业或技术选择的事。这不是选择两个到手的offer，大哥，随便扎进一个方向，都比在那犹豫强。

5. SAS

还是得提一下SAS。现在用上SAS9.2了（然后SAS9.3就华丽丽地发布了。。。），对我来说，直接地，有两个触动：

1）SAS9.2及以后，作图更漂亮，我终于有些动力研究下SAS作图了。在公司，去年与宾州的同事一道，把公司作图的macro（基于9.1.3）的更新以后，以后都直接调用，压根就没写过proc gplot之类，然后我就发现自己作图的那一点点手艺正在迅速凋零。。。

2）SAS9.2中，BASE中正式支持自定义函数（仿佛听到其他门类的程序员在冷笑，我弱弱地辩解一下，SAS/IML早就可以自定义函数，而且对SAS程序员来讲，一直使用macro写一种叫function-like macro，而且，macro也支持递归。。。）。这将给我们的编程生活带来不少乐趣，其中之一就是可以把以前的一些macro改写成函数（方便debug啊）。

在写函数之前，我把SAS BASE里面的函数都看了一遍，省得以后重复造轮子：

把所有的函数分门别类导入到Excel，然后动用一点VBA，把每个函数的解释都搁进每个函数名的comments里。这么一梳理，又发现不少有趣的东西，再议。

要声明一下，我对R印象也非常好，身边很多朋友用R，大多在高校，也有在职的。我个人机器里装了R，也用R自学过些数据挖掘，但用得都不够深入，自然是没有底气评价它如何如何，我关注R的行业新闻要多于R本身。不过想身边这么多聪明的大脑都用R，凭他们的品味，R一定不错。关于SAS和R，我的主要意思是，为了找工作的便利，学点SAS吧，又不是什么水火不容。想，有这么多也不笨的大脑，这么多也受人尊重的公司，不用说，SAS也是不赖的东西。

在R面前提SAS，我的语气一般会很谦虚。为什么？因为SAS跟R相比，是太不对称了。现在SAS系统9.2，代码量是1600万行，跟R比赢了是胜之不武，输了就很没面子。所以在“虚拟的”R与SAS之争中，R用户天然占优势地位。

现在SAS用户有一个直接与R用户沟通的机会，“第四届中国R语言会议”，2011年5月28日~29日，人民大学，现在有18个话题：

1    赵毅    R与.NET混合编程及其在化学计量学中的应用
2    李青龙    R与VBA混合编程
3    王洪月    SAS Interation With R
4    胡江堂    R vs SAS
5    颜林林    R的高级编程技巧及Rcpp的介绍
6    李舰    R与高性能运算
7    张金龙    系统发育比较方法方面
8    张雯    R对物种的进化关系进行分析
9    曹宗富    基于R Bioconductor进行生物芯片数据分析
10    曹飞    R在生物信息学中的应用
11    卢一鸣    Lasso算法在高通量生物数据处理中的应用
12    李欣海    R在生物统计教学方面的应用
13    肖嘉敏    基于R的网络用户行为研究
14    祝迎春    R在择偶上的应用
15    邓一硕    R在计量金融的应用
16    林伟林    R在套利中的应用
17    李颖    R相关书籍的出版
18    张伟平    MCMC方法在R中的实现

到时我会把这场“虚拟的”R与SAS之争直接带到会场。王洪月是我的前同事，来自SAS中国研发中心，我很期待他关于SAS 9.2中跟R交互的内容，这才是最积极的正面举动。

又，看现在收到的话题，刨去3、4两个关于SAS的，总结一下，生物信息和social network这块，还真是很火啊：

R与其他语言交互，包括.net、VBA和C++： 1、2、5，

高性能运算：6，这对SAS来说，也是很火的话题

生物：8、9、10、11、12

SNS：13、14

金融：15、16

算法：18，MCMC

其他：17

第一个Anthony James(Jim) Barr，更多地被称为Tony，SAS系统的发明人，今年4月份在佛罗里达拜访他并长谈（右一）：

Jim Goodnight和John Sall，现在SAS公司的一、二号当家，在拉斯维加斯的SAS全球大会见到。我没有跟Jim Goodnight有任何互动，最“近”的一次是几年前，当时在SAS中国研发中心，收到唯一一份来自Goodnight的邮件，大概是群发给全球一万多号员工的。John Sall来过北京，不过没机会见过。这次在拉斯维加，在一间中型会议室，看他慢慢演示JMP，差点超时。

第四个创始人Jane负责文档，还没有见过。不过去年，就在北京，有幸见过第一本SAS user guide (A User’s Guide to the Statistical Analysis System, 1972)的作者，Dr. Jolayne (‘Jo’) Service(左二):

Jo离开北京后，还随着美国统计学代表团参加了上海生物统计学术论坛（SBF）组织的活动。

“统计之都”(http://cos.name)的朋友拉来人大统计学院和中科大管理学院，一起办一个大学生数据挖掘的比赛（“第一届全国大学生数据挖掘邀请赛”）。非在校生的朋友可能也会感兴趣，这次比赛的赞助商是上海的一家婚恋交友网站，比赛的任务是，“评估给定的候选会员集合中，哪些会员更容易获得特定会员A的青睐”。有评论认为，这是两会之后，真正关注国计民生的好题目。

预祝这次竞赛活动圆满成功。先去围观了：

http://www.statmodelingcompetition.com

http://cos.name/2011/03/1st-data-mining-competetion-for-college-students/

2. SAS Global Forum 2011, Las Vegas, Apr 4-7

SGF2011的会议论文已经放在网上，大伙可以先睹为快：

http://support.sas.com/resources/papers/proceedings11/TOC.html

这将是我第一次参加SGF。我提交的论文很水，几乎跟SAS无关，讲的是装备一个SAS程序员的几个简单的工具：文本编辑器Notepad++、文件比较工具Beyond Compare以及个人信息门户Gmail和Google Reader。

——恩？怎么还有Gmail？这话题似乎难登大雅之堂，但我觉得还是非常重要的。总体而言，SAS程序员/SAS用户的技术装备水平不高。根据SAS邮件组SAS-L订阅者邮箱使用的相关数据（http://www.howles.com/sas-l），一共有3万7千个注册邮箱，现在能跟使用者本人对应起来的邮箱数大概是4千8百个。而在这4800个可以说是较为有效的邮箱中：

• .edu后缀的有722个
• .net的698个
• .org的198个
• .gov的195个
• .com的当然最多，有2680个

而在这2680个.com邮箱中，有大量分散的公司邮箱，不论，几个常用的免费邮箱是

• Gmail有269个
• Yahoo有252个
• Hotmail有174个

这什么概念？首先，SAS用户，大量集中在企业，我猜R-help邮件组的Gmail使用者应该会非常多——当然这不是这里的重点。使用公司或机构邮箱的，大多数人用outlook之类的客户端收发邮件，其余的如Gmail、Yahoo、Hotmail用户大多使用Webmail的方式。作为一个Gmail爱好者，我好奇的是众多的非gmail用户如何管理（以及忍受）来自SAS-L成千上万的邮件的。

又，SAS-L的Gmail邮箱订阅者较少，还有一个可能，就是大伙都喜欢在工作时间收取SAS邮件。我个人推荐用Gmail收取邮件组的邮件，同样，根据个人兴趣，那天我还会跟SAS用户推荐Google Reader，这个所谓Web2.0时代的利器。这次SAS大会同样也充满2.0精神：

• 一个Twitter账户，#SASGF11
• 一个官方博客，http://blogs.sas.com/sgf/
• 一个Facebook账户
• 一个LinkedIn讨论组
• 一个信息门户，http://sascommunity.org/

到时热闹了。

http://cos.name/2010/12/think-sas-2/

感兴趣的朋友不妨去拍拍砖。还没写完，这个系列。

另外，我有一篇文章被明年的SAS全球论坛(SGF2011, April4-7, Las Vegas)接受，题目很大，叫做Work Smarter than Harder-tools for growing up a SAS programmer,写的是装备SAS程序员的一些普通工具。卑之无甚高论，但现实中一般SAS程序员的装备还是挺落后的，大都拿“分析员”而不是“程序员”的标准要求自个。这篇文章草稿在

http://jiangtanghu.com/docs/en/SGF2011_JiangtangHU(draft).pdf

一样欢迎大伙拍砖评论。

明年去拉斯维加斯，心里又不禁嘀咕，倒是可以趁着这个机会把SAS数据挖掘的认证考下来。这样这几个月就又有得东西忙了。

明年准备数据挖掘，但今年开始的统计学基础还不能丢。还想给“统计之都”写些类似“方差分析初步”之类的文字。统计学我的底子高深不了，就沉浸在表达这块了。

大伙新年愉快。

jiangtanghu<at>gmail<dot>com

这里只负责牵线搭桥，具体的会安排您跟SAS R&D的负责人谈。

像外行一样思考，像专家一样实践。

刚在“统计之都”（COS）贴了一篇读书笔记，关于假设检验的基本概念。作为一个非统计出身的SAS程序员，我特别在意如何用大白话来解释统计学的概念：数学公式的推导，我可能走不了多远；但用普通话给表达出来，我其实没什么劣势。写这类文章，我都把自己的认知界定在高中水平，然后一路路给出示例说明，最后达到理解某些概念的目的。比如这篇关于假设检验，基于这段时间来生物统计学基本教材的阅读（这里和这里）而做的一个笔记，就是从日常的逻辑推理说开去。从常识说起，能推到多远，就写到多远。

这一年的统计学阅读，多集中在生物统计方面。生物统计基础，是统计学中最保守也是最经典最严格的那部分——这对我来说，一个好处就是，可以借这个机会，细致地补补统计学101。如果有时间，我倒是愿意就每个主题都写一篇。以后如果自己长时间不接触统计学了，通过自己的笔记还可以迅速捡回来（《程序员统计书》？）。时间，写这个东西最耗的就是时间：什么东西都得不厌其烦地写出来。最后自己读一读，都有些琐屑的味道。

———–

在那篇博文里，我借用了一个在线统计学习网站的一个t分布生成器，挺方便的东西：

http://onlinestatbook.com/calculators/

英文世界里，SAS程序员第一个应该去的地方应该是SAS Community Planet:

http://www.sascommunity.org/planet/   RSS订阅：http://www.sascommunity.org/planet/rss20.xml

现在里面收录了24个相关博客（包括“技止于此”的英文博客，From a Logical Point of View），内容涵盖SAS编程、BI、行业信息等等。另外，SAS一些员工或部门也在在其主页开博（现在是15个），见

http://support.sas.com/community/rss/

这里的博客与Planet的博客会有些重合，建议是一个个点过去，总能找到值得订阅的。比如，SAS公司负责IML开发的Rick Wicklin，今年的9月初开了一个IML相关的博客，唤作The Do Loop，现在已经有33篇了，质量都很高，而且适合不同层次的读者阅读。有意思的是，他有个明文的规矩，周一些初级篇，周三是中级篇，周五则是高级篇，各位读者，皆大欢喜（这里介绍了这么多Rick，也有一些私心。他上个月也推荐了一下我的一篇博文，也是关于IML的。之前我在blogger开英文博客，到现在也没写几篇，以后再接再厉了）。

回到中文世界。mysas论坛的掌门人shiyiming前些日子新开辟了一个栏目，叫做“SAS世博汇”，号称要“网聚全球优秀SAS博客的力量”（就是定期出爬虫抓取相关博客内容，中文为主，现在看到的数量是8个，包括Liu Wensui、ooloo等知名ID）。mysas现在也支持RSS订阅，所以这个渠道看着也还不赖。

上海还有一个活跃的朋友，sxlion，新开了一个SAS博客群，在网聚SAS博客方面，用功甚勤：

http://saslist.com/

里面提供了一批SAS中英文博客（跟上面提到的也大多重合）。这个saslist还提供博客群服务，现在还是以mysas活跃的朋友为主，比如hopewell。刚刚建起，会有些粗糙的地方，有兴趣的朋友可以上午鼓捣一下。

关于群体博客，现在做得最好的是“科学松鼠会”，科普类。另外跟统计相关的，就是“统计之都”。sas群组，现在都还是刚刚起了个头。

工作中一个感受是，如果一个问题成功地转成了数学形式，那你就可以轻松地解出来（随便叫一个学习还算认真的大学生也能解出来）。困难的是如何把问题转换成数学形式。

1. Calculus by Michael Spivak, Publish or Perish Press, 1994

这本书的出版社很有意思，叫“不出版，就完蛋”(Publish or Perish)，是作者Spivak拥有的一家小型出版社，而且出的大多是他自个的书。为什么选这本微积分教材？因为IBM的一位工程师Antonio Cangiano在他的博客里有推荐。先推荐一下他的博客：

http://math-blog.com

一位软件工程师写的数学博客，内容生动适度。如果打不开网页，你可以直接在google reader里订阅。在一篇名为the most enlightening calculus books的博文里，Cangiano（当然）还提到Apostol以及Hardy的经典教材，但咱嫌它们太难。Spicak的这本书，是introduction to real analysis的水平，觉得对自个是一个挑战，但不妨一跳那种。

2. Introduction to Linear Algebra, 4th edition by Gilbert Strang, Wellesley-Cambridge Press, 2009

Strang这本，可能是世界上最好的线性代数入门书。他今年在MIT开的这门课，可以在MIT开放课程里找到：

http://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/

前些年孟岩写了一些列关于线性代数的文章，现在读起来还是很让人大脑激荡。自个也要去线性空间去巡巡礼了。

又，前些年上海师范大学的数学老师eijuhz，托我在北大图书馆借过这本书。当时想就应该是好书。

3. Introduction to Probability, by Dimitri P. Bertsekas and John N. Tsitsiklis，Athena Scientific, 2002

这家雅典娜科学出版社(Athena Scientific )又是一家跟本书作者息息相关的小型出版社，这本书，也是MIT数学教授写给工程师的教科书，同样可以在MIT的开放课程里找到。我手头是第一版。

读这本书的缘由，大概是“MIT”这个关键字。无论怎么样，这是一本不错的书，可着劲儿读掉就是。我看各种教材就像我们古时候的字典，没有索引，你只有背下来了才能使用。我常翻阅的资料，很多都是以前用的熟透的教科书。遗憾的是，以前用的教科书，并不是每一部都是经典（所以，现在有些垃圾书也在翻着，路径依赖啊）……

4. Biostatistical Analysis (5th Edition) by Jerrold H. Zar, Prentice Hall, 2009

Zar教授引以为豪的，除了这部最受欢迎的生物统计入门书，还有一首关于spelling check的打油诗。我拿这本书捡回些统计的基础知识。这本书的数学保持在高中水平，这也是我手头要备着上面三个大部头数学书的原因之一。

5. 沈明来编著《生物检定统计法》，台北：九州图书文物有限公司，2007

台版书。一些表达比较有趣，比如提到T分布，说Gosset与1908年“诱得此式”。

又，内页介绍出版社，说它在台湾大学侧门麦当劳楼上。麦当劳楼上的出版社，你猜我想到哪家？哦，中国人民大学出版社。

生物检定(biological assay)所需之统计法，与一般统计指导书所述法不尽相同。

1.北京数据管理与生物统计论坛（BBF）第三次聚会

9月4号下午，周六，北大医学部。详见：

http://cos.name/2010/09/3rd-bbf/

2. mysas.net 线下交流

上海，谷麦咖啡店，9月11号，下午，参与者sxlion、jthu、tianwild、ahuige、shiyiming，话题：SAS非SAS，技术非技术，兴之所至，无所不聊。照片见：

http://mysas.net/sns/space.php?uid=1&do=album&picid=372

上海是SAS程序员的大本营。我第一次来上海，当然要去拜拜码头了。九月10号晚上我在北京发贴召集，还好有这么些活跃成员捧场。据说在上海，像这样临时凑一个局可不容易。

3. CDISC Interchange China 2010

这次CDISC交流大会中国站在上海举行，复旦大学医学院，9月15号。去年在北京办，跟同事也都参加了。一些话题：

3.1  CDISC Worldwide – Highlights 2010 (including Healthcare link, JIC, BRIDG)  by Frank Newby and Rebecca Kush (CDISC)

演讲者是CDISC组织的二号人物，Frank Newby（简称“牛掰”。Rebecca Kush 是CDISC组织的CEO）。由于FDA的推动，CDISC现在一个很明显的动向就是与HL7的融合。这次大会本来还安排有HL7的CEO Charles Jaffe的演讲，Hl7-CDISC Relationship，应该也会很精彩，可惜Charles 没能过来。

3.2 x3C  Updates

x3C包括J3C、K3C和C3C，分别代表日本、韩国和中国的CDISC协调委员会(CDISC Coordinating Committee)，演讲者是相应组织的负责人：

J3C: Yoshio Tsukada (GSK Japan)

K3C: Sukil Kim (Catholic University of Korea)

C3C: Simon Wang (Parexel China)

今年CDISC组织在亚洲的动作很大，你可以在CDISC的博客看些更新。

3.3 CDISC Standards for Study Start-up (Business Case, Protocol and Trial Registration, CDASH Standards for CRfs, eSource Data Interchange) by Frank Newby and Rebecca Kush (CDISC)

演讲者仍然是“牛掰”先生，强调把CDISC标准运用到临床研究的整个生命周期，从方案设计、数据收集到分析以及提交监管当局。

现在在概念上火的是CDASH，数据收集这块。我说是“概念”，是因为临床数据管理本身有很复杂和成熟的系统，要采用新的标准，还有很长一段路要走。

3.4 The future of Clinical Data: The Evolving Impact of CDISC and Hl7 Standards on Data Management, Submission, and Pharmacovigilance  by Wayne R. Kubick  (Phase Forward lincoln Safety Group)

Wayne R. Kubick 被认为是“CDISC之父”，在CDISC组织还没有形成时就是其领军人物。这次他讲临床数据的远景，其中一条也是与HL7的融合，以后大伙应该会经常CDISC/HL7的字眼。

Wayne 的口音跟相貌，都跟克林顿有类似，在Lincoln Technology工作（Lincoln Technology后来被Phase Forward 收购，而Phase Forward 最近又被Oracle收购）。

Lincoln Technology在临床研究领域是一个非常厉害的科技公司。会后我跟Wayne 聊到他部门另外一位伟大的科学家，William DuMouchel。William 在AT&T工作时发明了药物安全监测的Gamma Poisson Shrinker（伽玛泊松缩减）法，它是一种贝叶斯方法，为FDA推荐使用。

3.5 CDISC/FDA Pilot for Integrated Safety Data (Pediatrics Studies) by Yuguang Zhao (Eisai Global Clinical Development)

CDISC的SDTM标准已经被FDA接受。这次CDISC/FDA的联合活动，类似于完全运用CDISC标准向FDA提交临床研究报告的一次预演，包括SDTM、ADaM和define.xml。

这个演习活动，召集了业界二十来位好手，牵头人物是：

Chris Decker, d-Wise Technologies

Yuguang Zhao, Eisai Pharmaceuticals

Steve Hirschfeld, National Institute of Health

Yuguang之前在sanofi-aventis工作，是CDISC SDS TEAM的核心成员之一，今年上半年来我们办公室参观过。关于这次活动，你可以参考：

http://www.d-wise.com/papers/rs02.pdf

3.6 Building an eCRf CDASH library – A Case Study by Paula Silva (Phase Forward Services)

Paula讲的是CDISC的新宠，CDASH，以及Phase Forward公司的产品PhaseOne.

3.7 CAMD ADAS-cog Questionnaire SDTM and ADaM Implementation by Sandy Lei (J&J)

Sandy去年的CDISC活动中见过。她是中国CDISC的教母级人物，CDISC SDS TEAM的核心成员之一，前些年CDISC就是她给引进中国的。会后Sandy问我听得怎么样。我老实回答，其中只有SDTM/ADaM的部分能听懂，关于CAMD ADAS-cog 听得是一愣一愣的。回北京我是恶补了一下，你也可以参考下：

http://www.c-path.org/pdf/CAMDWorkScope.pdf

3.8 Update on Terminology and SHARE Project by Chris Tolk (CDISC)

Chris在CDISC组织里负责Terminology，她也是CDISC其他标准的活跃参与者。CDISC组织维护的Terminology，也被NCI的EVS系统收录，算是一个很大的成就了。

3.9 Integration of Electronic Data Capture (EDC) and Interactive Voice Response (IVR) randomization systems using ODM, vendor extensions and web services by Andrew Newbigging (Medidata Solutions Worldwide)

又是一位牛人(New–)，Andrew Newbigging讲的是在EDC以及IVR系统运用CDISC的ODM模型，又是临床数据管理方面的内容。

3.10 XML: The SAS Approach by John (Jiangtang) Hu and Na Ye (Sanof Pasteur Biostatistics China)

我跟同事Na带来的话题安排在下午，最后一场，以契合我们业界小兵的形象。来上海之前我在公司排练过一次，这次讲完后，有朋友提醒，我演讲时手一有机会就插兜里，噫。不是为了摆酷，手本来就跟香蕉一样，上台时就不知道该放哪。

CDISC各个标准，其数据都是通过XML来储存和传输，我们这个话题就是来讨论如何用SAS来处理XML数据——SAS程序员嘛。

作者三位（SDK），在这个领域都是行家，SAS公司的一位负责统计工具研发的总监Maura E. Stokes , 爱荷华大学生物统计系的教授Charles S. Davis（后来他投身工业界）以及北卡大学教堂山分校生物统计系的教授 Gary G. Koch 。用SAS做Categorical Data Analysis，这书是引用最多的一本。国内一本书，刘勤和金丕焕编的《分类数据的统计分析及SAS编程》（复旦大学出版社，2002），能看到本书的影子（美中不足的是，这本书丝毫没有提到SDK）。

我喜欢这本书，还因为它是我读过的SAS BBU（books by users）系列中排版较好的一本。BBU一般由SAS Press或Wiley两家出版社出版，一个印象是，Wiley出的SAS书排版会比SAS Press的质量高。这本书由这两家联合出版。

以前学Categorical Data Analysis，上手就是Logistic回归，做信用评分/数据挖掘需要这个（这本书的后半部分讲这些模型）。现在的工作，需要多的是本书的前半部分，对列联表做的各种检验，这是统计学里相对传统的部分，也是我这样非统计科班出身学统计学时忽略最多的部分。

还有，这本书的数序公式用得恰到好处，简洁又富有启发性，能让一个（只）有基本数学素养的SAS 程序员体会到模型的含义，又不至于淹没在数学符号的汪洋大海之中。

2.Common Statistical Methods for Clinical Research with SAS Examples(2nd edition, SAS Inc., 2002)

作者是SAS最老的一批咨询顾问Glenn A. Walker。现在这书出了第三版，加上了一位合作者，Duke Clinical Research Institute（世界上最大的学院CRO）的一位SAS程序员，Jack Shostak，他也是SAS Programming in the Pharmaceutical Industry的作者。

我没有比较与新版的区别，只说说手头的第二版。跟SDK一样，这本书是用来恶补现在所需要的统计学基础的，给回归只留了两个章节：

Chapter 1 – Introduction & Basics 
Chapter 2 – Topics in Hypothesis Testing 
Chapter 3 – The Data Set TRIAL 
Chapter 4 – The One-Sample t-Test 
Chapter 5 – The Two-Sample t-Test 
Chapter 6 – One-Way ANOVA 
Chapter 7 – Two-Way ANOVA 
Chapter 8 – Repeated Measures Analysis
Chapter 9 – The Crossover Design
Chapter 10 – Linear Regression
Chapter 11 – Analysis of Covariance
Chapter 12 – The Wilcoxon Signed-Rank Test
Chapter 13 – The Wilcoxon Rank-Sum Test 
Chapter 14 – The Kruskal-Wallis Test
Chapter 15 – The Binomial Test
Chapter 16 – The Chi-Square Test
Chapter 17 – Fisher’s Exact Test
Chapter 18 – McNemar’s Test
Chapter 19 – The Cochran-Mantel-Haenszel Test
Chapter 20 – Logistic Regression
Chapter 21 – The Log-Rank Test
Chapter 22 – The Cox Proportional Hazards Model

章节设置，跟Jerrold Zar那册有名的Biostatistical Analysis类似，正好方便SAS程序员备查。这些统计学，在药厂的clinical部门常用。至于模型味更浓的data mining系列，discovery和pharmacovigilance（PV，药物警戒）部门用得多些。

这本书在写作方面没什么特色，好处在于实用、全面，做工具书再好不过。

————————————————————-

作为非统计出身的SAS程序员，经常徜徉于data steps，现在翻翻它的统计部分，又能感受到它背后的另一片广阔天地。浏览一下SAS/STAT 9.2的研发团队，——罗列书名、人名总能激起我的斗志，噫。

昨晚提到Excelpro的新书，《Excel图表之道——如何制作专业有效的商务图表》（刘万祥，北京：电子工业出版社，2010）。说些Excel，从一个SAS程序员的角度。

相对SAS，或其他的软件包（SPSS、R/S-Plus、Matlab等），Excel都是一个轻量级的分析工具。本来，Excel无意在统计分析方面跟那些统计工具包一较长短，各有适用的地方而已。但在商业世界，用Excel做分析的用户太多了，说最流行也不为过，一些统计学者，就提醒广大用户，用Excel做统计分析时一定要谨慎些，它有时候不够严谨有时候不够靠谱。详细的，可以参考谢益辉的三篇博文（以及他文中所附的参考材料）：

1.Excel中的缺失值和0

2.为什么避免用Excel作统计计算

3.再谈为什么不用Excel做统计分析

用Excel本身的计算引擎有时是不够严谨，这是故事的一个方面（当然，它应付日常工作还是可以胜任的，对Excel，我们这点信心还是有）。故事的另一个方面，是鉴于Excel的广泛流行，各大BI（商务智能）套件，包括SAS系统，都要提供与Office/Excel整合的功能。上面就是 SAS Add-In for Microsoft Office在Excel里面的一个截图。利用这个Excel插件，商业用户可以继续使用他/她熟悉的Excel，访问SAS数据，并利用SAS的计算引擎来分析和作图，最后结果返回到Excel（或者Word、PPT）。一家公司不提供这玩意，它的BI技术就要受到质疑，至少也是没有做到user-friendly。夸张点说，小小的Excel就这样爬上了BI平台的最顶端。

我们注意到，与Excel的整合，重点是把它作为用户接口和展示平台。对一个传统的SAS程序员，与Excel打交道也是他职业生涯的一部分：

1. 有时候，数据会存储在Excel里面。你可能没法理解，为什么要把数据存在Excel里面，这样轻量级的数据，存在文本里面不是更好吗？在真实世界里，大部分人的行为模式一般是这样，他们打开Word来记事，打开Excel来记录数据。数据存在Excel或许也能接受，如果它们规规矩矩，行列有序。有一种情形就是，在一个Excel Book里，数据散布于各个Sheets，在同一个Sheet，数据可能不是按行列来排，而是长得就像一个report。平心而论，这样的数据真的是user-friendly，只是不够machine-friendly。在Windows平台下，SAS Base有三种最常用的方式读取Excel数据：

1-1 proc import or Import Wizard

1-2 SAS Excel Libname Engine

1-3 SAS DDE (Dynamic Data Exchange，这属于Windows的技术)

Excel不是一个跨平台的数据格式。在Unix平台下，如何读取Excel数据呢？SAS也有解决方案，那需要用到一个SAS/ACCESS Interface to PC Files for UNIX和SAS PC File Server for Windows，这也是一个Libname Engine的方式。

2. 读入Excel数据，一个相反的操作就是把SAS数据（或output）转化成Excel。程序员或许不太愿意，但这在商业世界有需求。这里SAS更是提供了五花八门的解决方案：

2-1 proc Export or Export Wizard

2-2 SAS Excel Libname Engine

2-3 SAS DDE (Dynamic Data Exchange)

2-4 proc printto

2-5 SAS ODS

2-6 data steps

2-7  SAS Add-In for Excel

……

除了DDE，你还可以利用其他非SAS技术，比如ODBC、OLE DB等。有一个小花招。利用ODS，可以把数据转化成用户可以用Excel打开的CSV、XML或者HTML格式，而它们本身是比.xls更优越的存储格式。特别是CSV(comma-separated values file)，本身是文本文件，在Windows世界里，很多用户都把它当成Excel的一种格式，默认的打开方式也是Excel（而不是文本编辑器）。

罗列了这么多SAS与Excel的交互，回到Excel本身。它是一个功能强大的电子表格，在数据分析与展示方面也有不俗的表现（Excel作图，可以参考上面提到的Excelpro所达到的境界）。它赢得如此多的用户，说明它能满足大部分人大部分的需求。一个SAS用户，或者SPSS、R/S-Plus、Matlab等用户不必在统计分析方面展示对Excel的优越，这样显得就不够大气了——本来Excel就无意在这方面跟它们竞争。况且，即使工具之间有优劣，工具的本身的先后也不代表他们用户的先后，急于争辩工具厉害的人，往往忽略了人本身，自以为手持屠龙刀，就无敌于天下。笑话。

————————————————————————–

再讲个笑话，跟谢益辉有关（最近举例似乎老拿谢同学说事）。谢于数据可视化颇有研究，最近秀出了不少的工作，当然都是用R来展示。楼下便有人惊呼：R好强大啊。不知道谢听了做如何想。

Excelpro的《Excel图表之道——如何制作专业有效的商务图表》（刘万祥，北京：电子工业出版社，2010）4月份由武汉博文视点推出。我拿到书时，都已经是5月份第二次印刷的版本。“左手Excel，右手PPT”，现在这本书与一本叫《PPT演示之道》的书在当当和卓越大卖，被认为是“2010年最值得阅读的职场充电图书”。好家伙，早知道这本书会火，没想到的是会这么快。扯扯我与这本书及其作者的花絮。

Excelpro一直在经营一个“ExcelPro的图表博客”，专攻Excel与商务作图，把Excel玩出花来的那种。读研时开始订阅他的博客，那时就想结识一番，这样的高手，要趁早认识。查看gmail记录，2008年12月19日，我给Excelpro写mail(当时只知道他的网名)，说“ExcelPro,  你好。一有更新就看你的博客，还不知道你的真名真是有些说不过去。我叫***,blablabla”。很快收到回复。

知道了Excelpro的大名，按着习惯，在接下来的沟通中，我就直呼“万祥”了。在公司，包括以前的实习单位，无论同事还是老板，或者老板的老板，都是直接叫名字，慢慢也养成这习惯了——关于称谓，有一个趣事在下面，先打住。

武汉博文的周筠老师，不知什么时候也在看“ExcelPro的图表博客”。看这个博客，我的反应是高手要趁早认识，周老师的反应大概是，这样好的内容，要趁早出书。于是去年年底，武汉博文的编辑梁晶，问我能不能帮着看看一本Excel方面的新书。一看，ExcelPro，这么巧啊。赶紧答应下来，刚好可以趁着看文稿的机会好好学习一下Excel作图。

这本书讲Excel作图，可不是“excel->插入->图表->图表向导”这么简单。这种默认的作图方式，大伙一眼就能看出来，就是传统的、灰头土脸的Excel图表（熟悉吧？）：

而这本书，是教你用Excel做出这样的图来：

是不是也很熟悉？就是国外顶尖商业杂志如《商业周刊》、《经济学人》等杂志风格的商务图表。如何做到，如何用Excel做到？审稿的时候，我就是这样怀着激动的心情，看Excelpro如何突破Excel的默认颜色、默认布局和默认的作图元素，从而一步步做出类似上图的专业商务图表，真是大呼过瘾。书还附有数据和样例，自己可以随手在机器上跟着实现。我平时鼓捣SAS，Excel用得不多，看了这书（你可以在这里下载高清样章），想什么时候该自己用Excel了，照着这书玩下去，铁定又是一条好汉。

出版社的老师喜欢称呼作者为老师。跟周老师和梁晶编辑邮件来往，她们都会提到“刘万祥老师”，一看，心想：惨了，我跟Excelpro邮件来往，叫名字都叫顺口了。我称呼周筠老师，周筠老师称呼刘万祥老师，而我就直呼“万祥”！这可窜辈了，邮件fwd来fwd去的。问Excelpro，最后我们约定，私下里我们称名字，有周老师在场就叫老师。——后来，刘万祥老师终于跟我开了个玩笑，在书的前言里，他写道：“感谢本书的评审专家孔文达老师、杜茂康老师和胡江堂老师”——“胡江堂老师？”我旁边朋友一看，立马收不住笑，Friday Humor?

又，关于R与SAS，Peter Flom也在写系列比较文章，见

1. SAS v. R: Ease of learning

0. SAS vs. R: Introduction and request

为什么想到考这个证？美国那里有句话说，“如果你有个SAS认证，你将不愁找不到工作”云云。对有经验的SAS程序员，雇主一般不在乎你是否考过SAS认证，我推荐在校生没事可以整这么一个，可以增加些筹码，以示自己也算是有些投资，花过功夫。我现在不需要这个认证找工作，倒是想借这个机会，重温一些基本概念。SAS公司有一份Base的认证文档说这可以refresh your mind on some details you might have forgotter,就是这个。当然，还有一个很重要的原因，现在考证，可以找东家报销（150美元，很大的一块蚊子肉啊），——做学生时穷，虽然只要半价，还是舍不得考。

计划下半年再考一次SAS Certified Advanced Programmer for SAS 9 Credential，这个拿高分还算是有些挑战性。为考试而考试是个很无聊的事，那就借着这个机会，温习下SAS Advance的东西，这些在日常工作中都要用到，相互促进了。

其实我最想考的是SAS Certified Predictive Modeler using SAS Enterprise Miner 5 Credential，数据挖掘相关的。读书时鼓捣得比较多，现在工作几乎都要忘掉这些了，考个证可以刺激下自个。啥时有机会去美国遛达，就乘机考了这厮。SAS Base和Advance都可以在国内考，唯有这DM需要在美国的SAS公司考。

附些材料，感兴趣的朋友可以参考。

1. 报名，SAS Base和Advance都可以网上预约，或者直接到考场报名，费用是150美元（或相应的人民币）。

预约或查询考点，上www.prometric.com/sas，有国际信用卡就可以支付。

又，考试时间也是可以预定的，从早上八点开始。我订的是早九点，早八点考场工作人员可能都在调试机器，拖后些比较好。

2.参考资料。对考Base来说，SAS公司的SAS OnlineTutor^®: Basic and Intermediate SAS，止矣尽矣。这是我见到过的最好的入门材料。或者，同等有分量的入门材料，SAS Programming I: Essential和SAS Programming II: Data Manipulation Techniques。这些材料，既可以为准备考试用，更可以作为入门温习提高用。从准备考试来讲，它们比SAS Little Book实用。

这新得白花花扎眼的一年，还想多写些关于SAS程序员本身的文字，关于这个职业，它依托的行业环境等等。SAS程序员在国内还不是一个很兴盛的职业。

还会有关于SAS本身的文字，关于SAS语言，SAS公司，关于它的创始人等等。最近我对SAS的创始人Tony Barr比较感兴趣。

技术本身，这个跟饭碗相关，除了SAS技术，很多笔墨可能会停留在CDISC上面。当然还会有自个兴之所至的其他文字，才年初呢，啥都没定。作为跟“统计之都”的约定，所有跟统计相关的文字，我会首先发布到“统计之都”，然后在自个的博客做个备份：

http://cos.name/author/hujiangtang/

http://cos.name/author/hujiangtang/

有网友说SAS爱好者，“或多或少、有意无意”都有光顾过这个博客。我从文科转入软件工程，以SAS起家，涉足数据挖掘与金融计算，更新不定，主题也不够专注，想想是比较惭愧。喜的是通过这些记录，大致能看到自己的用心所在，同时结交得许多志同道合的朋友，很多场合见面，就没有生疏之感。我现在一家药厂做SAS程序员，多跟临床试验打交道，想先沉淀一段日子再说。

说，技术或有转型，生活还是平稳如初。大伙感兴趣的，不妨先去我的生活博客转转：

http://li-and-jiang.com/blog/

RSS订阅地址是：

http://li-and-jiang.com/blog/feed/

想除了技术，我们还一定有许多聊得开的东西。再会。

1. 分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵
2. 分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC

*更多，见

http://cos.name/2009/02/measure-classification-model-performance-lift-gain/

以前提到过，SAS一个员工做了一份给圣诞老人用的dashboard，在YouTube也能找到。最近Support.sas.com公布了一批Dashboard示例，比较有意思，不妨一看：

http://support.sas.com/kb/26/134.html

具体的：

• Slider chart indicator:
  • SAS program version
  • stored process version
  • portlet version

2009年1月7号，《纽约时报》科技版登了一篇注定要引起四方瞩目的文章, Data Analysts Captivated by R’s Power（1月6号就有网络版），作者是该报的记者Ashlee Vance。这大概是开源统计软件包R，自1996年诞生以来，第一次出现在公众视野，而且是出现在《纽约时报》这样的主流媒体。这篇文章里有一句，让R社区和SAS社区都颇为兴奋，而且有很多私人博客也积极跟进：

The popularity of R at universities could threaten SAS Institute.

R软件的兴起，可能会威胁到SAS公司在数据分析领域的地位。

报道中有对SAS公司一位市场总监Anee Milley的采访。Anee Milley的一句回应也注定要引来不少争议（甚至是公关危机）：

We have customers who build engines for aircraft. I am happy they are not using freeware when I get on a jet.

我们有一些客户，为整机制造引擎。当我乘机时，很高兴他们没有使用免费软件（来设计引擎）。

1月7号中午，就有用户在全球最主要的SAS论坛SAS-L发贴，提醒大家注意这篇报道。目前，这个帖子的跟贴不断，是目前SAS-L中最火的帖子，其中有不少R软件的支持者发言。SAS-L的大多活跃用户都是一些SAS老手，用SAS几十年，在最近的工作中意识到R的好处，所以对SAS与R的融合比较感兴趣。

更多，请见“统计之都”：

http://cos.name/2009/01/r-sas/

SAS9.2 Base新增的这些定价函数（8个）都是计算欧式期权价格的，对看涨(call)期权、看跌期权(put)以及不同的期权类型（股票期权、期货期权、货币期权、交换期权），分别提供了以下四种模型：

Black-Scholes model，传统的股票期权定价模型，见Fischer Black and Myron Scholes (1973)
Black model，Black-Scholes model的扩展，针对期货期权，见Fischer Black(1976)，所以该模型又称作Black-76
Garman-Kohlhagen model，外汇期权定价模型，见Mark Garman and Steven Kohlhagen(1983)
Margrabe model，交换期权定价模型，见William Margrabe(1978)

SAS9.2期权定价函数一览：

具体用法，见SAS9.2的在线帮助文档，Functions and CALL Routines by Category: Financial：
http://support.sas.com/documentation/cdl/en/lrdict/59540/HTML/default/a000245860.htm

推荐一个网站，可以比较各种不同的期权定价模型：http://www.montegodata.co.uk/

下期预告：一个通吃的金融函数，Finance(.)

一个孤零零的金融函数，能够做52种（是52种！）不同的金融计算，前面提到的SAS9.1/ETS那9个金融函数就是被它给硬生生消化掉了，……

上回我们提到，ROC曲线就是不同的阈值下，以下两个变量的组合（如果对Sensitivity和Specificity两个术语没有概念，不妨返回，《分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵》，强烈建议读者对着看）：

Sensitivity（覆盖率，True Positive Rate）

1-Specificity (Specificity, 负例的覆盖率，True Negative Rate)

二话不说，先把它画出来（以下脚本的主体是标红部分，数据集valid_roc，还是出自上面提到的那篇）：

axis order=(0 to 1 by .1) label=none length=4in;

symbol i=join v=none c=black;

symbol2 i=join v=none c=black;

proc gplot data = valid_roc;

plot _SENSIT_*_1MSPEC_ _1MSPEC_*_1MSPEC_

/ overlay vaxis=axis haxis=axis;

run; quit;

上图那条曲线就是ROC曲线，横轴是1-Specificity，纵轴是Sensitivity。以前提到过，随着阈值的减小（更多的客户就会被归为正例），Sensitivity和1-Specificity也相应增加（也即Specificity相应减少），所以ROC呈递增态势（至于ROC曲线凹向原点而非凸向原点，不知道有无直观的解释，不提）。那条45度线是作为参照（baseline model）出现的，就是说，ROC的好坏，乃是跟45度线相比的，怎么讲？更多，见COS:

http://cos.name/2008/12/measure-classification-model-performance-roc-auc/

跑完分类模型（Logistic回归、决策树、神经网络等），我们经常面对一大堆模型评估的报表和指标，如Confusion
Matrix、ROC、Lift、Gini、K-S之类（这个单子可以列很长），往往让很多在业务中需要解释它们的朋友头大：“这个模型的Lift是4，表明模型运作良好。——啊，怎么还要解释ROC，ROC如何如何，表明模型变现良好……”如果不明白这些评估指标的背后的直觉，就很可能陷入这样的机械解释中，不敢多说一句，就怕哪里说错。本文就试图用一个统一的例子（SAS
Logistic回归），从实际应用而不是理论研究的角度，对以上提到的各个评估指标逐一点评，并力图表明：

1. 这些评估指标，都是可以用白话（plain English, 普通话）解释清楚的；
2. 它们是可以手算出来的，看到各种软件包输出结果，并不是一个无法探究的“黑箱”；
3. 它们是相关的。你了解一个，就很容易了解另外一个。

本文从混淆矩阵(Confusion Matrix，或叫分类矩阵(Classification
Matrix)开始，它最简单，而且是大多数指标的基础。（这篇小东西先发布在cos.name上，比较长，感兴趣的朋友可以去看看）：

http://cos.name/2008/12/measure-classification-model-performance-confusion-matrix/

http://jiangtanghu.blogspot.com/

http://feeds.feedburner.com/jiangtanghu

Happy hearts and happy faces,
Happy play in grassy
places

First prompts are silent.
Subsequent prompts loud
and clear.
Now all prompts are heard.

*************本书给你数理统计的直观****************************

资料来自美国G.H.维恩堡等著的《数理统计初级教程》（常学将等译，太原：山西人民出版社，1986）

《白话统计（1）：平均数、中位数、众数》

《白话统计（2）：中心极限定理》

《白话统计（3）：决策与风险》

*************************************************************************

郑冰刚提到P值，说P值的定义（着重号是笔者加的，英文是从WikiPedia摘来的）：

P值就是当原假设为真时，比所得到的样本观察结果更极端的结果出现的概率。

The P-value is the probability of obtaining a result at least as extreme as the one that was actually observed, given that the null hypothesis is true.

以下延续白话系列，解释一下，“什么是P值，什么是极端”，算是郑文的一个长长的注脚。

回到上次的硬币试验，那是一次二项试验，每次试验投100次，记下出现正面的次数,比如，如果

每次出现的正面数都是50，你就有把握认为这是一枚均匀的硬币；

正面数等于45或者等于55，你就有一点点的怀疑它是均匀的；

正面数等于30或者等于70，比较怀疑；

正面数等于10或者等于90，非常怀疑。

如上，正面数和反面数的差异越大，你就越有把握认为硬币不是均匀的（拒绝原假设）。重复一下P值的定义，“P值就是当原假设为真时，比所得到的样本观察结果更极端的结果出现的概率”，把这个定义套入上述硬币试验的场景中，比如你观察到“正面数是10或者90，正反面次数差异是80”：

如果原假设为真（硬币是均匀的），P值就是你投100次，所得的正反面数差异大于80的概率。

如果这个P值很大，表明，每次投100次均匀的硬币，经常有正反面差异大于80的情形出现。如果这个P值很小，表明，每次投100次均匀的硬币，你很难看到正反面的差异会超过80。

以前说过，10-90是A博士的接受区域。如果一枚硬币投出的正反面次数，差异大于80，——这真是一个“极端”的情形，连保守的A博士看了都摇摇头，不能接受原假设，只好认为原假设不对，硬币是有偏的。这里的逻辑是：

在假定原假设为真的情况下，出现所看到的偏差（正反面差异为80），是这么地不可能（P值很小），以至于我们不再继续相信原假设。

参考资料:

1. 维恩堡《数理统计初级教程》（常学将等译，太原：山西人民出版社，1986，Statistics: An Intuitive Approach By George H. Weinberg and John Abraham Schumaker）

2. Statistics I: Course Notes, 2008 SAS Institute Inc. Cary, NC, USA

*************本书给你数理统计的直观****************************

资料来自美国G.H.维恩堡等著的《数理统计初级教程》（常学将等译，太原：山西人民出版社，1986）

《白话统计（1）：平均数、中位数、众数》

《白话统计（2）：中心极限定理》

*************************************************************************

/*读书笔记，白话统计系列，力图用普通话讲述统计学的基本概念。这里的题目是“决策与风险”，讲的就是两类错误（type I and type II errors）。以下改编至维恩堡《数理统计初级教程》（常学将等译，太原：山西人民出版社，1986），英文名叫Statistics: An Intuitive Approach By George H. Weinberg and John Abraham Schumaker。这书几近绝迹，当回文抄公，以期重见天日。*/

1、假设与决策：场景

原假设：硬币是均匀的。   备择假设：硬币是有偏的。

/*当我们难以拒绝原假设时，只能得到结论：原假设也许是真的，现在不能拒绝它。而当我们能够拒绝它时，结论是：它肯定不真。以下的口语表述不如这里明确（和拗口）的，以这里的表述为准。*/

试验：在平坦的地方，独立地投掷硬币100次，每次投掷的结果都做记录。最后，正反面出现的次数分别是：

正面：55  反面：45

提问：根据你所看到的结果，判断一下，你接受还是拒绝”硬币是均匀的“这一假设？

-R博士回答：“拒绝这个假设，因为所得到的正面数超过了反面数的允许界限，这表明硬币是有偏的。”
-A博士回答：“接受硬币是均匀的这一假设。我们不能非难硬币掷出55个正面，45个反面，一个均匀的硬币也能掷出这个比率。”
-R博士：“那什么样的结果才能使你拒绝那假设呢？我的意思是，正面数和反面数应该有多大的差异，才能使你认为硬币是有偏的？“
-A博士：“至少90个正面对10个反面，或者90个反面对10个正面。如果我们的决策是拒绝一个掷出55对45这个比率，或者更高一些比率的硬币，那么这个决策将使我们把许多由于偶然掷出上述比率的均匀硬币都宣判为有偏的。你的看法使得非难一个均匀的硬币太容易了。”
-R博士：“太过分了!至少要掷出90对10的比率你才说硬币是有偏的。你过度的轻信，将几乎不可能拒绝关于硬币是均匀的假设。诚然，你很少拒绝一个均匀的硬币，但对一个有偏的硬币，你也很难拒绝。”

上面的对话应该让大伙体会到了一些假设检验的意思。可以总结一下，对照下面的表格，思路会清晰一些：

判定 \         假设	真	假
拒绝	第I类错误α	没有错误1-β
接受	没有错误	第II类错误β

A博士（Accept，接受）的法则是，除非试验得到的比率超过90比10，否则就接受硬币是均匀的这一假设。A博士厌恶犯否定均匀硬币的错误（”弃真“，第I类错误），他的法则使得犯这种错误的概率最小。由于均匀的硬币几乎不会出现超过90比10的比率，他很少冒把一个均匀的硬币说成有偏的风险。然而，他付出的代价是，大大降低了试验的检测能力（power，见下），他的法则使得拒绝假设是极端困难的。大量有偏的硬币也不会出现如90对10这样大的差异，因此它们也会被当成均匀的硬币而没有被检测出来。可以说，A博士对接受假设有偏爱，当假设为真时，他很少犯拒绝它的错误；但当假设不真时，他会常犯接受它的错误。

R博士（Reject，拒绝）的法则是，除非比率低于55对45，否则就不能接受硬币是均匀的这一假设，也即，仅当硬币的正反面数差异在一个狭窄的界限之内，她才接受假设。她把试验看成类似9.11时美国进行的安全检查（”宁可错杀三千，不可错过一个“），重要的是检测出有偏的硬币。R博士的法则在接受错误的假设方面所冒的风险极小（”取伪“，第II类错误），代价是增加了把一个均匀硬币判成有偏的风险。可以说，R博士对拒绝假设有偏爱，当假设碰巧不真时，她很少犯接受它的错误；但当假设碰巧为真时，她常犯拒绝它的错误。

2-1、决策与风险（用均匀的硬币做试验，第I类错误）

一次试验，不足以判断两位博士谁的法则是正确的。现在，用一个均匀的硬币（我们知道，两位博士不知道，这里的原假设是硬币是均匀的），把上面提到的投硬币试验，重复100次（每个试验由100次投掷构成），那么，记录下的正面数X，将构成一个二项分布，X~B(n,p)，其中，n=100，p=0.5。根据某个中心极限定理，正态分布是二项分布的极限分布，上面的二项分布可以由均值为np=50，方差为np(1-p)=25的正态分布来近似。又因为二项分布只取整数值，在近似它的正态曲线下会出现很多空隙，为了校正这种情况，可以把整数的两头各扩大0.5个单位，以这个区间表示正态曲线下的那个数。

对R博士来说，仅当掷出的正面数多于45，少于55时，她才接受假设。在正态曲线下，这两个端点可以写成45.5和54.5。

——|-/////-|———
      45.5    54.5

标准化，（45.5-50）/5=-0.9,(54.5-50)/5=0.9，根据标准正态表，可知45.5-54.5这个接受区域包括了总面积的63%。也即，投掷均匀硬币所产生的样本中，有63%的样本，其正面数落在接受区域，相应地，其正面数落在R博士提出的否定域的概率为37%。也就是说，当硬币是均匀的时，R博士犯第I类错误的概率为37%。对A博士来说，他的接受区域在10-90之间，他几乎不会犯第I类错误。

2-2、决策与风险（用有偏的硬币做试验，第II类错误，功效）

现在取一个有偏的硬币（我们知道，两位博士不知道，这里的原假设还是硬币是均匀的），即投出正面的概率不等于二分之一（注意，说硬币是有偏的，并不必对p的值作出指定，因为硬币有偏可以有无限多种方式）。为了评价两位博士的法则在拒绝假设方面有多大的成功，我们需要对硬币指定一个偏度，比如是掷出正面的概率是0.6，做上面同样的100次试验（每次试验有100次投掷），近似成一个正态分布，均值np=60，方差是np(1-p)=24。

对A博士来说，他的判定法则是，只要得到的正面数在10到90之间就接受假设。显然，即使一个有偏的硬币所得到的正面数，也位于A博士的接受区域里。即，当硬币出现正面的概率为0.6时，A博士还是经常

Statistical analysis can extract information from daa,
it cannot create information not already contained in the data. Like water,
information cannot rise higher than its soucre.

 

统计分析只能从数据中提取信息，而不能创造数据本身。正如联通器中的水，不能超越水源的高度。

在中心的毕业生中，我大概是属于那种数理倾向比较严重的一类，对经济学中一个个美轮美奂的经典模型痴迷地有些“顽固不化”，要是在自己的论文里突然发现能用上一条在实变函数课上学到的定理会兴奋地跳起来，套用
Ariel Rubinstein教授在2004年国际计量经济学会主席演讲的最后一句话“这真是太美了！不是么？”

 

然而在芝大上了两年课以后，我才慢慢地更能体会到林老师在《论经济学方法》中提到的很多观点。在上一年级第一学期的课时，我就被深深地震动了。ECON301的价格理论I课的每周作业是Becker教授和
Murphy教授各出一道长题，题目中用文字交待一些经济学问题或者社会现象的背景知识，从恐怖主义到健康问题，从国际贸易到贩毒和住房问题，从投资到经济增长，什么都有，然后接二连三地问一堆问题。每个周二傍晚出题，当周周五上午交作业。我有生以来第一次为完成作业而熬夜就是第二次作业的那个周四。怎样分析这些现象，怎样回答这些问题，完全由自己选择分析方法，而我总想把问题抽象成一个严格的数学模型来求解，取怎么样的假设显然也得完全由自己定夺。可是经常是好不容易使建好的模型能回答第一个小问题a，突然发现很难再用这个模型来回答第二个小问题b，不是求不出解析解就是出现太多不合理的多重解。只好回头修改我的模型，然后不得不再另加一些技术性假设，当然需要再配上为何作如此取舍的经济学理由。如此反反复复，最终发现窗外已经发白，而自己却只能眼巴巴地望着求解问题f时出现的那12条非线性方程和12个未知变量，心灰意冷地继续写道“假定这个系统的解是存在的并且是唯一的，那么……”。我将近25页的作业发下来，10分我只得了3.7分，助教的批语是我采用的是科布—道格拉斯函数型的效用函数，而忽略了分析non-homothetic
偏好这一重要情况。于是我“耿耿于怀”地去仔细对照那将近20页的标准答案。读完后我真的完全惊呆了：真没想到这么一个个二维平面分析图会那么厉害，所给的分析全是替代效应与收入效应的变相综合，所用的也全是诸如正常商品（normal
goods）这样的通常假设，没有太“漂亮”的数学，但是在逻辑上分析的明显要比我的模型完整的多、严密的多、深入的多、也更加具有一般性。 ——王勇：《两年后再读<与林老师对话>有感》

   
演示性例子

 

想像一个很大的箱子，装满了小纸条，可供我们无穷无尽地抽取，每张纸条上写有一个数字。为简单起见，假定只有0、1、2三个数字，且每个数字出现在每张纸条上的可能性都是1/3。记住，这个箱子里的纸条如此之多，以致我们可以抽取任一数目的任一种纸条，而不必担心会改变箱中剩下的各种纸条之间的比例。

 

箱子有一个小口，通过它，每次可以释放出一张纸条。箱子还有一个洗牌装置，这种装置会把纸条洗得这样得均匀，以至当我们决定抽取一张时，每张纸条有同样的被释放出来的机会。因此，我们的观察室独立的，而且我们的样本是随机的。

 

现在我们就来抽取等容量的随机样本，假设每个样本都包含200张纸条。

 

我们一张一张地抽取200张纸条。比如头一张纸条上的数字是2，第二张纸条的数字是0，第三张纸条是2，如此等等。假设构成这个第一份样本的200张纸条上的数字总和是210，这个和成为所产生的新的分布的第一项。

 

第二个样本的200张纸条上的数字之和比如是194.对大量的样本，每个样本都包含200张纸条，重复这个过程。中心极限定理告诉我们，这种样本和数越来越多时，样本和的分布近似于正态分布。

 

    如何实际运用中心极限定理

 

关于中心极限定理，对被抽取样本的那个总体没有要求任何限制。不管被抽取样本的那个总体，其分布的形状如何，样本和的分布都是正态的。

 

中心极限定理说明，为什么正态分布出现在如此多的不同的问题之中。我们用于纸条取样的那种方法，看来是实际中特别喜欢使用的一种方法。在每次情况中出现的、构成一个正态分布的那些数，都可以看作独立观察资料的等容量样本的和。

 

例子1。考察射击时围绕靶子构成正态分布的子弹。每一颗子弹击中的位置实际上是许多随机影响的和，比如姿势、风向、光线、心理等等。这些因素和诸如此类因素的影响，同时在一位特定射手的身上起作用；且对于不同的射手，它们是不同的。一个射手的得分，表明他的子弹最终射到何处去了，这个得分是那些随机影响的样本之和。具体地，比如每一个射手的分布式70项主要影响之和，因而每一发子弹的得分，都可以看作是70项的一个样本和（与70张纸条上的那些数字的和相对应）。这样一来，不同射手的得分，就可以看作是不同的等容量样本的和。根据定理1，子弹得分的分布式正态的。

 

例子2。考察每个人的智力水平，也可以当作出自不同根源的小影响的和来看待，包括营养、机会、性格、遗传等等。这么看来，大量的人的智力水平的分布式正态的。

1. 找一个类似安德森或林德的统计学入门教材，熟悉概念和基本模型；

2. 在学习初期，可以使用Excel等电子表格，培养自己手算的敏感；

3. 做项目时，找一款适合自己的软件包；

4. 继续学习统计，不要迷信工具。

 

一些小建议，还可以附在最后：
5. 学习期间，有任何问题，首先不要想着去论坛发问，教科书或Google能解决你大部分问题。或者干脆找到一个懂行的人，直接去问。人要爱惜自己的羽毛，在论坛问一些傻瓜问题，会损害你在社区的名誉。自己解决问题，会让自己变得更强壮；
6. 不要过于积极地去网上找学习资料。资料太多，人生太短，对大部分人来说，需要的几本书，国内都有引进，找一本搁案头翻阅就是。几本难得的电子书，赶紧打印了出来，从此不再网上瞎整。以前我把硬盘塞满时，突然警惕。疯狂收集电子书自有乐趣，你会沉浸在这种乐趣之中，而忽略真正有用的东西和真正要做的事情；
7. 多认识几位念统计学的朋友，让自己时刻清醒，自己还是这个领域的门外汉。我们都有自己的专攻，清楚非科班出身的人在涉及自己领域时的种种形状。
                                             

                                 
2008-11-20

数量金融的基本书目，无非包括三类，金融、数学和编程(C++)。在金融这块，入门多用John Hull的那本所谓华尔街圣经，Options, Futures, and Other Derivatives（《期权、期货和其他衍生品》），现在都出到第七版了（可怜我手头那本6版还没有看完）。清华大学出版社有这本书的影印版（见过5版，不知道有没有更新的），中译本就比较落后，华夏出版社有3版——那就看影印5版喽。Hull还有一本《期货与期权市场导论》 (第5版)，北大出版社的中译本（这个本子较新），数学处理上比前面的“圣经”简单，但对了解领域知识一样有用。

金融数学这块，最好的书国内都引进了（除了Paul Wilmott on Quantitative Finance，北大图书馆跟国图有藏，最新2版三卷本）：

Steven Shreve的两卷Stochastic Calculus for Finance，卷一The Binomial Asset Pricing Model和卷二Continuous-Time Models，世界图书出版公司都有影印本，叫做《金融随机分析》。世界图书还有他另外两本名气稍小的影印本子，Methods of Mathematical Finance（《金融数学方法》）和Brownian Motion and Stochastic Calculus（《布朗运动和随机计算》）。都是Springer的精装黄皮本子，比较精致，还便宜。

Salih Neftci的几本，武大出版社也有影印本，不过都是平装的本子，纸张看着不舒服，Principles of Financial Engineering（《金融工程原理》），以及An Introduction to the Mathematics of Financial Derivatives（《金融衍生工具数学导论》）。最后一本西南财经大学出版社也有影印本，叫做《金融衍生工具中的数学》。今年西南财经也引进了几本看着不错的书。

Baxter和Rennie合著的Financial Calculus: An Introduction to Derivative Pricing (Cambridge) ，图灵图书在人民邮电出版社有影印本和中译本，唤作《金融数学—衍生产品定价引论》。图灵做的书都比较漂亮。

最基本的金融数学（随机微积分）参考书，以上已经足够了。其他数学科目，如偏微分、数值分析之类，在数学系的书目里，能选择的就更多了。国内甚至还能找到Paul Glasserman的那本Monte Carlo Methods in Financial Engineering（《金融工程中的蒙特卡罗方法》），高教出版社刚出了一个影印版。

最后一组是编程。一些朋友还在犹豫，是用C好呢，还是Java好？或者，Excel VBA、Matlab似乎也不赖，最近C#也好像挺流行，Python也出了个数值计算的库，R也有金融计算的包rMetrics，S-Plus的FinMetrics看着也不错，——都错！如果你不是学有余力精力过剩的话，C++应该是你唯一的选择。C++是数量金融界的标准语言，而且，即使你工作中不用C++，它也会是企业检验你水平的门槛。C++，全世界的程序员和Quant推荐得最多的就是这三本书，而且国内都有最新的影印本和中译本：Lippman的C++ Primer（人民邮电）、Eckel的Thinking in C++（机械工业）和Bjarne Stroustrup的The C++ Programming Language（《C++程序设计语言》，高教）。

1.定义矩阵

2.矩阵操纵

3.矩阵运算

QuantLib-0.9.6

boost_1_35_0

Microsoft Visual C++ 2008 Express Edition

Microsoft Windows  XP Professional Version 2002, Service Pack 2

Intel(R) Core(TM)2 Duo CPU, 1.95GB of RAM

1. 去微软主页下载并安装Microsoft Visual C++ 2008 Express Edition

2-1.去sourceforge下载boost_1_35_0.zip，并解压到C盘。最后，新出现C:\boost_1_35_0

2-2.打开一个Command Prompt（Ctrl+R->cmd），把盘符指向C:\boost_1_35_0\tools\jam\src，运行build.bat，这将产生以下要用的bjam.exe

2-3. 把盘符指向C:\boost_1_35_0，运行以下命令

tools\jam\src\bin.ntx86\bjam.exe --build-type=complete

这将花n多时间。没有计时，我是先忙活其他的事，一个小时后看到运行成功。

2-4.接着运行以下命令：

tools\jam\src\bin.ntx86\bjam.exe --build-type=complete install

这又将花掉大概n的一半的时间。成功后，你将看到一个新的文件夹C:\Boost

3.去sourceforge下载QuantLib-0.9.6.zip,并解压到C盘。最后，新出现C:\QuantLib-0.9.6

4-1. 打开Microsoft Visual C++ 2008 Express Edition ->Tools->Options->Projects and Solutions->

VC++ Directories->Show directories for:->Include files，新添一行C:\Boost\include\boost-1_35

 同样，在Library files中新添一行C:\Boost\lib

4-2. 打开VC2008->File->Open->Project/Solution，打开C:\QuantLib-0.9.6\QuantLib_vc9.sln，导入QuantLib后，你就将看到，

5-1. 选中上图中的QuantLib，右键选中Set As Startup Project，然后右键选中build，……漫长等待……直到成功。

（注：在build的过程中，老冒出一行警告：

The file contains a character that cannot be represented in the 

current code page (936).Save the file in Unicode format to prevent data loss

大概跟我机器的local有关，后来证明对功能没有影响。）

5-2. 重复以上动作（先Set As Startup Project再build），对其余的项目如BermudanSwaption等做同样的操作，

build成功后，可以按Ctrl+F5查看程序运行结果。That's all and have fun!

/*************************

A:本金

m: 复利计算的次数

n: 年数

R: 年利率

FV: 终值

*************************/

options nodate nonotes nosource;
%macro rate(A=,m=,n=,R=);
data _null_;
    format FV 6.2;
    FV=&A*(1+&R/&m)**(&m*&n);
    %put _user_;
    put FV=;
run;
%mend rate;
proc printto log="D:\rate.dat" new;
%rate(A=100,m=1,n=1,R=0.1)
%rate(A=100,m=2,n=1,R=0.1)
%rate(A=100,m=4,n=1,R=0.1)
%rate(A=100,m=12,n=1,R=0.1)
%rate(A=100,m=52,n=1,R=0.1)
%rate(A=100,m=365,n=1,R=0.1)
proc printto;
run;
data rate;
    infile "D:\rate.dat";
    length m 3.;
input #1 m & 8-10
        #2 n 8
        #3 A 8-10
        #4 R 8-10
        #5 FV 4-9;
if _error_=0 then output;
run;
proc print data=rate;
run;

以上为适应书上的例子，很多地方写死(hard coding)了。最后的结果跟书上一样，不过以上展示了更多，由各种复利计算次数求出相应的利息，然后从日志文件读出结果再展示：

Obs      m    n     A      R       FV

1       1    1    100    0.1    110.00
2       2    1    100    0.1    110.25
3       4    1    100    0.1    110.38
4      12    1    100    0.1    110.47
5      52    1    100    0.1    110.51
6     365    1    100    0.1    110.52

SAS对正则表达式 (Regular Expressions, RX) 的支持，表现在以下两大类函数（包括Call Routines）中：

1. SAS Perl Regular Expressions (PRX)，SAS9开始引进，有10个函数；
2. SAS Regular Expressions (RX) ，SAS6.12就开始支持，5个函数。

这两个正则表达式系统功能类似，只是语法略有差别。它们的对应如下：

	SAS Perl Regular Expressions	SAS Regular Expressions
版本	SAS9–	SAS6.12–
函数前缀	PRX	RX
定义正则表达式的函数	PRXParse	RXParse
定位函数	PRXMatch	RXMatch
	Call PRXSubstr	Call RXSubstr
	Call PRXPosn
	Call PRXNext
	PRXParen
文本替换函数	PRXChange
	Call PRXChange	Call RXChange
释放内存函数	Call PRXFree	Call RXFree
代码调试函数	Call PRXDebug

在RX系统中，比如，用$d或$D来表示数字0-9，在PRX中，用\d，\D却表示所有不是数字的字符。同时学习两套系统很容易弄混。建议只使用SAS PRX。

1. PRX提供了更丰富的函数；
2. PRX更为人所知；
3. PRX据说更有效率。

（待续……）

UltraEdit Professional Version 14.00a+1

SAS 9.1.3 Service Pack 4

Microsoft Windows  XP Professional Version 2002, Service Pack 2

Intel(R) Core(TM)2 Duo CPU, 1.95GB of RAM

1.UE->Advanced->Tool Configuration->Insert

打开UE，依上面的顺序点击工具栏，你将看到类似下面的Command、Options和Output界面，先在Command栏目，Menu Item Name一栏，写上SAS或者其他能提醒自己的词，在Working Directory一栏填上%p。困难在于Command Line一栏，下面详述之。

2.Start->All Programs->SAS->SAS 9.1(English)->Properties

Command Line一栏涉及如何激活你的SAS系统。在你的机器里，依上点“开始”->“所有程序”等，你将看到如下对窗口：

我们需要的Target（目标）一栏的字符串，我机器的SAS系统装在D盘，所以这一行是这样的：

D:\SAS9\sas.exe -CONFIG D:\SAS9\nls\1d\SASV9.CFG

把以上Target栏中的东西复制到上面提到的Command Line中，后面再加上这么些SAS系统选项（后面再解释）：

-noicon -nosplash -batch -sysin %n

所以，最后Command Line一栏看上去是这样的（注意：如果你的SAS系统装在其他路径，Target项目会有所不同）：

D:\SAS9\sas.exe -CONFIG D:\SAS9\nls\1d\SASV9.CFG  -noicon -nosplash -batch -sysin %n

3.Options

在Options栏目里，勾上Windows Program和Save all files first。

4.Output

在Output栏目里，勾上Output to List Box、Capture Output以及Captured Output。

按OK结束。在UE->Advanced的最下面，你将看到新建成功的SAS项目。大功告成哈尔莫斯。

/*以上参考Batch Submission Using Ultraedit，里面UE和SAS的版本都很旧。*/

随便在SAS Help找一段不是特简单的代码，比如下面的，把它们复制到UE，并保存为比如ultraedit.sas，路径在，比如D:\Ultreedit-SAS\，接下来所有的结果都会保存在这个路径下，而且在UE中点File->Open，也会直接到达这个所谓当前文件夹：

data Setosa;

        input SepalLength SepalWidth PetalLength PetalWidth @@;

        label sepallength=’Sepal Length in mm.’

              sepalwidth=’Sepal Width in mm.’

              petallength=’Petal Length in mm.’

              petalwidth=’Petal Width in mm.’;

        datalines;

      50 33 14 02  46 34 14 03  46 36 .  02

      51 33 17 05  55 35 13 02  48 31 16 02

      52 34 14 02  49 36 14 01  44 32 13 02

      50 35 16 06  44 30 13 02  47 32 16 02

      48 30 14 03  51 38 16 02  48 34 19 02

      50 30 16 02  50 32 12 02  43 30 11 .

      58 40 12 02  51 38 19 04  49 30 14 02

      51 35 14 02  50 34 16 04  46 32 14 02

      57 44 15 04  50 36 14 02  54 34 15 04

      52 41 15 .   55 42 14 02  49 31 15 02

      54 39 17 04  50 34 15 02  44 29 14 02

      47 32 13 02  46 31 15 02  51 34 15 02

      50 35 13 03  49 31 15 01  54 37 15 02

      54 39 13 04  51 35 14 03  48 34 16 02

      48 30 14 01  45 23 13 03  57 38 17 03

      51 38 15 03  54 34 17 02  51 37 15 04

      52 35 15 02  53 37 15 02

      ;

   ods html;

   ods graphics on;

   title ‘Fisher (1936) Iris Setosa Data’;

   proc corr data=Setosa sscp cov plots;

      var  sepallength sepalwidth;

      with petallength petalwidth;

   run;

   ods graphics off;

   ods html close;

就在这段代码上，点Advanced->SAS 运行，稍等你就能在D:\Ultreedit-SAS看到所有的结果：

其中，

ultraedit.sas是我们测试的代码，在UE里编辑和运行；

ultraedit.log 是这次任务的日志文件，可以用UE打开；

ultraedit.lst 是list output，可以用UE打开,依次见下：

sashtml.htm 是html output，可以用默认的浏览器打开；

RecMatrixPlot0.gif是上面程序产生的散点图图片。

————————–附录———————————

5.如果以上都没问题，那么我们就可以参详一下在以上设置中碰到的SAS系统选项：

sysin-specifies to start the SAS System and submit the file in batch mode

noicon-specifies to restore the main SAS window immediately

nosplash-specifies to not display the logo screen when the SAS System initiates

6.关于UE里SAS代码高亮显示，见http://idmcomp.com/index.php?name=Content&pa=showpage&pid=40

********************************************************************

看一个大龄相亲的报道。不均衡的几千万男性同胞，是祖国和人民的一大关注热点。有好事者提议，比如，现在的30岁男，俯视下一代，找个20岁女，到下一辈的30岁男，如法炮制，也找20岁女下手，如果循环往复，神州大地就不存在男女比例不平衡的问题了。咋一听，还以为到了希尔伯特的旅馆。

说，有个人去投宿，但那家旅馆已经满员了，意思是，比如，这家旅馆有很多层，每层就一个房间，每个房间都住了一位客人，是为满员。但旅馆老板有办法，让这个投宿的客人安心入住。首先，他就把这个客人安排在第一层，把原先住在第一层的客人安排到第二层，把原先在第二层的客人安排在第三层，就这么一直挪过去。记住，刚才我们说这家旅馆有很多层，很多的意思是，你总有办法把客人一层一层往上挪，这样，那位原先以为住不到店的客人也就能安排好了。这家旅馆就叫做“希尔伯特的旅馆”，希尔伯特是一个数学家的名字。

理解希尔伯特的旅馆，可以举个例子，比如，有两个无穷可数的数列，一是自然数列，二是偶数数列。无穷是说，这个自然数列从1、2、3、4、5、6、7、8、……等等一直持续下去，这个偶数数列2、4、6、8、…… 也是一直持续下去，可数是说，虽然上面两个数列是无穷的，但是你有兴致，却可以掰着手指头一二三四地跟着数下去。不可数的，比如在数轴上分布得密密麻麻的实数数列，一会是1.1,一会是1.111111111111111111111111111111111111，就叫人没法跟着数了。

扯远了，还是刚才两个无穷数列

A:  1、2、3、4、5、6、7、8、……

B:  2、4、6、8、……

如果有像A数列展示一样多的旅客，而只有B数列一样多的房间，看着似乎就有一半的人住不了店了（每个房间只能住一个人）。——如果你真的这么想，就要想想上面的希尔伯特旅馆，看看如何有办法让A数列多的人住进B数列多的房间：

A:  1、2、3、4、5、6、7、8、……

B:  2、4、6、8、10、12、14、16……

方案是这样的，想像一下客人全部以自然数列编号，房间都是偶数号，就让编号为1的客人住在B中编号为2的房间，客人2住4号房间，客人3住6号房间，这么一个个数过去，所有的客人都能住上店了。上面的事实有一个惊人的结论，即A数列和B数列，在某种计数下，竟然是一一对应的。一一对应，自然每个客人就都有自己的房间了。说“某种计数”，是按上面的匹配程序走，不是我们一般说的个数。

扯更远了，希尔伯特的旅馆是没问题的。接下来我是想驳斥上面说的循环往复解决男女不平衡问题，那纯粹是扯淡，跟希尔伯特的旅馆，只是有些似是而非的联系。我要睡了（我已发现此命题的一个真正奇妙的证明，但是这页边空白太小，写不下这个证明。……）

这里我有一个小问题，我在sas里面同时会编写很多程序，但是不知道如何用快捷键在这些编辑界面中切换，我不得不开好几个sas然后用Alt+Tab来切换，这样很麻烦，不知道你有什么tip么？

答曰：

1. 打开一个SAS.exe。在增强型编辑器里，默认的窗口名为Untitled1，可以不断使用快捷键ctrl+n，这样就能在一个SAS.exe里同时打开很多编辑器窗口，分别是Untitled2、Untitled3、Untitled4之类。
2. 切换。在各个Untitled中，用快捷键ctrl+tab就可以相互切换，试一下。

只是些细微的月度变化，通用编程语言还是Java、C\C++，脚本语言还是3P（PHP、Perl、Python）的天下。上面把Delphi和Pascal单列，无疑削弱了Pascal的排名。SQL的扩展语言PL/SQL入榜，表明了Oracle管理员和程序员在数据库领域的地位（SQL不是TIOBE定义的编程语言，PL/SQL才是过程式的程序语言）。上面还有一个有趣的语言就是COBOL，最近似乎有兴起之势，有兴趣可以读读这篇《一个COBOL程序员的自白》。接下来我感兴趣的是SAS。

SAS这个月的排名是14，去年同期的排名是11，不过还保持了上两个月内评分超过0.7%的增长率，因此还有A-的评分。SAS排名的变动如下：

波动是够大的，不过总体的上升趋势还是比较明显。大致地，01年比较平淡，02年降些，03年又有极大的拉升，04年初有减弱现象，不过把一个相对高的分数带给了05年，然后整个05年就在一个水平波动，整个06是SAS最被关注的时候，而整个07年就一直走下坡路。今年年初，SAS的被关注程度还在往下跌，不过按着以前的模式，SAS在年初的表现一般都不怎么惹人注目。现在SAS的被关注程度正处于谷底，整个08年排名的上升趋势还是挺乐观的。以上展示的是逐月波动，对照一下同期其他流行语言的情况，你对类似波动的理解就会全面些：

顺便提一下，现在这个排行榜，Fortran是24名，Matlab是26，R是45，Maple、Mathematica、SPSS的排名更在50之外。

Obs    car    color

1      a       A
2      a       B
3      b       A
4      b       B
5      c       A
6      c       B

两种解决方案，一是data步：

data a;
    input car$;
cards;
a
b
c
;

data b;
    input color$;
cards;
A
B
;

data ab;
    set a;
    do i=1 to n;
        set b point=i nobs=n;
        output;
    end;
run;
proc print data=ab;run;

proc sql可能会直观些：

proc sql;
    create table ab2 as
        select a.*,b.color
        from a,b;
quit;
proc print data=ab2;run;

又，SAS求职者面试中一道传统的题就是，求一个连续数列的累计和，比如求1到100中所有奇数的和。两个直观的解答是：

data a;
    do i=1 to 10;
        *retain j 0;
        if mod(i,2) ne 0 then j=sum(j,i);
        if mod(i,2) ne 0 then output;       
    end;
run;

data b;
    do i=1 to 10 by 2;
        j+i;
        output;
    end;
run;

这里值得一提的是第二种解答中，用了一个SAS专用的求和语句“变量名+表达式”(j+i)。这个求和语句的好处就是它集成了retain语句和sum函数的一些功能，而且使赋值语句更为简洁。

SAS

SAS与Perl正则表达式（1）：元字符

SAS Logistic回归：一个完整例子

SAS和蒙特卡罗模拟（3）：SAS随机数函数及CALL子程序

SAS和蒙特卡罗模拟（2）：随机数基础

SAS和蒙特卡罗模拟（1）：开篇

用SAS读入原始数据（2）：PC文件

用SAS读入原始数据（1）：文本文件（续）

用SAS读入原始数据（1）：文本文件

SAS Tips &Tricks：按组求累加值

答客问：SAS对列求和

SAS备忘录：format和informat

SAS学习笔记（4）:Editing and Debugging SAS Programs

SAS学习笔记（3）:Referencing Files and Setting Options

SAS学习笔记（2）：Using the Programming Workspace

SAS学习笔记（1）：Basic Concepts

SAS学习笔记：开篇

几个SAS编辑器里的快捷键

一组常用的SAS快捷键和命令（一）：入门阶段

SAS Macro的面对对象解释-一个附会

推荐书：朱世武老师的《SAS编程技术与金融数据处理》

SAS Base 金融函数

SAS程序员必备的十大技巧

How to pronounce SAS ?

数据挖掘

决策树的构造——一个手工例子

最大熵模型：读书笔记

概率、信息和熵

常见数据挖掘错误：识别和纠正（译稿）

洗衣机，数据挖掘的物理模型

神经网络：学习笔记（1）：神经元

三个有名的决策树算法和它们的叶子

三个有名的决策树算法：CHAID、CART和C4.5

几个有名的数据挖掘与机器学习的练习数据集（一）
数据挖掘入门书：Roiger&Geatz《数据挖掘教程》清华版2003
Ryszard Michalski

数据采集策略：数据挖掘与统计学的一个区别

KDNuggets调查2007：数据挖掘方法论
KDnuggets调查：数据挖掘方法和工具

一款像模像样的数据挖掘软件—AlphaMiner

数据挖掘——我们能从股市数据得出什么，以及一些算法

统计学备忘录
白话统计（2）：中心极限定理
白话统计（1）：平均数、中位数、众数

备忘录之主成分分析

S语言:棕皮书、蓝皮书、白皮书和绿皮书

SAS Logistic回归：一个完整例子

金融计算

金融随机过程：备忘录

提升指数、提升表和提升图
Excel债券计算函数
Paul Wilmott’s Books on Quantitative Finance

SAS Base 金融函数

计算股票的贝塔值β

下载yahoo finance和雅虎财经数据

推荐书：朱世武老师的《SAS编程技术与金融数据处理》

其他
BNF
标记法：简介
SQL——在Oracle SQL*Plus里工作（1）：基础篇
Windows下运用Linux工具（一）：G++/Cyguns
Excel-备忘录
在UltraEdit中配置Java编译器
写在前面——我要经营的技术博客

匹配字符

元字符	匹配的字符	举例	备注
.	除换行符(newline)以外的任一字符		要匹配包括换行符的任一字符，使用模式[.\n]
\w	任一单词字符，包括A-Z,a-z,0-9和下划线(underscore,_)		在英语中，等价于[A-Za-z0-9_]
\W	任一非单词字符	\W可以匹配@	在英语中，等价于[^A-Za-z0-9_]
\s	任一空白字符，包括空格(space)、制表符(tab)、换行符、回车符、中文全角空格等		等价于[\f\n\r\t\v]
\S	任一非空白字符		等价于[^\f\n\r\t\v]
\d	0-9任一数字	\d\d可以匹配34	等价于[0-9]
\D	任一非数字字符	\D\D\D可以匹配abc	等价于[^0-9]

]]> http://www.jiangtanghu.com/cn/2008/02/24/sas%e4%b8%8eperl%e6%ad%a3%e5%88%99%e8%a1%a8%e8%be%be%e5%bc%8f%ef%bc%881%ef%bc%89%ef%bc%9a%e5%85%83%e5%ad%97%e7%ac%a6/feed/ 3 http://www.jiangtanghu.com/cn/2008/01/28/%e6%b4%97%e8%a1%a3%e6%9c%ba%ef%bc%8c%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98%e7%9a%84%e7%89%a9%e7%90%86%e6%a8%a1%e5%9e%8b/ http://www.jiangtanghu.com/cn/2008/01/28/%e6%b4%97%e8%a1%a3%e6%9c%ba%ef%bc%8c%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98%e7%9a%84%e7%89%a9%e7%90%86%e6%a8%a1%e5%9e%8b/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9967 昨天整洗衣机。看着大大小小新新旧旧，机身多赫然印一大字：
         Fuzzy

Fuzzy Logic，模糊逻辑控制， 大概说"只需按下启动键，从选择程序到漂洗、脱水，实现了全自动的控制。这种模糊逻辑控制的洗衣机可以自动检测洗衣内的衣物重量，从而自动选择水位和洗涤程序，这样不但大大简化了操作步骤，而且可以比较准确的配置水位和洗涤时间，节约了能源。"

看了这些就乐了。原来洗衣机还是这么一个机器学习/数据挖掘的物理模型，一个分类模型吧，输入是一大堆衣物和污渍。一个好的分类模型（洗衣机）要把衣服和污渍尽可能地分离出来，这样洗衣机的输出就是一个二分类变量，比如1代表没有污渍的衣物，0代表污渍。对照洗衣机这么个物理模型，很多问题就可以说开去了。

比如数据挖掘的流程。先从客户手里拿来数据，他们说这衣服你要洗成什么样什么样，如果他们没有见解，我们就说我们能把你们的衣服洗成如何如何。定义好问题，就得准备洗衣粉、脸盆之类的吧。衣服也要进行些预处理，比如一个小物件不适合放进洗衣机，就直接剔掉了。清洗数据，把衣服口袋里的钥匙、小纸条都掏出来，进行分组，比如牛仔裤放一起，床单被罩搁一块。还有一些肉眼就能识别的模式，比如那件裤子上粘的一块大口香糖，用手拨出来就是。诸如此类，数据可以丢进我们的洗衣机了。选用哪个模型？决策树？神经网络？手洗模式？儿童模式？还是Logistic回归？选上一个，我们来设置参数，洗衣机控制面板上那些按钮狂摁一通就是。有时还需要设置阀值，规定模型停止计算的条件，选"洗衣定时"就可以。不管了，把电脑合上，让它跑就是。一个小时后过去看看，电脑屏幕刷出一大块结果，说衣服洗好了。不满意，再加水添洗衣粉。如此反复，期限也快到了，衣服怎么着也得拿出来晾了。衣服洗好了，但还是乱七八糟地躺在洗衣机里，整理一下结果喽，以清晰的方式摆在衣架上，就等着人家来评估实施了。
还拿洗衣机说事，为什么有些人那么相信挖掘模型？这个问题还可以这么表述，为什么我那么相信洗衣机，即使是我以前那台老破旧笨？

1. 数据量庞大，衣服床单一大堆，手工计算几乎不可能。要手洗，耗水耗时间，对我而言，洗干净也几乎不可能。还有，看大伙都用上数据挖掘了，我的衣服还手洗就显得落伍了；
2. 洗衣机自称"模糊控制"，挺咋呼的听着。决策树、神经网络、最大熵、支持向量机，一个个听着也是能耐大，衣服放进去，有指望；
3. 洗衣机跟所有算法一样，都是一个黑箱，把衣服丢进去，设好参数，就等着结果了。要是不满意，再把衣服丢到模型里跑。既然决定不手洗了，而且结果也一定要在某日赶出来，那么你总要把衣服拿出来晾，那时自己也会觉得这模型是好用啊。洗衣店为什么都用洗衣机？似乎手洗的客户不放心，不代表先进生产力。

这样的附会可以一直说开去，大伙可以补充，懒得发挥了，随手记一些：

1. 一些小件衣物不适合放洗衣机，羽绒服最好也不要机洗，说明数据挖掘也不是什么都能对付；
2. 以前听一个商业案例，说某家的某款洗衣机可以洗土豆。好东西。
3. Fuzzy听着挺厉害，现在还有厂家推出NEURO&FUZZY的概念，好像是三洋吧，据说更加智能更加精确。然后LG也有CHAOS&FUZZY，不知道是炒概念还是真有用。这些我是在说BI界的事，潮流瞬息万变。
4. ……

吃饭去了。这篇随感写得挺顺，就是老把"洗衣机"敲成"冰箱"。一会想想冰箱像什么。

********这篇小随感刚发布在TTNN，留在这里做个备份。***************

1. 把代码注释掉，CTL+/
2. 取消注释，CTL+SHIFT+/
3. 大小写切换，CTL+SHIFT+L 、CTL+SHIFT+U
4. 缩进，TAB
5. DO/END的匹配，ALT+[、ALT+]

***********下期预告，《SAS与Perl正则表达式》****************

用SAS读入原始数据（1）：文本文件

用SAS读入原始数据（1）：文本文件（续）

****************************************************

引例：读入.csv文件（带逗号分隔的文本文件）

在用SAS读入原始数据（1）：文本文件提到过后缀名为.csv的文件（带逗号分隔的文本文件），可以采用列举输入模式读入。比如下面的数据，第一行是变量名，另两行是记录，你把它贴到记事本，然后另存为.csv格式，比如叫a.csv，就存于C:\：

Name,Job,Department,PhoneNum
"Brown, Ann",112,Publications,2587
"Krueger, John",,Sales,3456

利用带修饰的列举输入模式，可以这么读入：

data a1;
    infile ‘C:\a.csv’ firstobs=2 dsd;
    input Name:$ 12. Job Department:$12. PhoneNum;
run;

由于源文件是以逗号为分割符，但逗号同时是Name这一字段的分隔符，所以infile语句后面加了一个dsd，见《用SAS读入原始数据（1）：文本文件（续）》。

幸运的是，.csv同时也是SAS支持的所谓PC Files之一。对所有的PC数据文件，读入语句看上去是这样的：

proc import
    datafile=’C\a.csv’
    out=a2
    dbms=csv replace;
run;

上面两段脚本具有同样的功效。

PC文件及其DBMS标识

proc import的一般语句为：

proc import
    datafile=’文件名及盘符’
    out=自定义的数据集名
    dbms=DBMS标识符 replase;
    <其他可选项>;
run;

上面dbms标识符就是SAS系统能识别的PC文件标志。你可以在SAS-File-Import Data-Standard Data Sourse中找到PC文件的下拉列表。几个常用的有：

DBMS标识符	后缀	描述
Excel2000	.xls	Microsoft Excel 97, 2000 or 2002 Workbook
csv	.csv	Comma Separated Values (*.csv)，分隔符为逗号
Access	.mdb	Microsoft Access 97 Database

《SAS和蒙特卡罗模拟（1）：开篇》——简介，通过例子建立起蒙卡的直观概念；参考软件包及书目

《SAS和蒙特卡罗模拟（2）：随机数基础》——随机数入门；参考书目

**************************************************************************************************************************************************

一、SAS随机数函数和CALL子程序 

SAS系统产生随机数，两种方式，利用SAS函数(Functions)或者CALL子程序(CALL Routines)，它们的语法格式是（具体的区别容后讨论）：

方式	代码	说明
函数	var=name(seed,<arg>)	var为存储随机数列的变量，name为特定的分布函数形式，seed为随机数种子，<arg>为特定分布要求的参数（可选）
CALL子程序	call name(seed,<arg>,var)	同上,记得seed=0, ±1,±2, , ± (2**31-2)

用SAS读入原始数据（1）：文本文件

****************************************************

总结一下，有两种文本文件，及其对应的读入方法：

1. 字段固定(Fixed Filed)——列输入模式(Column)、格式化输入模式(Formatted)
2. 分隔符固定(Delimited Data)——列举输入模式(List)

对字段固定的文本文件，列输入模式：

1. 对数值变量，只能读入标准数据，包括正负号、小数点、数字、和由E构成的科学计数；
2. 不能够读入日期时间，以及包含美元符号、逗号等字符的数值；
3. 对字段的选择非常灵活，可以任意选择字段和读入的次序。

格式化输入模式：

1. 由指针控制读入的列数；
2. 可以设定输入格式。

对分隔符固定的文本文件，列举输入模式：

对分隔符固定的文本文件，系统根据分隔符就能区分各个变量，对系统默认的以空格为分隔符的数据文件，列举输入模式的input语句最为简单：

input 变量名<s>;

以下是一些扩展：

1. 如果源文件不是以空格为分隔符，比如是用逗号做分隔符，那么需要在infile语句后面加上 dlm=","     ；
2. 如果要读入超过8个字节的字符型变量，可以在数据步中加上一个length语句；
3. 如果要使用输入格式，可以采用带修饰的列举模式，它的input语句类似input a $:12.;
4. 在源数据文件中，比如是以逗号为分隔符，但文件中逗号还可能作为其中字符串的分隔符，这样就需要在infile语句中加上 dsd    ；

最后，在实际工作中，可能需要混合使用以上几种输入模式，见汪嘉冈（2001，P.111）。

参考资料：

1. 汪嘉冈《SAS V8基础教程》，北京：中国统计出版社，2001
2. SAS OnlineTutor: Basic and Intermediate SAS

资料来自美国G.H.维恩堡等著的《数理统计初级教程》（常学将等译，太原：山西人民出版社，1986）

《白话统计（1）：平均数、中位数、众数》

*************************************************************************

定理1：（中心极限定理）假定大量的等容量随机样本都是从同一无限总体采样的，算出每个样本的和，并把不同样本的和放在一起以形成一个新的分布，于是这个新的分布就是渐近正态的（其中要假定产生这些和的随机样本每个容量是足够大）。

在传统概率论教科书上，一般会这么陈述这个定理：

定理1`：（独立同分布的中心极限定理）设随机变量X1，…Xn，…相互独立，服从同一分布，且具有相同的数学期望和方差，则随机变量之和ΣXi的标准化变量服从标准正态分布。

演示性例子

想像一个很大的箱子，装满了小纸条，可供我们无穷无尽地抽取，每张纸条上写有一个数字。为简单起见，假定只有0、1、2三个数字，且每个数字出现在每张纸条上的可能性都是1/3。记住，这个箱子里的纸条如此之多，以致我们可以抽取任一数目的任一种纸条，而不必担心会改变箱中剩下的各种纸条之间的比例。

箱子有一个小口，通过它，每次可以释放出一张纸条。箱子还有一个洗牌装置，这种装置会把纸条洗得这样得均匀，以至当我们决定抽取一张时，每张纸条有同样的被释放出来的机会。因此，我们的观察室独立的，而且我们的样本是随机的。

现在我们就来抽取等容量的随机样本，假设每个样本都包含200张纸条。

我们一张一张地抽取200张纸条。比如头一张纸条上的数字是2，第二张纸条的数字是0，第三张纸条是2，如此等等。假设构成这个第一份样本的200张纸条上的数字总和是210，这个和成为所产生的新的分布的第一项。

第二个样本的200张纸条上的数字之和比如是194.对大量的样本，每个样本都包含200张纸条，重复这个过程。定理1告诉我们，这种样本和数越来越多时，样本和的分布近似于正态分布。

如何实际运用定理1

关于定理1，对被抽取样本的那个总体没有要求任何限制。不管被抽取样本的那个总体，其分布的形状如何，样本和的分布都是正态的。

定理1说明，为什么正态分布出现在如此多的不同的问题之中。我们用于纸条取样的那种方法，看来是实际中特别喜欢使用的一种方法。在每次情况中出现的、构成一个正态分布的那些数，都可以看作独立观察资料的等容量样本的和。

例子1。考察射击时围绕靶子构成正态分布的子弹。每一颗子弹击中的位置实际上是许多随机影响的和，比如姿势、风向、光线、心理等等。这些因素和诸如此类因素的影响，同时在一位特定射手的身上起作用；且对于不同的射手，它们是不同的。一个射手的得分，表明他的子弹最终射到何处去了，这个得分是那些随机影响的样本之和。具体地，比如每一个射手的分布式70项主要影响之和，因而每一发子弹的得分，都可以看作是70项的一个样本和（与70张纸条上的那些数字的和相对应）。这样一来，不同射手的得分，就可以看作是不同的等容量样本的和。根据定理1，子弹得分的分布式正态的。

例子2。考察每个人的智力水平，也可以当作出自不同根源的小影响的和来看待，包括营养、机会、性格、遗传等等等等。这么看来，大量的人的智力水平的分布式正态的。

定理2：（定义1的一个变形，平均数的中心极限定理）假定，大量的等容量随机样本是从同一无限总体中采集的，算出每一个样本的平均数，并把不同样本的平均数放到一起形成一个新的分布，于是这个新的分布就是渐近分布的（假定产生这些平均数的随机样本容量是足够大的）。

样本平均数的集合可以通过样本和集合直接得到，因此平均数的分布就是和的分布的一个小比例的变形。样本平均数的分布用两个有用的性质：

1. 假定无穷多个等容量随机样本是从同一无限总体中抽取的，而且把这些样本的平均数放到一起，以构成一个新的分布，那么这个新分布（样本平均数构成的）的均值与原总体的均值相同。
2. 假定无穷多个等容量随机样本是从同一无限总体中抽取的，以n表示每一个样本的容量，这些样本的平均数的分布有一个标准差，它等于原总体的标准差除以n的平方根。

定理2及其两个性质就是我们熟悉的mean(X)~N(μ,σ**2/n)。

2810 61 MOD  F
2804 38 HIGH F

下面的数据中，每个字段的列数不必相同，但都由同一样个的分隔符（这里是逗号）分开，所以称为分隔符固定(Delimited Data)或者自由格式(Free-format)的文件文件。如果分隔符为逗号（通常以.csv为后缀），干脆就叫做“用逗号分隔的文本文件”：

1-Mar-90,LON,198
13-Mar-90,FRA,2073

对以上两种文本格式的数据，SAS提供了以下四种基本的输入模式：

1. 列输入模式(Column) ——应用于字段固定的文本文件
2. 格式化输入模式(Formatted) ——应用于字段固定的文本文件
3. 列举输入模式(List) ——应用于分隔符固定的文本文件
4. 命名输入模式(Named)

对以上几种输入模式，基本的语句如下，区别就在于input语句的具体设定：

data 你对导入数据的命名;
    infile  源文件名,加上具体的盘符位置;
    input 变量输入设定；
run;

1.列输入模式(Column)–应用于字段固定的文本文件

对字段固定的源文件，input语句的形式是

input 变量名1<s>开始列数-结束列数 变量名2<s>开始列数-结束列数 …;

一个能工作的列输入模式语句看起来就像下面展示的：

data work.example1;
    infile ‘C:\data\example1.dat’  firstobs=2 obs=100;
    input ID 1-3 Name $ 5-10;
run;

优点：

1. 对字段的选择非常灵活，可以任意选择字段，以及安排读入的次序；
2. 整个字段或其部分可以重复读入；
3. 字段间不一定要有空格或者其他分隔符来分隔；
4. 字符变量最多可含32K个字符，并可以包含空格符；
5. 对缺失数据没有特殊占位符的要求。一个空格字段就读为一个缺失值，也不会引起其他字段读入的错误。

局限：

1. 可以设定输入长度，但不可以设定输入格式。对数值型变量，只能读入标准数据值(Standard Numeric Data Value)，即只包括数字、正负号、小数点和科学计数符号E构成的数，对日期型数据，以及包含美元符号、逗号等其他符号的数值，因为需要设定输入格式并按格式读入，列输入模式就无法正确读取。

2.格式化输入模式(Formatted)–应用于字段固定的文本文件

格式化输入模式类似于列模式：

1. 它适用于字段固定格式的数据文件；
2. 它也给出字段开始的列数，但不直接给出结束列数，而是通过输入格式给出读入长度；
3. 它可以设定输入格式。

它的input语句的格式为：

input <指针控制> 变量名 输入格式 …;

注1：指针控制，就是将输入列指针控制在某个位置，作为读入字段的开始列号，它有 @n 或者 +n 的形式：

• @n表示从第n列开始读入（指示开始列数的绝对位置）；
• +n表示将列控制指针增加n列侯读入（指示相对位置）。

一个能工作的格式化输入模式语句看起来就像下面展示的：

data work.example2;
    infile ‘C:\data\example2.dat’;
    input Name $ 2. @3 Job $5. +7 Place $8.;
run;

3.列举输入模式(List)–应用于分隔符固定的文本文件

因为分隔符固定的数据可以用分隔符来确定字段，input语句特别简单：

input 变量名<s>…;

如果要读入非空格分隔符的数据，就需要在infile语句中指明（默认为空格）：

infile 文件盘符 <dlm="分隔符">;

在列举模式下，变量长度的缺省值为8，长度超过8的字符变量在读入时会被截断，这时可以用lenght语句来设定长度：

length 变量名<s> 长度;

列举模式也可以设定输入格式，这只需要在输入变量设定时附加上相关修饰：

input 变量名<s>: 输入格式 …;

一个能工作的列举输入模式语句看起来就像下面展示的：

data work.example3;
    infile ‘C:\data\example3.dat’ dlm=’,';
    length item $ 10.;
    input ID Name $ item $   income:comma9.;
run;

4.命名输入模式(Named)

命名输入模式很少见到，因为很难得见到这种格式的原数据，其中三个变量是ID、Name和Score：

1 Name=Tom Score=A
2 Name=Jim  Score=C

相应的input语句为:

input  ID Name=$3. Score=$1.

参考资料：

1. 汪嘉冈《SAS V8基础教程》，北京：中国统计出版社，2001
2. SAS OnlineTutor: Basic and Intermediate SAS

定义1. 各项累加之和除以项数，所得之数值，叫做平均数（6）。

定义2. 众数是出现次数最多的那一项的数值（4）。

定义3. 中位数是这样一个项的数值（或两项之平均数）：它（或该两项）的数值大于或等于其余一半项的数值，而小于或等于另外一半项的数值（5）。

注1：平均数受每个改变的牵动，中位数和众数却只受某些改变的牵动。由于这个原因，平均数常常被认为是“敏感的”，是“反映整个分布的”。

注2：当分布含有少数在一端远离的极端项时，平均数的敏感性，对它的代表性反而可能是不利的。

注3：中位数不受少数极端值的影响。

注4：众数显示最大频率，而最大频率是最普遍化的同义语。

一、平均数的两个性质

物理模型：设想一块实验板，其上有4至10的等距刻度。假定5个一磅重的砝码置于板上，砝码的位置为4、4、5、7、10。现在假设有一支点，令该实验板连同其上的砝码在支点上保持平衡，并设该实验板本身无重量。几经失败之后，我们设想找到了平衡点。

结果，支点在各项的平均数之下。任何项的集合的平均数都是那些项的平衡点，而且平均数是唯一的平衡点。

考虑支点左边每个砝码与支点（平均数）的距离。最左端的两个砝码与平均数相距2个单位，第三个相距1个单位，总和是5个单位。同样，支点右边的砝码与支点的距离也是5个单位。正是这个等量平衡了实验板。左右两边砝码与平均数的距离之和总是相同的，也即平均数两边的距离“相抵”。

为了得到上面的距离，从各项减去平均数。有负号的是平均数左边砝码得到的结果，有正号的是右边砝码得到的结果。前面提到，把负号抹去，左边各项的和等于右边各项的和（距离“相抵”）。留住负号，则所有项的和等于0 ,Σ[x-mean(x)]=0，即，与平均数之差的和恒等于0。总结一下：

定理1：在任何分布中，各项对平均数的差之和等于0。反之，若分布中各项对某数的差数之和等于0时，该数即为此分布的平均数。

又考虑对平均数的差数平方：

各项	平均数6做参考点	差数	差数平方
4	6	-2	4
4	6	-2	4
5	6	-1	1
7	6	1	1
10	6	4	16
		总和	26

]]> http://www.jiangtanghu.com/cn/2008/01/18/%e7%99%bd%e8%af%9d%e7%bb%9f%e8%ae%a1%ef%bc%881%ef%bc%89%ef%bc%9a%e5%b9%b3%e5%9d%87%e6%95%b0%e3%80%81%e4%b8%ad%e4%bd%8d%e6%95%b0%e3%80%81%e4%bc%97%e6%95%b0/feed/ 2 http://www.jiangtanghu.com/cn/2008/01/14/%e6%88%91%e6%89%80%e6%9c%89%e7%9a%84%ef%bc%88%e6%89%80%e8%b0%93%ef%bc%89%e6%8a%80%e6%9c%af%e6%96%87%e7%ab%a0%ef%bc%8c%e4%bb%8e2007%e5%b9%b43%e6%9c%8815%e5%88%b02008%e5%b9%b41%e6%9c%8814/ http://www.jiangtanghu.com/cn/2008/01/14/%e6%88%91%e6%89%80%e6%9c%89%e7%9a%84%ef%bc%88%e6%89%80%e8%b0%93%ef%bc%89%e6%8a%80%e6%9c%af%e6%96%87%e7%ab%a0%ef%bc%8c%e4%bb%8e2007%e5%b9%b43%e6%9c%8815%e5%88%b02008%e5%b9%b41%e6%9c%8814/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9959 这样子的整理，本该是07年末的事，以后也这样随手摆出来了：

************************“技止于此”文章目录，从2007年3月15到2008年1月14************************

46-  SAS和蒙特卡罗模拟（2）：随机数基础
45-  SAS Tips &Tricks：按组求累加值
44-  SAS和蒙特卡罗模拟（1）：开篇
43-  SAS程序员必备的十大技巧
42-  Excel债券计算函数
41-  金融随机过程：备忘录
40-  Paul Wilmott’s Books on Quantitative Finance
39-  BNF标记法：简介
38-  SQL——在Oracle SQL*Plus里工作（1）：基础篇
37-  常见数据挖掘错误：识别和纠正（译稿）
36-  SAS Base 金融函数
35-  答客问：SAS对列求和
34-  SAS备忘录：format和informat
33-  Ryszard Michalski
32-  How to pronounce SAS ?
31-  概率、信息和熵
30-  三个有名的决策树算法和它们的叶子
29-  提升指数、提升表和提升图
28-  SAS Macro的面对对象解释-一个附会
27-  SAS学习笔记（4）:Editing and Debugging SAS Programs
26-  数据采集策略：数据挖掘与统计学的一个区别
25-  SAS学习笔记（3）:Referencing Files and Setting Options
24-  计算股票的贝塔值β
23-  KDNuggets调查2007：数据挖掘方法论
22-  SAS学习笔记（2）：Using the Programming Workspace
21-  神经网络：学习笔记（1）：神经元
20-  SAS学习笔记（1）：Basic Concepts
19-  SAS学习笔记：开篇
18-  KDnuggets调查：数据挖掘方法和工具
17-  备忘录之主成分分析
16- 下载yahoo finance和雅虎财经数据
15-  S语言:棕皮书、蓝皮书、白皮书和绿皮书
14-  一款像模像样的数据挖掘软件—AlphaMiner
13-  最大熵模型：读书笔记
12-  SAS Logistic回归：一个完整例子
11-  三个有名的决策树算法：CHAID、CART和C4.5
10-  数据挖掘——我们能从股市数据得出什么，以及一些算法
9-  Windows下运用Linux工具（一）：G++/Cyguns
8-  一组常用的SAS快捷键和命令（一）：入门阶段
7-  Excel-备忘录
6-  在UltraEdit中配置Java编译器
5-  推荐书：朱世武老师的《SAS编程技术与金融数据处理》
4-  决策树的构造——一个手工例子
3-  几个有名的数据挖掘与机器学习的练习数据集（一）
2-  数据挖掘入门书：Roiger&Geatz《数据挖掘教程》清华版2003
1- 写在前面——我要经营的技术博客

***************************************************************************************************

《SAS和蒙特卡罗模拟（1）：开篇》——简介，通过例子建立起蒙卡的直观概念；参考软件包及书目

**************************************************************************************************************************************************

SAS for Monte Carlo Simulations (2): Random Numbers

最简单、最基本、最重要的随机变量是在[0,1]上均匀分布的随机变量。一般地，我们把[0,1]上均匀分布随机变量的抽样值称为随机数，其他分布随机变量的抽样都是借助于随机数来实现的。以下谈的都是所谓“伪随机数”(Pseudo Random Numbers)。产生随机数，可以通过物理方法取得（很久很久以前，兰德公司就曾以随机脉冲源做信息源，利用电子旋转轮来产生随机数表），但当今最为普遍的乃是在计算机上利用数学方法产生随机数。这种随机数根据特定的迭代公式计算出来，初值确定后，序列就可以预测出来，所以不能算是真正的随机数（就成为“伪随机数”）。不过，在应用中，只要产生的伪随机数列能通过一系列统计检验，就可以把它们当成“真”随机数来用。

现在大多软件包内置的随机数产生程序，都是使用同余法(Congruential Random Numbers Generators)。“同余”是数论中的概念。

0.预备知识：同余

捡回小学一年级的东西："4/2=2"读作“4除以2等于2”，或者，“2除4等于2”。还有求模的符号mod(number,divisor)，其中，number是被除数（在上式中，为4），divisor是除数（上式中的2）。这样的约定对SAS和Excel都通用，如mod(4,13)=4，mod(13,4)=1。

现在我们可以开讲“同余”了。设m是正整数，用m去除整数a、b，得到的余数相同，则称“a与b关于模m同余”。上面的定义可以读写成，对整数a、b和正整数m，若mod(a,m)=mod(b,m)，则称“a与b关于模m有相同的余数（同余）”，记做a≡b(mod m)（这就是同余式）。举个例子，mod(13,4)=1，mod(1,4)=1，则读成13和1关于模4同余，记做13≡1(mod 4)。当然，同余具有对称性，上式还可以写成1=13(mod 4)。

a≡b(mod m)的一个充要条件是a=b+mt，t是整数，比如13=1+3*4。a=b+mt可以写成(a-b)/m=t，即m能整除(a-b)。

这些就够了。更多基础性的介绍，可以参考《同余（数据基础）》。

1.乘同余法

同余法是一大类方法的统称，包括加同余法、乘同余法等。因为这些方法中的迭代公式都可以写成上面我们见过的同余式形式，故统称同余法。常用的就是下面的乘同余法(Multiplicative Congruential Generator.)。符号不好敲，做些约定，如R(i)就是R加一个下标i。

乘同余法随机数生成器的同余形式如下：R(i+1)=a*R(i) (mod m)。这个迭代式可以写成更直观的形式，R(i+1)=mod[a*R(i),m]，其中初值R(0)称为随机数种子。因为mod(x,m)总是等于0到m-1的一个整数，所以最后把R(i+1)这个随机序列都除以m，就可以得到在[0,1]上均匀分布的随机数。下面用电子表格演示一遍，假设随机数种子R(0)=1，a=4，m=13：

	A	B	C	D	E
1	i	R(i)	a*R(i)	mod[a*R(i),m]	mod[a*R(i),m]/m
2	0	1	=B2*4	=mod(C2,13)	=D2/13
3	1	=D2	=B3*4	=mod(C3,13)	=D3/13
4	2	=D3	=B4*4	=mod(C4,13)	=D4/13

]]> http://www.jiangtanghu.com/cn/2008/01/12/sas%e5%92%8c%e8%92%99%e7%89%b9%e5%8d%a1%e7%bd%97%e6%a8%a1%e6%8b%9f%ef%bc%882%ef%bc%89%ef%bc%9a%e9%9a%8f%e6%9c%ba%e6%95%b0%e5%9f%ba%e7%a1%80/feed/ 3 http://www.jiangtanghu.com/cn/2008/01/12/sas-tips-tricks%ef%bc%9a%e6%8c%89%e7%bb%84%e6%b1%82%e7%b4%af%e5%8a%a0%e5%80%bc/ http://www.jiangtanghu.com/cn/2008/01/12/sas-tips-tricks%ef%bc%9a%e6%8c%89%e7%bb%84%e6%b1%82%e7%b4%af%e5%8a%a0%e5%80%bc/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9957 按组求累加值：原数据由下面给出：

data a;
    input id sum;
cards;
1 4
1 3
2 5
2 7
2 9
3 6
3 6
;

上面id分为1、2、3，要求按每组求累加值，即生成一个新变量cum，它看起来是这样的：

id    sum    cum
1     4       4
1     3       7
2     5       5
2     7      12
2     9      21
3     6       6
3     6      12

方案一：

proc sort data=a;
    by id;
run;

data b;
    set a;
    by id;

retain cum;
if first.id then cum=sum ;
        else cum=cum+sum;
run;

方案二（方案一的小改进）：

proc sort data=a;
    by id;
run;

data b;
    set a;
    by id;
    if first.id then cum=sum ;
        else cum+sum;
run;

SAS for Monte Carlo Simulations (1): Introduction

一、为什么选择SAS做蒙特卡罗模拟？

为什么要用SAS做蒙卡？首先，对我来说，我只会用SAS，而且打算用SAS完成我所有的工作。当然，其他一些通用的理由有(Fan, etc.,2002)：

1. 蒙卡是个计算密集的活，而SAS Base、SAS Macro、SAS/IML强大而灵活的编程能力能满足这一要求；
2. 做蒙卡时要用到大量的统计/数学技术，而SAS就内置了大量的统计/数学函数(在 SAS/Stat和SAS/ETS)；用Fortran或C++当然也是非常好的主意，只是他们缺少内置的统计函数，代码就要冗长复杂很多。

二、什么是蒙卡？一个启发性例子

好，开始，什么是蒙卡？了解它背景知识的最好办法当然是wiki-Monte_Carlo_method。蒙特卡罗是位于摩洛哥的一家赌场，二战时，美国Los Alamos国家实验室把它作为核裂变计算机模拟的代码名称。作为模拟方法，蒙卡以前就叫统计抽样(statistical sampling)，我们感兴趣的结果因为输入变量的不确定而不可知，但如果能依概率产生输入变量的样本，我们就可以估计到结果变量的分布。跟蒙卡对应的，还有一种模拟技术叫系统模拟，包括排队、库存等模型，这些模型都跟随时间推移而出现的事件序列有关。下面举个蒙卡的例子，来自Evans, etc.( 2001)的超级简化版。

假设一家企业，利润是其需求量的函数，需求是随机变量。为了简化讨论，假定利润就是需求的两倍。这里输入变量就是不可控的需求，结果变量就是我们感兴趣的利润。假设需求以相同的概率取10、20、30、40、50、60这六种情况。在这样的简化下，我们就可以投一枚均匀的骰子来产生需求的样本，如果点数为1，对应得需求就是10，点数为2，需求就是20，以下类推。这样，我们的模拟过程就是：

1. 投骰子；
2. 根据骰子的点数确定需求量；
3. 根据需求量，求利润。

掷10次骰子，假设我们的模拟结果如下：

重复次数	骰子点数	需求量	利润
1	5	50	100
2	3	30	60
3	3	30	60
4	6	60	120
5	1	10	20
6	3	30	60
7	4	40	40
8	5	50	100
9	2	20	20
10	5	50	50

]]> http://www.jiangtanghu.com/cn/2008/01/09/sas%e5%92%8c%e8%92%99%e7%89%b9%e5%8d%a1%e7%bd%97%e6%a8%a1%e6%8b%9f%ef%bc%881%ef%bc%89%ef%bc%9a%e5%bc%80%e7%af%87/feed/ 8 http://www.jiangtanghu.com/cn/2007/12/29/sas%e7%a8%8b%e5%ba%8f%e5%91%98%e5%bf%85%e5%a4%87%e7%9a%84%e5%8d%81%e5%a4%a7%e6%8a%80%e5%b7%a7/ http://www.jiangtanghu.com/cn/2007/12/29/sas%e7%a8%8b%e5%ba%8f%e5%91%98%e5%bf%85%e5%a4%87%e7%9a%84%e5%8d%81%e5%a4%a7%e6%8a%80%e5%b7%a7/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9955 SUGI27(2002)有一篇被广泛引用的文章，就两页纸，Doug Zirbel的10 Things Experienced SAS® Programmers Don’t Know – But Should(“SAS程序员不知道但必须知道的10件事”)，题目挺拉风，讲的是对有经验的SAS程序员的一次非正式调查，要他们列出SAS程序员需要的一些技巧。其实一共列出了22条，当然前10条是最重要的：

1. Macros—basic knowledge of macro language——对SAS宏语言的基本了解。这里作者推荐的主打文档当然是SAS Manuals中的SAS Macro language，以及SAS Guide to Macro Processing，然后还有Little SAS Book和Carpenter’s Complete Guide to the SAS Macro Language
2. Data Step—basic knowledge of data step——对SAS数据步的基本了解，参见一篇SUGI21的文章，Thomas Miron的The Secret Lift of the Data Step
3. Data file manipulation—INFILE, UPDATE, SET intricacies etc ——数据文件操作语句，如infile、update、set等
4. ODS——SAS输出传送系统(Output Delivery System)
5. Efficiency——编程效率
6. Data Step Vector—How it works——理解数据步的运行原理，参见2
7. Macros—Knowing how to write macros that write SAS programs——如何写宏语句
8. System Development Life Cycle process——这里讲软件开发流程了，作者甚至列出了Steve McConnell的代码大全(Code Complete)，在程序员中流传甚广。
9. SAS Help—How to get it——利用SAS的联机帮助文档
10. Proc Report——程序步，设计报表
11. SQL Dictionary tables—basic of retrieving SAS metadata— 用SQL语句管理数据词典（原数据，metadata），可以参见Frank C. DiIorio 和Nancy J. Michal的Data about Data: An Introduction to Dictionary Tables
12. Proc Summary/Means——程序步，汇总和均值
13. Debugging Techniques-DEBUG facility and other techniques——程序调试
14. Proc SQL——SQL语句
15. Structured programming concepts——结构化编程
16. Proc Format——格式输入语句
17. Relational Database Design——数据库设计
18. Web technology—HTML, JavaScript, SAS IntrNet, ect——网络技术，一些脚本语言
19. Your Operating System native (and other) languages—REXX, Unix scripts, VBScript, syncsort——跟操作系统相关的一些脚本语句
20. Proc Transpose——数据转置
21. Data step reports—"Data _null_" report writing——
22. SCL—SCL Functions usable in e.g.,Base SAS data steps——屏幕控制语句

上面10，或者22条，要强调的都是，SAS Base是一个好的SAS程序员需要掌握的几乎所有的东西。

其中，在“其他债券种类”一栏中，

1. oddf表示odd (short or long) first period，即首期付息日不固定
2. oddl表示odd (short or long) last coupon period，即末期付息日不固定
3. tbill是Treasury bill，即国库券

附：关于金融函数的参数(argument)，如disc(settlement,maturity,pr,redemption,basis)，大致可以分为以下三类：

价格、收益率和利率

1. 价格(pr)
2. 面值(par)
3. 清偿价值(redemption)—债券到期后兑付的价格
4. 收益率(yld)
5. 利率(rate)

日期

1. 发行日(issue)
2. 交易日(settlement)
3. 到期日(maturity)
4. 首期付息日(first_coupon)
5. 末期付息日(last_coupon)

日期基准

1. 计息次数(frequency)—按年支付，1；半年，2；季度，4
2. 日计数基准(basis)—美国基准（默认），30/360，0；每月实际天数/每年实际天数，1；每月实际天数/360，2；每月实际天数/365，3；欧洲基准，30/360，4，它将31日计入下一月

更多可以参考：

1. Excel联机帮助：函数参考—财务
2. Microsoft Office Online: Microsoft Office Excel—Financial Functions
3. 王小民编著《Excel 2002高级应用——金融财务》，机工，2003

如果有兴趣，你当然可以把Neftci(2000)从头到尾读下来，对金融数学要求的随机微积分了解个通透。这本书会从导数的定义开始，一直讲到我们需要的Itō积分、鞅还有PDE，它是Wilmott(2006)还有Hull(2006)都推荐的书（Wilmott看着就是追随这本）。当然，Hull的相关章节（加上附录）也是我们初步了解随机微积分的极好途径，其他的书大都藏头藏尾，遮遮掩掩。有本中文书，台湾陈松男(2002)，不回避大多数学问题，读着也是痛快淋漓，而且提供了大多数教科书不曾见到的数学细节。以下这个读书笔记，参照的就是Hull和陈松男（下面当然不好显示数学符号，你可以在我的Google Page找到下文详细的pdf版本，一个叫FinancialStochasticCalculus.pdf    的文件）：

1. 马尔科夫过程(Markov Stochastic Process)
2. 维纳过程(Wiener Process)
3. Delta(z)的概率分布性质
4. 把时段的长度放大至T
5. 一般化的维纳过程
6. 伊藤过程(Itō Process)
7. 伊藤引理(Itō’s Lemma)
8. 伊藤引理(Itō’s Lemma)的扩展
9. 股票价格的变动过程
10. 伊藤引理应用于股价的变动过程

参考文献

1. Paul Wilmott. Paul Wilmott on Quantitative Finance (Volume One, 2^nd Ed.).John Wiley &Sons, 2006
2. Salih N. Neftci. An Introduction to the Mathematics of Financial Derivatives (2^nd Ed., 2000). 武汉大学出版社影印版，2007
3. John C. Hull. Options, Futures and Other Derivatives (6^th Ed.). Prentice Hall, 2006
4. 陈松男《金融工程学——金融商品创新选择权理论》，复旦大学出版社，2002

是已经够了。不过在国内，还偶尔能看到Paul的另一本Derivatives: the Theory and Practice of Financial Engineering（1998，768页），或者一册更薄的，The Mathematics of Financial Derivatives: A Student Introduction（1995，330页），这本小书又是他的Option Pricing: mathematical Methods and Computation（1994，457页）的缩写。

这些书章节惊人的重复，大概看看下面的几个目录就可以决定取舍了：

Paul Wilmott on Quantitative Finance三卷本（2006，1500页） 第一卷 1. Products and Markets 2. Derivatives 3. The Random Behavior of Assets 4. Elementary Stochastic Calculus 5. The Black-Scholes Model 6. Partial Differential Equations 7. The Black-Scholes Formulae and the ‘Greeks’ 8. Simple Generalizations of the Black-Scholes World 9. Early Exercise and American Options 10. Probability Density Functions and First Exit Times 11. Multi-asset Options 12. How to Delta Hedge 13. Fixed-income Products and Analysis: Yield, Duration and Convexity 14. Swaps 15. The Binomial Model 16. How Accurate is the Normal Approximation? 17. Investment Lessons from Blackjack and Gambling 18. Portfolio Management 19. Value at Risk 20. Forecasting the Markets? 21. A Trading Game 第二卷 22. An Introduction to Exotic and Path-dependent Options 23. Barrier Options 24. Strongly Path-dependent Options 25. Asian Options 26. Lookback Options 27. Derivatives and Stochastic Control 28. Miscellaneous Exotics 29. Equity and FX Term Sheets 30. One-factor Interest Rate Modeling 31. Yield Curve Fitting 32. Interest Rate Derivatives 33. Convertible Bonds 34. Mortgage-backed Securities 35. Multi-factor Interest Rate Modeling 36. Empirical Behavior of the Spot Interest Rate 37. The Heath, Jarrow & Morton and Brace, Gatarek & Musiela Models 38. Fixed Income Term Sheets 39. Value of the Firm and the Risk of Default 40. Credit Risk 41. Credit Derivatives 42. RiskMetrics and CreditMetrics 43. CrashMetrics 44. Derivatives **** Ups 第三卷 45. Financial Modeling 46. Defects in the Black-Scholes Model 47. Discrete Hedging 48. Transaction Costs 49. Overview of Volatility Modeling 50. Volatility Smiles and Surfaces 51. Stochastic Volatility 52. Uncertain Parameters 53. Empirical Analysis of Volatility 54. Stochastic Volatility and Mean-variance Analysis 55. Asymptotic Analysis of Volatility 56. Volatility Case Study: The Cliquet Option 57. Jump Diffusion 58. Crash Modeling 59. Speculating with Options 60. Static Hedging 61. The Feedback Effect of Hedging in Illiquid Markets 62. Utility Theory 63. More About American Options and Related Matters 64. Advanced Dividend Modeling 65. Serial Autocorrelation in Returns 66. Asset Allocation in Continuous Time 67. Asset Allocation Under Threat Of A Crash 68. Interest-rate Modeling Without Probabilities 69. Pricing and Optimal Hedging of Derivatives, the Non-probabilistic Model Cont’d 70. Extensions to the Non-probabilistic Interest-rate Model 71. Modeling Inflation 72. Energy Derivatives 73. Real Options 74. Life Settlements and Viaticals 75. Bonus Time 76. Overview of Numerical Methods 77. Finite-difference Methods for One-factor Models 78. Further Finite-difference Methods for One-factor Models 79. Finite-difference Methods for Two-factor Models 80. Monte Carlo Simulation and Related Methods 81. Numerical Integration and Simulation Methods 82. Finite-difference Programs 83. Monte Carlo Programs A. All the Math You Need… and No More (An Executive Summary)

Paul Wilmott Introduces Quantitative Finance 1 Products and Markets: Equities, Commodities, Exchange Rates, Forwards and Futures 2 Derivatives 3 The Binomial Model 4 The Random Behavior of Assets 5 Elementary Stochastic Calculus  6 The Black-Scholes Model 7 Partial Differential Equations 8 The Black-Scholes Formula and the ‘Greeks’ 9 Overview of Volatility Modeling 10 How to Delta Hedge 11 An Introduction to Exotic and Path-dependent Options 12 Multi-asset Options 13 Barrier Options 14 Fixed-income Products and Analysis: Yield, Duration and Convexity 15 Swaps 16 One-factor Interest Rate Modeling 17 Yield Curve Fitting 18 Interest Rate Derivatives 19 The Heath, Jarrow & Morton and Brace, Gatarek & Musiela Models 20 Investment Lessons from Blackjack and Gambling 21 Portfolio Management 22 Value at Risk 23 Credit Risk 24 RiskMetrics and CreditMetrics 25 CrashMetrics 26 Derivatives **** Ups 27 Overview of Numerical Methods 28 Finite-difference Methods for One-factor Models 29 Monte Carlo Simulation 30 Numerical Integration A All the Math You Need. . . and No More (An Executive Summary) B Forecasting the Markets? A Small Digression C A Trading Game D Contents of CD accompanying Paul Wilmott Introduces Quantitative Finance, second edition E What you get if (when) you upgrade to PWOQF2 Bibliography Index   The Mathematics of Financial Derivatives: A Student Introduction PART I: Basic Option Theory 1. An Introduction to Options and Markets 2. Asset Price Random Walks 3. The Black-Scholes Model 4. Partial Differential Equations 5. The Black-Scholes Formulae 6. Variations on the Black-Scholes Model 7. American Options PART II: Numerical Methods 8. Finite-Difference Methods 9. Methods for American Options 10. Binomial Methods PART III: Further Option Theory 11. Exotic and Path-Dependent Options 12. Barrier Options 13. A Unifying Framework for Path-Dependent Options 14. Asian Options 15. Lookback Options 16. Options with Transaction Costs PART IV: Interest Rate Derivative Products 17. Interest rate Derivatives 18. Convertible Bonds Hints to Selected Exercises Bibliography Index

你经常看到类似下面的语法说明：

这些类似的标记就称作Fackus-Naur Form，简称BNF，是John Backus和Peter Naur为每一种编程语言设计的语法规则标记符号。 这套标记法非常复杂，一般掌握下面的一个超级简化版本就可以了：

1.使用演示帐号scott进入SQL*Plus，密码是tiger，这里帐号和密码不区分大小写。或者，你用其他任何一个账户登录SQL*Plus，再敲入连接scott的命令 connect scott/tiger 。scott账户下有一些简单的练习数据，在oracle的安装路径里，你找到一个叫adminscott.sql的脚本，可以查看端倪。这里面有三张常用的表：员工表emp、部门表dept和工资表salgrade。

2.一个最简洁的sql语句由select*  from  表的名字  组成，即，sql至少要包括select和from两个字句。有时你要在sql下演示，比如说只是把大写字母A转化成小写a（函数lower(‘A’)），你看上去不需要数据库提供的任何表，但语法还需要一个from字句。此时可以用Oracle提供的一张虚表dual，如select  lower(‘A’)  from dual。

3.改变系统默认格式——日期：alter session set nls_date_language=’american’ 。

4.显示变量标签：select empno as "emp number",ename name from emp。两种方式，用空格隔开方便些，加as好读些。

5.连接运算符||和distinct关键字。

6.限制性查询where：比较运算符between and 、in、 like。

7.like运算符的通配符：%代表零个或多个字符，_代表一个（只是一个）字符（_不是-）。

8.定义转义符（escape）：where ename like ‘IT\_%’ escape ‘\’。’\'是c语言中的转义符。_本是通配符。

9.如果使用order by排序语句，要把它放在sql的最后。默认是按升序。

10.desc[ribe],描述表的结构。

11.set line[size]调整显示屏的显示宽度，默认是80。同样有set pagee[size]。

12.行编辑命令： 

　　A[PPEND] text : 在缓冲区行的末尾加上text的文本。

　　C[HANGE]/old/new：将当前行中old替换为new

　　C[HANGE]/text: 从行中删除text文本

　　CL[EAR] BUFF[ER]：清除缓冲区里所有的行

　　DEL ： 删除当前行

　　DEL *：删除当前行

　　DEL n * : 删除从n行到当前行。

　　DEL LAST：删除最后一行。

　　DEL m n：删除范围为：m到n行。

　　DEL * N：从当前行向后删除到n行。

　　I[NPUT]：在当前行后插入任意数量的命令行；添加一或者多行到缓冲区

　　INPUT text ：添加包含的文本。

　　L[IST]：列出缓冲区里所有的行。

　　LIST n ：列出第n行。

　　LIST * :列出当前行。

　　LIST LAST ：列出最后一行。

　　LIST m n LIST * n:

      n:指定第n行为当前行

      n text：用text的文本的内容替代第n行

      o text：在第一行之前插入text指定的文本

13.保存脚本：save d:\…，保存结果spool d:\… spool off，载入：get d:\…，编辑：ed d:\…，运行：@ d:\…。

你可以自由散发这个译本，并保证不用做商业用途，引用时请注明“《ttnn BI 观点》集体翻译”。有任何问题可以与译者联系，联系信息在文档的末尾。

翻译这篇文字的过程，见《常见数据挖掘错误：识别和纠正》翻译告捷！》;

译稿下载，在http://groups.google.com/group/ttnn/web/kuihuabaodian.pdf；

原稿，在http://www.iapa.org.au/Environments/edoras/Resources/IAPA/SAS%20Global%20Forum%200732007.pdf.

附，这篇文章的结构如下：

Abstract
Introduction

1.          Preparing The Data

1.1           Failing To Consider Enough Variables

1.2           Incorrectly Preparing Or Failing To Prepare Categorical Predictors

1.2.1      Too Many Overall Levels

1.2.2      Levels That Rarely Occur

1.2.3      One Level That Almost Always Occurs

1.3           Incorrectly Preparing Or Failing To Prepare Continuous Predictors

1.3.1      Extremely Skewed Predictors

1.3.2      A Spike And A Distribution

1.3.3      One Level That Almost Always Occurs

1.3.4      Ignoring Or Misusing Time-Dependent Information

2            Defining Roles, Performing Sampling, And Defining Target Profiles

2.1           Inappropriate Metadata

2.2           Inadequate Or Excessive Input Data

2.3           Inappropriate Or Missing Target Profile For Categorical Target

2.4           Target Variable Event Levels Occurring In Different Proportions

2.5           Differences In Misclassification Costs

3            Partitioning The Data

3.1           Misunderstanding The Roles Of The Partitioned Data Sets

3.2           Failing To Consider Changing The Default Partition

4            Choosing The Variables

4.1           Failing To Evaluate The Variables Before Selection

4.2           Using Only One Selection Method

4.3           Misunderstanding Or Ignoring Variable Selection Options

4.3.1      Choosing Settings In The ??2 Mode

4.3.2      Choosing Settings In The R2 Mode

5            Replacing Missing Data

5.1           Failing To Evaluate Imputation Method

5.2           Overlooking Missing Value Indicators

6            Fitting Linear Regression Models

6.1           Overusing Stepwise Regression

6.2           Inaccurately Interpreting The Results

7            Fitting Decision Tree Models

7.1           Ignoring Tree Instability

7.2           Ignoring Tree Limitations

8            Fitting Neural Network Models

8.1           Failing To Do Variable Selection

8.2           Failing To Consider Neural Networks

9            Comparing Fitted Models

9.1           Misinterpreting Lift

9.2           Choosing The Wrong Assessment Statistic

10        Scoring New Data

10.1        Generating Inefficient Score Code

10.2        Ignoring The Model Performance

11        Clustering Your Data

11.1        Building One Cluster Solution

11.2        Including (Many) Categorical Variables

12        Performing Association And Sequence Analysis

12.1        Failing To Sort The Data Set

12.2        Failing To Manage The Number Of Outcomes

Conclusion

References

Acknowledgments

Contact Information

data a;
    input ID sex $ count;
cards;
1 M 3
2 F 4
3 M 5
4 F 5
;
proc print data=a;
    sum count;
run;

结果显示：

Obs    ID    sex    count

 1      1     M        3
 2      2     F        4
 3      3     M        5
 4      4     F        5
                    =====
                      17

如果想按sex分组显示，则先对sex排序：

proc sort data=a;
    by sex;
run;
proc print data=a;
    sum count;
    by sex;
run;

结果显示：

——————————————— sex=F ———————————————–

                                         Obs    ID    count

                                           1     2      4
                                           2     4      5
                                         —          —–
                                         sex            9

———————————————- sex=M ———————————————–

                                         Obs    ID    count

                                           3     1       3
                                           4     3       5
                                         —          —–
                                         sex             8
                                                      =====
                                                        17

当然，你可以让结果更紧凑些，比如在proc print中的by sex下面再加一个id sex，看起来就是这样：

sex    ID    count

 F      2       4
        4       5
—          —–
 F              9

 M      1       3
        3       5
—          —–
 M              8
             =====
               17

       先说format。format影响到SAS的数据输出格式，这个我们举了个例子，输出当前时间：

data time;
x=date();
format x yymmdd8.2;
put x=;
run;

      如果没有format那行，那么SAS系统就会把当前时间输出为一个数字（因为SAS就是用数字存储日期的），format就是指定x的输出格式，以便于我们阅读。

      format是改变输出格式，而informat则是关于SAS的读入格式。举个例子，假如你的D盘有个文本数据文件informat.txt，存的是一个时间变量time，有两个观测值：

time
1998-7-10
1998-7-11

      你要是这么读入它，就会出错：

data a;
infile "d:\informat.txt" firstobs=2; 
input time;
run;

       先解释一下这段。这是一个标准的读入数据的程序，infile "d:\informat.txt"指明文件路径，后面的firstobs=2表明数据从第二行开始读入（因为第一行是变量名time）。如果是数值型的变量，这一定没问题，但这个time的格式是1998-7-11，SAS就读不了，如果不指定time的读入格式。
       规定读入格式，就要用到informat了，下面的程序就能正确读入informat.txt了：

data aa;
infile "d:\informat.txt" firstobs=2;
input time;
informat time yymmdd10.;
run;

        informat time yymmdd10.就规定了time的读入格式，SAS系统就知道它存的是时间，就读进来了。读是读进来了，但这是SAS显示的却也是数字。为了让输出我们能明白，就要用到format，改变输出格式，完整的程序如下：

 
data aaa;
infile "d:\informat.txt" firstobs=2;
input time;
informat time yymmdd10.;
format time yymmdd10.;
run;

看到这个消息有些触动，是因为手头就有他与人合著的《机器学习与数据挖掘：方法和应用》（Machine Learning and Data Mining Methods an Applications, John Wiley & Sons Ltd.,1998。朱明等译，北京：电子工业出版社,2004，“数据仓库与数据挖掘技术应用丛书”）。这本书的计算机气息比较浓。学校图书馆还有他编的《机器学习：实现人工智能的途径》（王树林等译，北京：科学出版社，1992），英文名叫Machine learning : an artificial intelligence approach(Berlin : Springer, 1984)。

Michalski生于波兰，在波兰和俄罗斯接受大学与博士教育，1970年定居美国。

刚不小心进入了一个佐治亚大学(the University of Georgia)的SAS邮件组，1997年初的帖子，看着也有不少人对SAS的发音感兴趣，挺好玩的，贴出来，把名字隐去，以前我们也在人大“统计之都”论坛讨论过stata和SAS的发音： 

Hi, A simple question: How should I pronounce SAS: is
it Es-A-ES of just SAS ?

提问：SAS是把它拆成三个字母单独念，还是连在一起念SAS？

It's pronounced as a single word, "sass" (rhymes with mass, pass, lass,
gas, etc.).  This goes along with the official SAS Institute position that (for
legal reasons) SAS is not an abbreviation or acronym for anything.

回帖1：认为SAS要连在一起念，念起来跟sass（顶嘴）、mass（大众）、lass（女佣）差不多。

这是因为现在SAS已经不是statistics analysis system的缩写，本身就是一个商标。

There is an economist here that always refers to SAS as Es-A-ES.
He doesn't use it -- just makes derogatory comments about it.
We kid him about his statistical package: "Yeah, but can
S-T-A-T-A do this?!?"

回帖2：讲了一个笑话。一个损贬SAS的经济学家，把SAS拆开来读成Es-A-Es。

就打趣把他用的stata（斯得他）也分开念成s-t-a-t-a

Apart from which, a British person might get confused if you used S-A-S
with a military unit of the same pronunciation! Use SASS.

回帖3：英国的SAS是皇家空军特勤处(Special Air Service)的缩写。

One syllable.  Rhymes with........mass.
Just SAS.
Most people I know pronounce it as "sass".  A few say "saz".
Nobody would know what the heck I was talking about if I
spelled out S-A-S.

Might suggest to the erudite economist that if he doesn't know how to
pronounce it then he must not know much else about it.

概率与信息

事件A的概率P(A)是A发生可能性的大小的度量。

问题：A的发生带给我们多大的信息呢？

结论

P(A)越大，则A发生带来的信息越少；反之，P(A)越小，则A的发生带来的信息越大。

例子

有人对你说“某日巴西足球队战胜了中国队”，你觉得他没有给你多少信息，因为这件事发生的概率非常大，结果几乎在预料当中。但如果他说巴西负于某个亚洲队，你会感觉得到的信息不少。

猜想

1. 事件A发生所带来的信息量H(A)应该是它发生的概率P(A)的严格减函数，而且A是必然事件时H(A)=0（“巴西队战胜中国队”）。
2. 若事件A与事件B相互独立，则A与B都发生带来的信息量应该是H(A)与H(B)之和，即H(AB)=H(A)+H(B)。

引理1—H(u)=-clnu

设H(u)是(0,1]上的严格减函数，H(1)=0，则为了满足H(uv)=H(u)+H(v)，对一切0<u,v<1,必须且只需存在c>0，使得H(u)=-clnu,写得更清楚些是—c*ln(u)。

（这里c是一个正的常数，它的大小涉及信息量的单位。为简单起见，一般取c=1）

定义1—信息量的表示

设事件A的概率是P(A)，P(A)>0,则称H(A)=-lnP(A)为A带来的信息量。

定义2—完备事件组的熵

设A1到An(n>=2)是条件S下的完备事件组，P(Ai)>0,对i=1，…n，则称P(A1…An)=-sumP(Ai)lnP(Ai)，为完备事件组A1…An的熵。

定理1—事件有相等的概率时结果的不确定性最大

设A1到An(n>=2)是完备事件组，则当且仅当P(A1)=…P(An)时熵最大。

即，若条件S下可能发生的互不相容的事件至少有两个，则当且仅当这些事件有相等的概率时结果的不确定性最大。

CHAID (chi-squared automatic interaction detection，卡方自动交互检测)的前身是AID，主要特征是多向分叉，前向修剪，其标准如名所示，就是卡方检测；另外，CHAID只能处理类别型的输入变量，因此连续型的输入变量首先要进行离散处理。

标准的CARTclassification and regression trees)又不一样，它只能进行二部分叉，后向修剪，分割标准用的是基尼系数(Gini Index)； 

C4.5源自有名的ID3，它只能进行L型分叉，后向修剪，标准乃是基于信息论的“熵”(Entropy)。

这篇去年在我的生活博客出现过，题目叫《贴一篇读书报告：Lift,Lift Table, and Lift Chart》。不想年代久远，里面的一个表格不知道怎么没有了，现挪到自己这个（所谓）技术博客，除了补全，也算是回到正确的地方了。从本机文档中直接COPY过来，删掉一些废话。

——————–

Lift, Lift Table, and Lift Chart

提升指数、提升表和提升图（草稿）

胡江堂，北京大学软件与微电子学院

2006-11-5

1. 什么是Lift？

I) Lift（提升指数）是评估一个预测模型是否有效的一个度量；这个比值由运用和不运用这个模型所得来的结果计算而来。

II) 一个简单的数字例子：

i. 比如说你要向选定的1000人邮寄调查问卷。以往的经验告诉你大概20%的人会把填好的问卷寄回给你，即1000人中有200人会对你的问卷作出回应（response），用统计学的术语，我们说baseline response rate是20%；

ii. 如果你现在就邮寄问卷，1000份你期望能收回200份，这可能达不到一次问卷调查所要求的回收率，比如说工作手册规定邮寄问卷回收率要在25%以上；

iii. 通过以前的问卷调查，你收集了关于问卷采访对象的相关资料，比如说年龄、教育程度之类。利用这些数据，你确定了哪类被访问者对问卷反应积极。假设你已经利用这些过去的数据建立了模型，这个模型把这1000人分了类，现在你可以从你的千人名单中挑选出反应最积极的100人来，这10%的人的反应率(response rate)为60%。那么，对这100人的群体（我们称之为Top 10%），通过运用我们的模型，相对的提升(gain or lift value)就为60%/20%=3；换句话说，与不运用模型而随机选择相比，运用模型而挑选有3倍的好处；

iv. 类似地，对占总样本的任何比例的人群，我们都可以计算出相应的提升指数，比如说我们可以计算Top 20%的群体的提升指数。

III) 一个结论就是，提升指数越大，模型的运行效果越好。

2. 建立Lift Table 的步骤（并画出Lift Chart），以验证信用评分模型为例：

I) 利用已经建立的评分模型，对我们要验证的样本进行评分。样本下的每一个个体都将得到一个分数，或者是违约概率，或者是一个分值；

II) 对样本按照上面计算好的分数进行降序排序；

III) 把已经排好序的样本依次分成10个数量相同的群体，我们就建立了一个叫decile的变量，它依次取10个值，1、2、3、4、5、6、7、8、9、10，diclie1包括违约概率值最高的10%的个体，diclie2包括下一个10%的群体，以此类推；

IV) 帐户总数是每个decile下的样本数，它是整个样本数的10%；

V) 边际坏账数是每个decile内违约的人数，就是说，利用我们的评分模型，在decile1，有25个人违约，以此类推；

VI) 累计坏账数，45表明前两个decile内共有45个人违约，以此类推；

VII) 边际坏账率是每个decile内坏账的比率。对decile1，边际坏账率由25/100得来；

VIII) 对每一个加总的decile，都计算一个累计坏账率，比如说，对前两个decile，也就是整个样本的20%，累计坏账率等于（25+20）/（100+100）；

IX) 在每个decile里，提升指数（Lift）就是相应的累计坏账率与平均坏账率的偏离程度，计算公式是（累计坏账率-平均坏账率）/平均坏账率，习惯上还会乘上一个100。

X) 注：在一些处理中，提升指数直接由每个decile的累计坏账率除以平均坏账率得来，它们之间就相差1，一个是相对偏离，一个是绝对偏离。

XI) 就我们考察的信用评分模型，它的目的就是尽可能把人群区别来开来，比如说“好”的顾客、 “坏”的顾客。提升指数越大，表明模型运作效果越好。

表1：Lift Table

（注：该表内数字纯粹为了演示，没有任何实际背景）

图1：Lift Chart

3. 参考资料

I) Bruce Ratner, Decile Analysis Primer: Cum Lift for Response Model.

http://www.dmstat1.com/res/DecileAnalysisPrimer.html

II) Howard J. Hamilton. Cumulative Gains and Lift Charts

http://www2.cs.uregina.ca/~hamilton/courses/831/notes/lift_chart/lift_chart.html

III) David S. Coppock. Data Modeling and Mining: Why Lift?

http://www.dmreview.com/article_sub.cfm?articleId=5329

IV) Lift Chart. See Thomas Hill, Paul Lewicki. Statistics: Methods and Applications.

http://www.statsoft.com/textbook/glosl.html

V) 冯慧，“信用卡业务与系统”，北京大学软件与微电子学院,2006年秋季学期，课堂笔记

SAS OnlineTutor^®: Basic and Intermediate SAS^®的learning path见《SAS学习笔记：开篇》

SAS学习笔记（1）：Basic Concepts

SAS学习笔记（2）：Using the Programming Workspace

SAS学习笔记（3）:Referencing Files and Setting Options

————————————————–

General form, basic INCLUDE command: INCLUDE ‘file-specification’

where file-specification is the physical name by which the host system recognizes the file.

Because this is a command (not a SAS statement), no semicolon is used at the end.

SAS Program Structure

• begin DATA and PROC steps in column one
• indent statements within a step
• begin RUN statements in column one
• include a RUN statement after every DATA step or PROC step.

Error Types

So far, the programs that you’ve submitted in this lesson have been error-free, but programming errors do occur. SAS can detect several types of errors. The most common are

• syntax errors that occur when program statements do not conform to the rules of the SAS language
• data errors that occur when some data values are not appropriate for the SAS statements that are specified in a program.

说数据挖掘是对已经存在的数据进行分析（比如说“[原有]数据库中的知识发现”,KDD），而统计会为了回答某一个特定问题而专门去采集数据。也就是说，数据挖掘所分析处理的数据，不是为挖掘本身而收集的。

企业为了别的目的建立数据库，为了挖掘，它再从数据库的基础上建立起为分析服务的数据仓库。

SAS OnlineTutor^®: Basic and Intermediate SAS^®的learning path见《SAS学习笔记：开篇》

SAS学习笔记（1）：Basic Concepts

SAS学习笔记（2）：Using the Programming Workspace 

—————————————————

General form, basic LIBNAME statement: LIBNAME libref  ‘SAS-data-library‘; 

The LIBNAME statement is global, which means that the librefs remain in effect until you modify them, cancel them, or end your SAS session.Therefore, the LIBNAME statement assigns the libref for the current SAS session only. Each time you begin a SAS session, you must assign a libref to each permanent SAS data library that contains files that you want to access in that session. (Remember that Work is the default libref for a temporary SAS data library.)When you end your SAS session or delete a libref, SAS no longer has access to the files in the library. However, the contents of the library still exist on your operating system.

Remember that you can also assign a library from the SAS Explorer using the New Library window (as you did if you completed the lesson Basic Concepts ). Libraries that are created with the New Library window can be automatically assigned at startup by selecting Enable at Startup.

General form, basic PROC CONTENTS step: PROC CONTENTS DATA=SAS-file-specification NODS;RUN; 

PROC CONTENTS and PROC DATASETS overlap in terms of functionality. Generally, these two function the same:

• the CONTENTS procedure
• the CONTENTS statement in the DATASETS procedure.

PROC CONTENTS <options>;RUN;

PROC DATASETS <options>;CONTENTS <options>;QUIT;

The major difference between the CONTENTS procedure and the CONTENTS statement in PROC DATASETS is the default for libref in the DATA= option. For PROC CONTENTS, the default is either Work or User. For the CONTENTS statement, the default is the libref of the procedure input library. Notice also that PROC DATASETS is an interactive procedure that requires a QUIT statement rather than a RUN statement.  

y default, PROC CONTENTS and PROC DATASETS list variables alphabetically. To list variable names in the order of their logical position (or creation order) in the data set, you can specify the VARNUM option in PROC CONTENTS or in the CONTENTS statement in PROC DATASETS.

If you use two-digit year values in your data lines, external files, or programming statements, you should consider another important system option, the YEARCUTOFF= option. This option specifies which 100-year span is used to interpret two-digit year values.

All versions of SAS represent dates correctly from 1582 A.D. to 20,000 A.D. (Leap years, century, and fourth-century adjustments are made automatically. Leap seconds are ignored, and SAS does not adjust for Daylight Savings Time.) However, you should be aware of the YEARCUTOFF= value to ensure that you are properly interpreting two-digit years in data lines.

As with other system options, you specify the YEARCUTOFF= option in the OPTIONS statement:

     options yearcutoff=1925;

When a two-digit year value is read, SAS interprets it based on a 100-year span which starts with the YEARCUTOFF= value. The default value of YEARCUTOFF= is 1920.

However, you can override the default and change the value of YEARCUTOFF=  to the first year of another 100-year span. For example, if you specify YEARCUTOFF=1950, then the 100-year span will be from 1950 to 2049.

     options yearcutoff=1950;

Using YEARCUTOFF=1950, dates are interpreted as shown below:

Remember, the value of the YEARCUTOFF= system option affects only two-digit year values. A date value that contains a four-digit year value will be interpreted correctly even if it does not fall within the 100-year span set by the YEARCUTOFF= system option.

General form, FIRSTOBS= and OBS= options in an OPTIONS statement:

FIRSTOBS=n

OBS=n

where n is a positive integer. For FIRSTOBS=, n specifies the number of the first observation to process. For OBS=, n specifies the number of the last observation to process. By default, FIRSTOBS=1. The default value for OBS= is MAX, which is the largest signed, four-byte integer that is representable in your operating environment.

市场的收益率：教科书一般用标准普尔500指数(S&P500)来近似市场组合。

超额收益率：超额收益率就是超出无风险利率的那部分收益率。教材上一般以3个月期的国库券的收益率来近似表示无风险收益率。

β值：一般说总体风险等于系统风险加上非系统风险。在一个分散的投资组合中，非系统风险可以消除掉。β值就是对股票的系统风险的度量，它等于股票和市场之间的协方差除以市场的方差。如果一只股票的β值大于1，说明该股票的系统风险比市场的平均风险大。

计算β值：用市场的超额收益率回归某只股票的超额收益率(被解释变量：某只股票的超额收益率；解释变量：市场的超额收益率)，这个回归方程的系数就是这只股票的β值。

What main methodology are you using for data mining?

可以对照前几年的投票结果，注意其实很多人使用不只一种方法论，当然它们也大同小异。

附：

CRISP-DM:

商业理解——商业理解是从业务角度来理解数据挖掘的目标和要求，再转化为数据挖掘问题；

数据理解——数据理解的任务是对原始数据进行收集和熟悉，检查数据质量，对数据进行初步探索，并发现可能存在的、有分析价值的数据特征，以形成对隐藏信息的假设；

数据准备——数据准备阶段初步完成变量的选择和导出变量的生成，同时对一些存在数据质量问题的字段进行相应的处理；

建立模型——建立预测模型，比如回归模型、决策树、神经网络等等；

模型评估——选择最好的最终模型，需要快速简单地应用和比较不同方法，比较产生的结果，然后对得到的不同规则给予商业评价。从可用的统计和非统计模型中找到最好的分析模型，对于产生最终决策是必需的；

结果部署——结果部署的目标是将预测模型生成的结果以一定的形式展现给业务人员使用。因此，应当从业务的角度来关注模型发布的形式。

SEMMA:

抽样——确认输入数据、取样、数据分割（把数据分割为训练、验证和测试样本）；

探索——利用统计技术和可视化技术对原始数据进行探索性分析，以找出重要的变量，以及得出粗糙的直觉性结论；

修正——数据准备，如数据转换、确认野码、缺失值处理等等；

建模——建立预测模型，比如回归模型、决策树、神经网络等等；

评估——比较不同的模型。

SAS学习笔记（1）：Basic Concepts

这一集没什么好看的，就是SAS的编程环境，熟悉各种窗口就是。需要清楚的是什么是Output窗口，什么是Result窗口。

The Output Window

You can create two basic types of SAS output: a listing, which is traditional SAS output, an HTML document.

In the Output window, you browse listing output from SAS programs that you submit. (You can use a browser to view HTML output.)

By default, the Output window is positioned behind the code editing and Log windows.

The Results Window

The Results window helps you navigate and manage output from SAS programs that you submit. You can view, save, and print individual items of output.

On most operating systems, the Results window is positioned behind the Explorer window and is empty until you submit a SAS program that creates output. Then the Results window moves to the front of your display.

The Results window displays separate icons for listing output and HTML output. In the example below, the first Print folder contains both types of output.

一句话，区别在于:

The Results window displays a tree view of output that is created during a SAS session. The Output window displays the output itself.

想一个神经元，由下面三部分组成：

1. 细胞体：就是我们想像的那东西
2. 树突(Dendrite)：树状的神经纤维，负责接收，将信号传送给细胞体
3. 轴突(Axon)：单根长长的纤维，负责输出，讲细胞体的输出信号导给其他神经元

一个神经细胞（神经元）的轴突和另一个神经细胞的树突的结合点称为突触(Synapse,也称神经键)。

对一个感知器来说，权值可以对应于突触的连接强度，累加器和传输函数相当于细胞体，而神经元的输出则代表轴突的信号。

参考资料：

• Hagan等《神经网络设计》（戴葵等译，北京：机械工业出版社，2002）
• 马尽文“人工神经网络”讲义，北京大学数学系2007年秋季学期

SAS Programs

A SAS program can consist of a DATA step or a PROC step or any combination of DATA and PROC steps.

DATA steps typically create or modify SAS data sets. They can also be used to produce custom-designed reports.

PROC (procedure) steps are pre-written routines that enable you to analyze and process the data in a SAS data set and to present the data in the form of a report. They sometimes create new SAS data sets that contain the results of the procedure. PROC steps can list, sort, and summarize data.

SAS programs consist of SAS statements. A SAS statement has two important characteristics:

• It usually begins with a SAS keyword.
• It always ends with a semicolon.

A DATA step begins with a DATA statement, which begins with the keyword DATA. A PROC step begins with a PROC statement, which begins with the keyword PROC.

SAS statements are free-format. This means that

• they can begin and end anywhere on a line
• one statement can continue over several lines
• several statements can be on a line.

Blanks or special characters separate "words" in a SAS statement.

DATA and PROC statements signal the beginning of a new step. When SAS encounters a subsequent DATA, PROC, or RUN statement (for DATA steps and most procedures) or a QUIT statement (for some procedures), SAS stops reading statements and executes the previous step in the program. In our sample program, each step ends with a RUN statement.

The beginning of a new step (DATA or PROC) implies the end of the previous step. Though the RUN statement is not always required between steps in a SAS program, using it can make the SAS program easier to read and debug, and it makes the SAS log easier to read.

SAS Libraries

Every SAS file is stored in a SAS library, which is a collection of SAS files. A SAS data library is the highest level of organization for information within SAS.

SAS libraries have different implementations depending on your operating environment, but a library generally corresponds to the level of organization that your host operating system uses to access and store files. In some operating environments, a library is a physical collection of files. In others, the files are only logically related.

Windows, UNIX, OpenVMS, OS/2(directory based-systems)

a group of SAS files that are stored in the same directory. Other files can be stored in the directory, but only the files that have SAS file extensions are recognized as part of the SAS data library.

CMS: a group of SAS files that have the same file type.

z/OS (OS/390): a specially formatted host data set in which only SAS files are stored.

Depending on the library name that you use when you create a file, you can store SAS files temporarily or permanently.

Storing files temporarily:  If you don’t specify a library name when you create a file (or if you specify the library name Work), the file is stored in the temporary SAS data library. When you end the session, the temporary library and all of its files are deleted.

Storing files permanently:  To store files permanently in a SAS data library, you specify a library name other than the default library name Work.

Referencing SAS Files

To reference a permanent SAS data set in your SAS programs, you use a two-level name: libref.filename. In the two-level name, libref is the name of the SAS data library that contains the file, and filename is the name of the file itself. A period separates the libref and filename.

To reference temporary SAS files, you can specify the default libref Work, a period, and the filename. For example, the two-level name Work.Test references the SAS data set named Test that is stored in the temporary SAS library Work. Alternatively, you can simply use a one-level name (the filename only) to reference a file in a temporary SAS library. When you specify a one-level name, the default libref Work is assumed.

Rules for SAS Names: SAS data set names

• can be 1 to 32 characters long
• must begin with a letter (A-Z, either uppercase or lowercase) or an underscore (_)
• can continue with any combination of numbers, letters, or underscores.

SAS Data Sets

A SAS data set is a file that consists of two parts: a descriptor portion and a data portion.

The descriptor portion of a SAS data set contains information about the data set, including

• the name of the data set
• the date and time that the data set was created
• the number of observations
• the number of variables.

The data portion of a SAS data set is a collection of data values that are arranged in a rectangular table.

Rows (called observations) in the data set are collections of data values that usually relate to a single object.

Columns (called variables) in the data set are collections of values that describe a particular characteristic.

Variable Attributes

Name: Each variable has a name that conforms to SAS naming conventions. Variable names follow exactly the same rules as SAS data set names. Like data set names, variable names

• can be 1 to 32 characters long
• must begin with a letter (A-Z, either uppercase or lowercase) or an underscore (_)
• can continue with any combination of numbers, letters, or underscores.

Type: A variable’s type is either character or numeric.

• Character variables, such as Name (shown below), can contain any values.
• Numeric variables, such as Policy and Total (shown below), can contain only numeric values (the digits 0 through 9, +, -, ., and E for scientific notation).

A variable’s type determines how missing values for a variable are displayed. In the following data set, Name and Sex are character variables, and Age and Weight are numeric variables.

• For character variables such as Name, a blank represents a missing value.
• For numeric variables such as Age, a period represents a missing value.

Length: A variable’s length (the number of bytes used to store it) is related to its type.

• Character variables can be up to 32K long. In the exa
  mple below, Name has a length of 20 characters and uses 20 bytes of storage.
• All numeric variables have a default length of 8. Numeric values (no matter how many digits they contain) are stored as floating-point numbers in 8 bytes of storage, unless you specify a different length.

Format: Formats are variable attributes that affect the way data values are written. SAS software offers a variety of character, numeric, and date and time formats. You can also create and store your own formats. To write values out using some particular form, you select the appropriate format.

For example, to display the value 1234 as $1234.00 in a report, you can use the DOLLAR8.2 format.

Informat: Whereas formats write values out using some particular form, informats read data values in certain forms into standard SAS values. Informats determine how data values are read into a SAS data set. You must use informats to read numeric values that contain letters or other special characters.

For example, the numeric value $12,345.00 contains two special characters, a dollar sign ($) and a comma (,). You can use an informat to read the value while removing the dollar sign and comma, and then store the resulting value as a standard numeric value.

Label: A variable can have a label, which consists of descriptive text up to 256 characters long.

SAS OnlineTutor^®: Basic and Intermediate SAS^® 

Introduction to SAS Programming

Basic Concepts

Using the Programming Workspace

Referencing Files and Setting Options

Editing and Debugging SAS Programs

Creating List Reports

Creating SAS Data Sets from Raw Data

Understanding DATA Step Processing  

Producing Reports

Creating and Applying User-Defined Formats

Creating Enhanced List and Summary Reports

Producing Descriptive Statistics

Producing HTML Output

Creating Tabular Reports

Enhancing HTML Tabular Reports

Producing Graphical Reports
These lessons are not suitable for use with SAS Enterprise Guide.

Creating Plots

Creating Bar and Pie Charts

Enhancing and Exporting Charts and Plots

Creating Drill-Down Graphs in HTML

Creating and Modifying SAS Data Sets

Creating and Managing Variables

Reading SAS Data Sets

Combining SAS Data Sets

Performing Queries Using PROC SQL

Transforming Data with SAS Functions

Accessing DBMS Data
This lesson is not suitable for use with SAS Enterprise Guide.

Generating Data with DO Loops

Processing Variables with Arrays

Improving Program Efficiency with Macro Variables

Reading Various Types of Raw Data

Reading Raw Data in Fixed Fields

Reading Free-Format Data

Reading Date and Time Values

Creating a Single Observation from Multiple Records

Creating Multiple Observations from a Single Record

Reading Hierarchical Files

Reading Variable-Length Records

Data Manipulation Tools/Languages (June 2007)

What tools/languages you typically use for data manipulation [307 voters]

http://www.kdnuggets.com/polls/2007/data_manipulation_tools.htm  

数据挖掘和数据分析工具

Data Mining / Analytic Software Tools (May 2007)

Data Mining (Analytic) tools you used in 2007: [534 voters]

http://www.kdnuggets.com/polls/2007/data_mining_software_tools.htm

数据挖掘方法

Data Mining Methods (Mar 2007)

Data mining/analytic methods you used frequently in the past 12 months: [203 voters]

http://www.kdnuggets.com/polls/2007/data_mining_methods.htm

行业

Data Mining Applications by Industry (June 2007)

Industries/fields where you applied data mining in the past 12 months [138 voters]

http://www.kdnuggets.com/polls/2007/data_mining_applications.htm

在实际问题中，如果变量个数太多：
1.变量彼此存在一定的相关性，因而观测到的数据在一定程度上反映的信息有所重叠（多重共线性）；
2.在高维空间中研究样本的分布规律比较复杂，变量太多增加分析问题的复杂性。

我们希望：
1.用较少的综合变量来代替原来较多的变量（降维，减少维度）；
2.这几个综合变量能够尽可能多地反映原来变量的信息；
3.这几个综合变量彼此互不相关。

主成分分析、因子分析、典型相关分析和偏最小二乘回归等统计方法就是以上降维思想的体现。

一、主成分分析

1.定义

这里说的主成分分析，又称主分量分析、主轴分析，是将多个指标（变量）化为少数几个综合指标的一种统计方法。
把p个变量X1，X2，…，Xp，记为一个p维的随机向量X=(X1，X2，…，Xp)，其协方差阵为D(X)。考虑X的线性变换：

Z1=A1*X
Z2=A2*X
……
Zp=Ap*X，

这里的X和A1、A2、…、Ap等都不妨看成向量形式。假如我们想用Z1来代替原来的p个变量，这就要求Z1尽可能多地反映原来p个变量的信息。这里“信息”可以用Z1的方差Var（Z1）来表示，方差Var（Z1）越大，表示Z1包含的信息越多。当然，这需要强加一些数学上的限制，否则Var（Z1）就可能是无限大了，这里的限制是向量A1和它自己的转置之积等于1，记为A1*Trans（A1）=1。就这样：

         若存在满足A1*Trans（A1）=1的A1，使得Var（Z1）最大，则称Z1为为第一主成分，或第一主分量，Z1=A1*X。

如果第一主成分不足以代表原来p个变量的绝大部分信息，我们就可以考虑X的第二个线性组合Z2=A2*X。此时，我们要求，已经体现在第一主成分Z1中的信息不要出现在Z2中，即Z1和Z2的协方差Cov（Z1，Z2）=0。就这样：

          在Cov（Z1，Z2）=0时，若存在满足A2*Trans（A2）=1的A2，使得Var（Z2）最大，则称Z2为为第二主成分，或第二主分量。

类似我们可以定义X的第三主成分，以致第p主成分（当然，对p维的随机向量X来说，第p主成分就没有必要了）。

2.直观解释

从代数上讲，主成分就是p个原始变量的一些特殊的线性组合。
从几何上讲，这些线性组合是把由X1，X2，…，Xp构成的坐标系通过旋转而产生的新坐标系。

3.求解

从上面的定义可知，求第一主成分Z1=A1*X的问题，就是求A1，使得在A1*Trans（A1）=1下，Var（Z1）达到最大，这是一个条件极值问题，可以用拉格朗日乘子法求解。

   Max Var(Z1)=Var(A1*X)
   s.t A1*Trans（A1）=1

运用拉格朗日乘子法,令L=Var（A1*X）-t(A1*Trans（A1）-1)，接下来就是一阶条件了，按下不表。
说说结果。求解以上条件极值问题，就是求X的协方差阵D(X)的特征值（就是拉格朗日乘子t）和特征向量（就是我们感兴趣的A1、A2、…、Ap）。一个定理：

设X=(X1，X2，…，Xp)是p维的随机向量，其协方差阵为D(X)，D(X)的特征值为t1>t2>…>tp,A1、A2、…、Ap为相应的单位正交特征向量，则X的第i主成分为Zi=Ai*X.

4.一些名词

原总体X的总惯量（总方差）：就是上面我们求出来的特征值之和，sum（t1，t2，…，tp）
贡献率：单个特征值ti与总方差之比，称为主成分Zi的贡献率。同样可以定义累计的贡献率。
因子负荷量（因子载荷量）：主成分Zi与原始变量Xi的相关系数。

5.计算机求解（SAS）

（在SAS系统中，主成分分析的程序步是princomp，因子分析的程序步是factor。所以可以知道主成分分析和因子分析毕竟不是一样的东西，具体见因子分析的部分。）

这里有一个数据，5个变量，id、x1身高、x2体重、x3胸围、x4坐高，30个观测值。我们想对x1身高、x2体重、x3胸围、x4坐高做主成分分析。

data princomp;
  input id x1 x2 x3 x4  ;
  cards;
1 148 41 72 78  
2 139 34 71 76
3 160 49 77 86
4 149 36 67 79
5 159 45 80 86
6 142 31 66 76
7 153 43 76 83  
8 150 43 77 79
9 151 42 77 80
10 139 31 68 74
11 140 29 64 74
12 161 47 78 84
13 158 49 78 83
14 140 33 67 77
15 137 31 66 73
16 152 35 73 79
17 149 47 82 79
18 145 35 70 77
19 160 47 74 87
20 156 44 78 85
21 151 42 73 82
22 147 38 73 78
23 157 39 68 80
24 147 30 65 75
25 157 48 80 88
26 151 36 74 80
27 144 36 68 76
28 141 30 67 76
29 139 32 68 73
30 148 38 70 78
;
proc princomp;
  var x1 x2 x3 x4  ;
run;

结果解释：

（1）结果首先有相关矩阵，可以看出这四个变量之间有较强的相关性。
                                          Correlation Matrix
                                      x1          x2          x3          x4
                          x1      1.0000      0.8632      0.7321      0.9205
                          x2      0.8632      1.0000      0.8965      0.8827
                          x3      0.7321      0.8965      1.0000      0.7829
                          x4      0.9205      0.8827      0.7829      1.0000

（2）然后是以上相关阵的特征值t（Eigenvalue，上面例子中的t）
                                         Eigenvalues of the Correlation Matrix
                                   Eigenvalue    Difference    Proportion    Cumulative
                        1    3.54109800    3.22771484        0.8853        0.8853
                        2    0.31338316    0.23397420        0.0783        0.9636
                        3    0.07940895    0.01329906        0.0199        0.9835
                        4    0.06610989                             0.0165        1.0000

从中可以看到，第一主成分的贡献率就达到 0.8853。单个贡献率就是某个特征值与总特征值的比，这里0.8853=3.54109800/(3.54109800 +0.31338316 +0.07940895+0.06610989) .还有，前两个主成分的累计是0.9636，所以用这两个主成分就可以很好地概括这些数据。

（3）还有特征向量（ Eigenvectors，我们例子中的A）
                                                    Eigenvectors
                                      Prin1         Prin2         Prin3         Prin4
                      x1      0.496966      -.543213      -.449627      0.505747
                      x2      
0.514571      0.210246      -.462330      -.690844
                      x3      0.480901      0.724621      0.175177      0.461488
                      x4      0.506928      -.368294      0.743908      -.232343

我们可以由最大的两个特征值对应的特征向量，写出第一和第二主成分（结果中的Prin1和Prin2）：
Z1=Prin1= 0.496966*X1+0.514571 *X2+0.480901*X3+0.506928*X4
Z2=Prin2= -0.543213 *X1+0.210246 *X2+0.724621*X3 -0.368294*X4

这样我们就写出了开头那个线性组合。接下来说些因子分析，因子分析是主成分分析的推广，稍复杂些。（待续）

• 打开yahoo finance主页http://finance.yahoo.com/，左上角有个“Enter Symbol(s)”的提示框，填入你想要股票代码，比如ibm。如果没有直接对应的股票，比如你输入google，它就会转到一个搜索界面，再选中goog便是；
• 前面我们填的是ibm，那么我们就进入了http://finance.yahoo.com/q?s=ibm这个页面。在页面的左栏，“Quotes”栏目的第三个，点击"Historical Prices"就进入了ibm股票的历史数据页面http://finance.yahoo.com/q/hp?s=IBM；
• 在这个数据页面，你还可以设定你需要数据的时间刻度（日交易数据还是周、月交易数据）和时间范围（在事件研究项目上有用），默认的时间刻度是天，范围是最早到最近。拉到页面的最低端，找到“Download To Spreadsheet”这个按钮。如果你只需要这个数据，点击保存就是。要注意的是所有下载下来的数据都以table.csv命名，所以一定记得要重命名；
• 如果想利用迅雷同是下载更多只股票的信息，那么我们就要看看以上链接的信息。比如在ibm的页面，在那个“Download To Spreadsheet”上，点右键，找到“Properties性质”，我们看到这个数据文件的URL是

  http://ichart.finance.yahoo.com/table.csv?s=IBM&d=7&e=5&f=2007&g=d&a=0&b=2&c=1962&ignore=.csv，同样查到google股票数据的URL是

http://ichart.finance.yahoo.com/table.csv?s=GOOG&d=7&e=5&f=2007&g=d&a=7&b=19&c=2004&ignore=.csv

• 以上差别就是加黑部分股票代码的不同。比如说我们还知道其他感兴趣的股票代码，比如ag等，现在就可以打开迅雷，点“文件”—“新建”，在弹出来的对话框中，“网址(URL)”就填入http://ichart.finance.yahoo.com/table.csv?s=IBM&d=7&e=5&f=2007&g=d&a=0&b=2&c=1962&ignore=.csv并命名为ibm.csv；对ag等股票，把上面的URL中的IBM改为AG就是，接下来重复以上动作，填上所有你感兴趣的股票代码，剩下的就是让机器慢慢下了。

当然，以上手工活还挺多。听说有个专门下yahoo finance的工具，不知其可。中国雅虎的财经频道跟yahoo finance类似的结构，一样可行。

1984年，S语言正逐渐被人接受，第一本参考手册就被称为棕皮书（Brown Book），就是由Becker和Chambers合著的S: An Interactive Enviroment for Data Analysis and Graphics (Published by Wadsworth &Brooks/Cole, Pacific Grove, CA,1984)。

1988年，S语言的编程方式有多处变化，最重要的是其中的宏（macro）被函数概念（function）替代，蓝皮书(Blue Book)于是面世，它由Becker、Chambers、Wilks合著：The New S Language (Published by Wadsworth &Brooks/Cole, Pacific Grove, CA,1988)。

接下来的几年，更多的函数被嵌入S语言，并且也引入了面对对象的程序设计方式，白皮书(White Book)记载了这些变化，它由Becker和T.J Hastie编著：Statistical Models in S (Published by Wadsworth &Brooks/Cole, Pacific Grove, CA,1992)。

1998年，S的第四版问世，面向对象的构造方式已经成为S语言的基础，这个革命性的变化体现在Chambers的Programming with Data: A Guide to the S Language (Published by Springer-Verlag, New York, 1998)，这就是S发展史上最著名的绿皮书(Green Book)。

AlphaMiner是一款基于开源项目Weka和Xelopes的，跟主流数据挖掘平台如SAS Enterprise Miner、SPSS clementine、S-Plus Insightful Miner等拥有一样友好图形界面和工作流方式的，可以实施大多数常用数据挖掘算法的，免费的、可以定制中文界面的、像模像样的、开源的数据挖掘软件。

这里的关键词是“像模像样”，是跟上面提到的SAS Enterprise Miner、SPSS clementine、S-Plus Insightful Miner相比来说的，AlphaMiner小巧玲珑，安装文件（加上JRE）不到40M，图形界面、工作流方式，还有提供的众多数据挖掘算法，可谓麻雀虽小，五脏俱全，各方面真是像模像样，以下的特点都是来自2.0版：

1. 图形界面，工作流方式，左边是带选择的节点，右边的大片空白就是工作簿，用来堆放从左边拖曳过来的各种节点，这样的工作环境跟SAS Enterprise Miner、SPSS clementine、S-Plus Insightful Miner等主流数据挖掘平台一模一样；
2. 数据挖掘流程，遵循跟SPSS clementine一样的所谓CRISP工业标准(Cross Industry standard Process for Data Mining,CRISP-DM)，即把一个数据挖掘项目的流程分为以下六个部分，体现在AlphaMiner界面左侧的选项就是Data Understanding、Data Preparation、Modeling、Evaluating和Evaluate：
   • 理解业务(business understanding)
   • 理解数据(data understanding)
   • 数据准备(data preparation)
   • 建模(modeling)
   • 评估(evaluation)
   • 实施(deployment)
3. 算法，AlphaMiner提供包括分类、聚类和关联分析的共12种现成数据挖掘算法，其中，关联分析(Association)一种，聚类(Cluster)提供KMeans和WKMeans两种算法，分类(classification)算法有：
   • 决策树(Decision Tree)
   • 简单贝叶斯(Naive Bayes)
   • 序贯最小优化(Sequential Minimal Optimization，SMO)
   • 逻辑斯蒂回归(Logistic Regression)
   • 线性回归(Linear Regression)
   • 多层感知器(Multilayer Perception)
   • 径向基网络(RBFNetwork)
   • OneR，（以前是一个插件，用来生成规则）
   • WekaClassifier（以前是一个插件，用来调用Weka的分类器）

AlphaMiner2.0的下载地址在：http://bi.hitsz.edu.cn/AlphaMiner/index.htm

                                                            最大熵模型：读书笔记

                                                                    胡江堂，北京大学软件学院

1. 物理学的熵

2. 信息论的熵

3. 熵和主观概率（一个简单注释

4. 熵的性质

4.1. 当所有概率相等时，熵取得最大值

4.2. 小概率事件发生时携带的信息量比大概率事件发生时携带的信息量多

5. 最大熵原理：直觉讨论

6. 最大熵原理：一个手工例子

7. 最大熵原理：正式表述

8. 最大熵模型的训练：GIS算法

9. 最大熵模型：金融领域内的应用

参考文献

这篇读书笔记主要写了对熵的理解、对最大熵原则的理解，还有一个手工计算的例子。在处理一般化的最大熵模型时，我采用了我偏爱的连续随机变量形式，而不是一般有助于计算机理解的离散形式。连续而非离散的处理方式的一个好处就是，它能非常方便地推出最大熵模型的解是一个指数形式。如果使用离散形式，一样的结论，那符号就看着复杂多了。

所有的东西都来自篇末的参考资料。

1. 物理学的熵

熵是一个物理学概念，它是描述事物无序性的参数，熵越大则无序性越强。从宏观方面讲（根据热力学定律），一个体系的熵等于其可逆过程吸收或耗散的热量除以它的绝对温度；从微观讲，熵是大量微观粒子的位置和速度的分布概率的函数。自然界的一个基本规律就是熵递增原理，即，一个孤立系统的熵，自发性地趋于极大，随着熵的增加，有序状态逐步变为混沌状态，不可能自发地产生新的有序结构，这意味着自然界越变越无序。

2. 信息论的熵

在物理学中，熵是描述客观事物无序性的参数。信息论的开创者香农认为，信息（知识）是人们对事物了解的不确定性的消除或减少。他把不确定的程度称为信息熵。假设每种可能的状态都有概率，我们用关于被占据状态的未知信息来量化不确定性，这个信息熵即为：

其中是以2为底的对数，所以这个信息用位衡量。前面说过，在物理学的背景下，这个不确定性被称为熵（在通讯系统中，关于传输的实际信息的不确定性也被称为数据源的熵）。

扩展到连续情形。假设连续变量的概率密度函数是，与离散随机变量的熵的定义类似，信息熵的连续定义为：

上式就是我们定义的随机变量的微分熵。当被解释为一个随机连续向量时，就是的联合概率密度函数。

3. 熵和主观概率（一个简单注释）

因为熵用概率表示，所以这涉及到主观概率。概率用于处理知识的缺乏（概率值为1表明对知识的完全掌握，这就不需要概率了），而一个人可能比另一个人有着更多的知识，所以两个观察者可能会使用不同的概率分布，也就是说，概率（以及所有基于概率的物理量）都是主观的。在现代的主流概率论教材中，都采用这种主观概率的处理方法。

4. 熵的性质

4.1. 当所有概率相等时，熵取得最大值

上面关于熵的公式有一个性质：假设可能状态的数量有限，当所有概率相等时，熵取得最大值。证明如下：

在只有两个状态的例子中，要使熵最大，每个状态发生的概率都是1/2，如下图所示：

4.2. 小概率事件发生时携带的信息量比大概率事件发生时携带的信息量多

证明略，可以简要说明一下，也挺直观的。如果事件发生的概率为1，在这种情况下，事件发生就没有什么“惊奇”了，并且不传达任何“信息”，因为我们已经知道这“信息”是什么，没有任何的“不确定”；反之，如果事件发生的概率很小，这就有更大的“惊奇”和有“信息”了。这里，“不确定”、“惊奇”和“信息”是相关的，信息量与事件发生的概率成反比。

5. 最大熵原理：直觉讨论

最大熵原理是根据样本信息对某个未知分布做出推断的一种方法。日常生活中，很多事情的发生表现出一定的随机性，试验的结果往往是不确定的，而且也不知道这个随机现象所服从的概率分布，所有的只有一些试验样本或样本特征，统计学常常关心的一个问题，在这种情况下如何对分布作出一个合理的推断？最大熵采取的原则就是：保留全部的不确定性，将风险降到最小。在金融理论中，一个类似的教训是，为了降低风险，投资应该多样化，不要把所有的鸡蛋都放在一个篮子里。

吴军（2006）举了一个例子。对一个均匀的骰子，问它每个面朝上的概率分别是多少。所有人都会说是1/6。这种“猜测”当然是对的，因为对这个“一无所知”的色子，假定它每一个朝上概率均等是最安全的做法，你不应该假设它被做了手脚。从信息论的角度讲，就是保留了最大的不确定性，让熵达到最大（从投资的角度来看，这就是风险最小的做法）。但是，如果这个骰子被灌过铅，已知四点朝上的概率是1/3，在这种情况下，每个面朝上的概率是多少？当然，根据简单的条件概率计算，除去四点的概率是 1/3外，其余的概率都是 2/15。也就是说，除已知的条件（四点概率为 1/3）必须满足外，对其它各点的概率，我们仍然无从知道，也只好认为它们相等。这种基于直觉的猜测之所以准确，是因为它恰好符合了最大熵原理。

回到物理学例子中。在涉及物理系统的情形中，一般要确定该系统可以存在的多种状态，需要了解约束下的所有参数。比如能量、电荷和其他与每个状态相关的物理量都假设为已知。为了完成这个任务常常需要量子力学。我们不假设在这个步骤系统处于特定状态；事实上我们假定我们不知道也不可能知道这一点，所以我们反而可以处理被占据的每个状态的概率。这样把概率当作应对知识缺乏的一种方法。我们很自然地想避免假定了比我们实际有的更多的知识，最大熵原理就是完成这个的方法。

这里可以总结出最大熵对待已知事物和未知事物的原则：承认已知事物（知识）；对未知事物不做任何假设，没有任何偏见。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设（不做主观假设，这点很重要。）在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。我们常说，不要把所有的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保留各种可能性。

6. 最大熵原理：一个手工例子

举个例子，一个快餐店提供3种食品：汉堡(B)、鸡肉(C)、鱼(F)。价格分别是1元、2元、3元。已知人们在这家店的平均消费是1.75元，求顾客购买这3种食品的概率。如果你假设一半人买鱼另一半人买鸡肉，那么根据熵公式，这不确定性就是1位（熵等于1）。但是这个假设很不合适，因为它超过了你所知道的事情。我们已知的信息是：

以及关于对概率分布的不确定性度量，熵：

对前两个约束，两个未知概率可以由第三个量来表示，可以得到：

把上式代入熵的表达式中，熵就可以用单个概率来表示：

对这个单

这篇将作为五一后一个讲稿的阅读材料之一，先整出来就搁这。如果没有耐心读下去，你可以立即转到以下的参考资料，该篇所有的知识都来自它们：

1. Cody, R.F. and Smith, J.K. Applied Statistics and the SAS Programming Language,4th ed..NJ:  Prentice-Hall,1997.这书已经出第五版了，北大图书馆只有这第四版。非常容易上手的一本书，前半部分用input和datalines让读者专心做统计，后半部分从导入导出数据开始阐述SAS的通用编程语言。这本书用的是SAS8.这里我们只关注它第九章Multiple-Regression Analysis的最后Logistic Regression部分。我这篇的例子即来于此，有简化；
2. SAS OnlineDoc V8, 或者SAS OnlineDoc V9, 是要花功夫熟悉它们的结构了。以前我四处下载了数G的电子书，现在才发觉还是它们好使。体例上V8和V9一样，你找到SAS/STAT–>SAS/STAT User’s Guide–>The LOGISTIC Procedure, 就可以跟着学习了，文字都非常简明。

Logistic回归处理因变量是分类型变量如“0、1”的情形。一下就假设你至少对它模模糊糊有些印象，比如说我们用p表示正例（如输出变量为“1”）的概率，那么p/(1-p)就被称作odds ratio，对p做logit变换记做logit(p),它等于log(p/(1-p),我们回归方程的形式就如logit(p)=log(p/(1-p)=a+bx,你可以把它理解成向量形式。

假设我们有一个数据，45个观测值，四个变量，包括：

1. age（年龄，数值型）；
2. vision（视力状况，分类型，1表示好，0表示有问题）；
3. drive（驾车教育，分类型，1表示参加过驾车教育，0表示没有） 和
4. 一个分类型输出变量accident（去年是否出过事故，1表示出过事故，0表示没有）。我们的目的就是要考察前三个变量与发生事故的关系。

为了保持程序的可读性，以下我就直接在代码中一行一行敲入数据，在实际工作中，超过20个观测值的数据就要写程序导入了。另外，/*   */之间的语句都是注释，SAS运行时会把它们忽略掉：

—————————————————————————————————————————-

/*

前三行，首先data步，建立一个叫logistic的临时数据集，它在work临时文件夹里。一般推荐用记事本把程序保存起来；input语句表示一下是几个变量；从datalines开始就一行一行输入数据，每个单独的数据之间用空格隔开，每个观测值各占一行。需要注意的是，datalines和下面的数据之间不要有空行，否则SAS会认为出现了一个缺失值。数据输入完毕，以分号结束，这个分号一定要另起一行。

*/

data logistic;
    input accident age vision drive;
datalines;
1 17 1 1
1 44 0 0
1 48 1 0
1 55 0 0
1 75 1 1
0 35 0 1
0 42 1 1
0 57 0 0
0 28 0 1
0 20 0 1
0 38 1 0
0 45 0 1
0 47 1 1
0 52 0 0
0 55 0 1
1 68 1 0
1 18 1 0
1 68 0 0
1 48 1 1
1 17 0 0
1 70 1 1
1 72 1 0
1 35 0 1
1 19 1 0
1 62 1 0
0 39 1 1
0 40 1 1
0 55 0 0
0 68 0 1
0 25 1 0
0 17 0 0
0 45 0 1
0 44 0 1
0 67 0 0
0 55 0 1
1 61 1 0
1 19 1 0
1 69 0 0
1 23 1 1
1 19 0 0
1 72 1 1
1 74 1 0
1 31 0 1
1 16 1 0
1 61 1 0
;

/*

以下两行我们不妨称作过程步甲。过程步以proc开头，加上要实现功能的名字，这里是logistics，接下来是要引用的数据。值得注意的是那个desending选项。SAS的Logistic回归方程log(odds)默认的形式是处理那个变量值比较小的，这里是accident=0，但我们要考察的是发生事故accident=1的情况，加上desending降序排列，它就处理accident=1的log(odds)了。再model引导的就是回归方程的形式，写成“因变量=自变量1    自变量2   自变量3”的样子。最后以run结束语句，与proc对应。

*/

proc logistic data=logistic descending;
     model accident=age vision drive; run;

/*

运行以上程序，就要跑出一大堆结果了。但在处理多元回归时，语句很难得会只像过程步甲一样简洁。以下过程步乙只加入一个变量选择选项forward。SAS在处理自变量选择上采用了5个技术，这里只简单提一下3个常用的技术。

1.forward——前向选择，变量一个个进入回归方程，按照一些卡方标准，最显著的也就是最好的变量最先进入，然后就是次最好的，以此类推。某个变量一旦进入，就不再退出；

2.backward——后向剔除，一开始全部变量都进入回归方程，又按照一些标准，把最不好的变量一一剔除；

3.stepwise——逐步回归，这个跟forward有些类似，不同的是，stepwise在变量进入以后还有一个backward后向剔除的过程，而在forward里，变量一旦进入，就不再退出。

*/ 

proc logistic data=logistic descending;
   model accident=age vision drive  /
                selection=forward;run;

—————————————————————————————————————————-

用上面这个过程步乙替代过程步甲，再运行一遍。这两个过程步的输出结果大同小异，只是过程步乙多了个forward选项。以下用的是过程步乙的输出结果，其中黑体字是输出结果本身，我做的注释语句以红笔描出,包括数字编号。 

                 (1)  The SAS System 10:47 Tuesday, May 4, 2007 1

                             The LOGISTIC Procedure

                               Model Information

Data Set                                         WORK.LOGISTIC
Response Variable                          accident
Number of Response Levels            2
Number of Observations                 45
Model                                              binary logit
Optimization Technique                 Fisher’s scoring

                             Response Profile                                     
Ordered  Value     accident          Total Frequency

       1                        1                             25
       2                        0                             20

Probability modeled
is accident=1.

(1) 给出了本模型的基本信息，意思大多自明。需要注意的是Response Profile 中，accident=1排在首位。前面我们说过，SAS的Logistic回归方程log(odds)默认的形式是处理那个变量值比较小的，加上descending选项后，accident=1就排在首位了。

                      (2)   Forward Selection Procedure

Step 0. Intercept entered:

                          Model Convergence Status

Convergence criterion (GCONV=1E-8) satisfied.

                          Residual Chi-Square Test

Chi-Square              DF                Pr > ChiSq

  10.7057                   3                     0.0134

Step 1. Effect vision entered:

                              Model Convergence Status

Convergence criterion (GCONV=1E-8) satisfied. 
                               Model Fit Statistics                                               
Criterion     Intercept Only     Intercept and Covariates
AIC                 63.827                   59.244
SC                   65.633                   62.857
-2 Log L           61.827                  55.244

                       Testing Global Null Hypothesis: BETA=0
Test                       Chi-Square    DF    Pr > ChiSq
Likelihood Ratio      6.5830         1         0.0103
Score                       6.4209         1         0.0113
Wald                        6.0756         1         0.0137

                       Residual Chi-Square Test
Chi-Square            DF      Pr > ChiSq
      4.9818              2         0.0828

Step 2. Effect drive entered:
                     Model Convergence Status
                  Convergence criterion (GCONV=1E-8) satisfied.                      

                         Model Fit Statistics
Criterion      Intercept Only     Intercept and Covariates
AIC                  63.827                     56.287
SC                   65.633                     61.707
-2 Log L           61.827                     50.287

                 Testing Global Null Hypothesis: BETA=0
Test                        Chi-Square     DF   Pr > ChiSq
Likelihood Ratio         11.5391        2      0.0031
Score                          10.5976        2      0.0050
Wald                            8.5949         2      0.0136
             

                 Residual Chi-Square Test
Chi-Square     DF   Pr > ChiSq
     0.1293        1     0.7191

NOTE: No (additional) effects met the 0.05 significance level for entry into the model.

(2) 给出了自变量进入模型的次序。先是截距项Step 0了，不管它。Step 1 vision第一个进入模型，附带了很多评估它对因变量预测能力的指标。-2 Log L 和Score 用来检测自变量是否显著。-2 Log L中的L就是Likelihood Ratio，它的p值是0.0103，Score  的p值是0.0113，都小于0.05，故vision是一个很显著的解释变量。还有，AIC(Akaike Information Criterion)和SC(Schwarz Criterion)两个信息量标准用来比较不同的模型，它们数值越小，模型变现就越好，这个接下来我们看step2 drive变量进入模型后的情况。 我们可以看到模型的表现变好了，因为这是AIC和SC的值变小了，-2 Log L 和Score对应的p值也更小。

                (3)   Summary of Forward Selection
Step    Effect Entered        DF      Number In      Score Chi-Square        Pr > ChiSq
1            vision                    1           1                      6.4209                        0.0113
2            drive                     1            2                     4.8680                         0.0274

 (3) 总结了我们模型使用的前向选择方法，包括自变量进入模型的次序，以及每个自变量的卡方值和p值。

                    (4) Analysis of Maximum Likelihood Estimates
Parameter   DF   Estimate    Standard Error  Wald Chi-Square   Pr > ChiSq
Intercept     1      0.1110               0.5457           0.0414                 0.8389
vision           1      1.7137               0.7049           5.9113                 0.0150
drive            1     -1.5000               0.7037           4.5440                 0.0330

(4) 给出了模型参数的估计，据此可以写出改回归方程的形式是log(odds of having an accident)=log(p/(1-p))=0.1110+1.7137*vision-1.5000*drive。我们知道，odds=p/(1-p),有p=odds/(1+odds)。假设有个哥们，视力没问题但没有受过驾车教育（vision=0,drive=0），代入方程，有log(odds)=0.1110，再odds=exp(0.110)=1.1174，p=1.1174/2.1174=0.5277，即我们说这人发生事故的概率为0.5277；又另一个，视力有问题同样没受过驾车教育（vision=1,drive=0），同样的步骤得log(odds)=1.8249，odds=exp(1.8249)=6.2022，p=6.2022/7.2022=0.8612，即这人发生事故的概率为0.8612（视力多重要）。

                 (5) Odds Ratio Estimates
Effect       Point Estimate               95% Wald Confidence Limits
vision            5.550
                               1.394           22.093
drive             0.223                               0.056            0.886

 (5) 是对比率Odds Ratio的估计。这里对vision的odds ratio的点估是 5.550 ，这个比率由odds(having an accident|vision=1,drive=0)比odds(having an accident|vision=0,drive=0)得来，根据(4) 的计算，就是6.2022/1.1174=5.550.还有，对vision来说，95% 的置信区间不包括1，说明vision是一个非常显著的解释变量（比率的置信区间不包括1，就跟p值小于0.05一样是一个规则）。

                 (6) Association of Predicted Probabilities and Observed Responses
Percent Concordant             67.2               Somers’ D 0.532
Percent Discordant              14.0               Gamma 0.655
Percent Tied                        18.8                Tau-a 0.269
Pairs                                     500                  c 0.766

(6) 这个东西就有些复杂,大概说些预测概率与观测道德因变量间的关联性，我们看到一致性比率Percent Concordant 为67.2 %，不一致性比率Percent Discordant 为14.0%，说明预测值与观测值在现有水平上有较强的关联性,回归模型有很强的预测能力。

最后注意到，上面我们用过程步乙得出的输出结果没有age这个自变量，用过程步甲得出的输出有，这不是因为年龄在这个预测模型中不重要，而是上面以数值型面目出现的年龄在是否出现事故的两组人中分布不均匀，为了解决这个问题，把年龄分组就是，不多说了。

数据挖掘／机器学习大概处理以下几个问题：

1. 分类 ，这是有很多非常成熟的算法，非常直观，按照一个分类属性，把样本分为不同的类别。
2. 聚类 ，聚类与分类的差别在于，分类分析有一个分类属性作为输出，比如“好”、“坏”之类，但聚类没有。聚类分析探索各个样本间的内在关系，并按一定标准把它们“聚”在一块。按照有没有相应的输出分类属性，一个术语是，分类是有指导的学习，而聚类是无指导的学习；
3. 关联分析，就是著名的购物篮分析，例子就是沃尔玛的啤酒和尿布，探索数据中各个属性之间的关系；
4. 预测，也很直观了，有很多回归技术。

分别论述了。分类的算法有：

1. 决策树，按照一定的标准(比如说信息论中的“熵”)，把各个属性划到不同的树形节点中去。在股市数据中，比如，有好的企业和不好的企业（ST），这个算法提供类似“如果市盈率怎么样，则该企业怎么样怎么样”的结论，当然，实际分析中，结论的层次会很多。决策树的成功算法有C4.5、CHAID（这个就是冯老师说的威力无比的卡方自动搜索技术，昨天梁老师提到的最好的决策树算法就是它）、CART等等。C4.5有现成的代码；
2. 人工神经网络，仿照人类神经元刺激-反应的学习模式，人工神经网络被一个环境（输入输出的组合）所激励，它的各种参数（那些权值和偏置量）进行调整作为响应。一般认为神经网络经常能发掘出数据中的非线性关系，而且抗干扰性较强。人工神经网络包括三种基本的模型，一是前馈网络，如多层感知机（我们学过相应的反向传播法BP），这里网络的输出直接根据网络的输入计算而来，不涉及到反馈；二是竞争网络，以Hamming网络为代表，它包括一个反馈层，并试图判定哪个标准向量最接近输入向量；三是以Hopfield网络为代表的递归网络，它利用输入向量对网络中的神经元进行初始化，然后不断迭代直至收敛；这里前馈网络的代码很好找到；
3. 支持向量机(SVM,Support Vector Machine)源自统计学习理论，有着坚实的理论基础，它用训练实例的一个子集（支持向量）作为决策边界，然后建立一个线性判别函数来将各个类别分开。它相对与神经网络的一个优点是能发现目标函数的全局最优点，而采用贪心算法搜索假设空间的神经网络模型一般只能获得局部最有解；
4. 最大熵法(MEM,Maximun Entropy Method),是基于信息论的一种方法，它用“熵”来表示信息的增益，在自然语言处理领域成就斐然。最大熵方法认为，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以称之为“最大熵法”。最大熵法在数学形式上很漂亮，但是实现起来比较复杂，但把它运用于金融领域的诱惑也比较大，比如说决定股票涨落的因素可能有几十甚至上百种，而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。这个算法在数学上很漂亮，只是计算实现上比较复杂，但把它运用于金融领域的诱惑也比较大，比如说决定股票涨落的因素可能有几十甚至上百种，而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。

聚类的算法以K-均值为代表，它先是选择K个初始的质心，接着按就近原则将其他观测值向它凝聚，这样指派到每一个质心的点集称为一个簇。然后根据指派到簇的点，更新每个簇的质心，这样重复指派和更新，直到质心不再发生变化（即收敛）。这里“最近”的概念用的是欧几里德距离。在我们的股市数据中，如果我们不再事先指定哪些股票是好是坏（即没有输出变量），通过聚类分析也能把它们分类。

关联分析用来发现隐藏在大型数据集中令人感兴趣的联系，比如尿布和啤酒之间的关联，一种叫Apriori的算法可以实现，它根据变量及其赋值对整个数据集的覆盖程度来建立起两个或几个变量之间的联系。这个算法用在我们的股市数据中，可以帮我们找到几只单股之间的关联，这种关联可能没有道理。

“我的电脑”——“属性”——“高级”——“环境变量”——“系统变量”——“Path”

如果没有“Path”，就创建一个。如果以前设置过别的Path，就在它的末尾先加一个分号，接着把bin的文件路径填上如：

;C:\cygnus\cygwin-b20\H-i586-cygwin32\bin

以后就可以用记事本写程序，在控制台编译并运行了。比如写一个"Hello World":

// hello.cpp

#include <iostream>
using namespace std;

int main() {
cout << "Hello World!";
return 0;
}

把这个文件取名为hello.cpp, 并存于如"E:\cpp"。一个组合快捷键“开始+R”，打开“运行”，在命令栏敲入cmd，就来到控制台，类似于doc的那种界面。你可以通过两步来到制定的E:\cpp文件夹：

1. 敲入 e:   回车，这样就会看到E:\>,光标在这里跳跃；
2. 敲入 cd cpp，回车，这样就会看到E:\cpp>,敲入dir来查看文件夹，你就会看到我们将要处理的hello.cpp；
3. 接下来就是编译hello.cpp，敲入   g++ -g hello.cpp -o hello -lm
4. 如果程序没有问题，E:\cpp下面应该出现一个hello.exe的可执行文件；
5. 接着在控制台敲入hello，回车，屏幕就会打印一条Hello World!

就这么简单。

1. 第一个当然是F9，它能显示所有的SAS快捷键；一个可以替代的SAS 命令栏命令是keys。这个命令栏就是SAS 视窗左上角那个小框，在菜单栏下面那个，不是SAS的程序编辑器Editor；
2. 提到命令框，第2个快捷键就是F11。比如说你在Editor下写程序，想要显示每条程序的行号，摁下F11就可以跳到命令框，敲入nums，回车，就回到你当前的编辑器里；
3. 当然你还可以在程序编辑器Editor里加一个命令框：Tools——Options——Preferences——View，找到Command line钩上就是。这样在你的Editor上面就会出现一个Command ===>,这里你可以像在命令框一样敲入一些小命令，比如bye就退出系统。对这个Command line，一个类似命令框的F11的快捷键是home，它可以在Command line和Editor之间来回切换。比较一下，命令框的好处就是它能自动记下你敲入的每条命令，以后你敲入一个字母它就能够自动补齐，Command line没有记忆功能，它的好处就是，它就在你的编辑器里；
4. 返回键backspace：比如说你在Libraries一路点开，backspace可以一路返回；
5. 接下来是一组连贯的快捷键（F3到F7）：
   • F5回到你的程序编辑器Editor；
   • 写好程序后，摁F3提交运行；
   • F6查看Log；
   • F7查看结果Output；
   • 如果你在编辑器里删了些东西，F4可以追回整段的代码（recall）。   
6. 一些组合键可以在第二阶段再熟悉，但一些在Windows下通用的快捷键还是很有价值，如home回到一行的开始，end回到一行的末尾，Ctrl+Home回到整篇的开始，Ctrl+end回到整篇的末尾，摁下Shift不方再用上下左右键选中你感兴趣的内容。

总结一下，这里介绍了：

• F9, keys
• F11, nums, bye; home (for Command line)
• backspace
• F5, F3, F6, F7, F4
• home, end, Ctrl+Home, Ctrl+end, Shift+上下左右键

以上都是在看宇传华的《Excel与数据分析》时随手打开记事本记下的。零乱不堪，权当备忘。Excel这东西，只要知道哪里有哪些东西，上手很快。