主题（关键字）：SAS编程、生物统计、行业应用

时间：2011年10月28号，周五，晚上，7点到9点

地点：北京大学，二教422（地铁北大东门下就是）

适用人群：对SAS与生物统计感兴趣的在校生，其他感兴趣的朋友也欢迎捧场

组织单位：北京大学应用统计研究会

出席人员：来自赛诺菲巴斯德(Sanofi Pasteur)生物统计中国部的SAS程序员与生物统计师

这将是一场非正规的经验交流（赶在这个校园招聘忙的季节），但我们也抱着接触潜在实习生与员工的想法。对我个人来说，就是趁着机会，回次学校，见见朋友，再体会一把久违的社团生活。

又，如果你是在校生，先读一下这篇文章会很有作用：

http://cos.name/2010/04/think-sas-1/

1.  CDISC Express

CDISC Express是一款开源的SDTM转化器，基于SAS和Excel（其实背后是XML）。我为这个产品写了一系列的入门教程，并参加了一个相应的比赛（赢了一台iPad）。益辉最近也抽中了一台Kindle，加上上半年在SAS Global Forum拎回来的一台Kindle,不禁感慨，知识（和概率）真是咱农民的第一生产力呀。对着手头这台上世纪的诺基亚6300，我坚定的目光瞄上了iPhone5。有一句话说，做自己喜欢的事，然后找一个人或机构买单，人生一乐也。

又，把临床数据自动导入到符合CDISC标准的数据集，现在有不少vendor在做，很多药厂内部也有开发。感兴趣的朋友不妨也鼓捣鼓捣。

2. Big Data

现在还提这个概念就较不时尚了，重要的是如何做，或者如何为以后做些准备。SAS也将加入对Hadoop的支持，不过现在Hadoop的框架还是基于Java，拣回来些C/C++、Java或者Python还是很有戏场的（甚至R也能够玩会Hapoop），对一个SAS程序员来说，是时候更新自个的工具箱了。

迄今为止，这个领域还是IT人士的天下。这一方面说明了我们这些传统的数据分析人员还需要夯实技术（去看看Hadoop的‘hello world’, 所有的操作都要分解为map()和reduce(),而这并不是所有人都习惯的），也说明目前这一块，发展还在起步阶段，因为这些框架，最终都是要为了让数据产生价值，而这就不可能有数据分析师的缺席。

3. SAS之外

这些日子，在SAS之外，试图拣回来些数据挖掘的东西。本来准备四月份在拉斯维加考下SAS数据挖掘的认证，后来还是被其他事情给挪掉了。最后所得就是，还是稍微看了下这块的东西，在概念上是过了一遍。这次在拉斯维加，碰到以前在北大一起做SAS俱乐部的朋友光辉，他现在加拿大工作。光辉说他趁着开会的缝隙，随手把SAS的数据挖掘认证（SAS Certified Predictive Modeler using SAS Enterprise Miner 5 or 6 Credential）给考了。这叫行动力啊。

机缘巧合，这上半年有朋友给我介绍Feature Selection（大白话就叫变量选择，在数据挖掘里面属于前期的工作），我就对着一个R的包看了一遍，也就是在脑袋里过一下，最后没有什么成果出来。另一个额外的好处是，这次我是对R在学习方面的优势有了切身体验，对R算是有了些个人感情。一边找论文看，然后几乎就能找到一个相应的R包跑一跑，增加些手感，这效果真是不错。

再说些R。我还真尝试过认真学一学R。做为一个SAS程序员，想，还是从input/output开始吧，就先研读官方文档R Data Import/Export，转了一圈，发现，这数据读取转存还是SAS更为方便有效，对我来说，鼓捣这个有点得不偿失，遂罢。

又想，R对SAS的一个优势在于它支持多种数据结构，像array、list之类，就从这入手了。不知道怎么搞的，在学习R的数据结构时，可能是我学习不够深入，修为不够，总觉得有些不够畅快——具体我说不上来。想，我还是把自己的Python拣回来吧，R跟Python有类似的地方。后来我就能说上来了，Python的List等数据结构，对我来说，的确是更为优雅（换一种说法，或者是因为我还没有读到一本“优雅地”介绍R数据结果的文档）。好吧，到此为止，我的R还停留在用它尝试算法的阶段。

然后就是捡回Python。我两年多的SAS程序员工作经历，一个直接的后果就是把之前学过的一点C++、Java和Python又打回“hello world”的水平，手都生疏了。我读了很多Jian Dai（他在加州做SAS程序员）的代码，包括Perl, C, JavaSAcript等等，想，做SAS程序员也不至于把其他的语言都丢掉，为了方便，又重新学习下Python。

为学而学毕竟有局限，在工作中使用当然来得最快。现在我还没有这机会，除了翻文档之外，就尝试用Python写些小东西，把它就当一回事一样。其实，除了工作中直接使用，还有一项就是参加开源运动——我看益辉这几年写R代码是风生水起，一个极大的外部刺激就是参与开源运动，整个积极性都给起来了。一个普通的统计学博士生，用不了那个多的代码量，那动力，就在于统计之外。

统计。今年的基础统计学习，没有去年那么饱满。每天跟统计师打交道，就想好好学习一下他们的语言。今年，到现在为止，算是在工作中（向统计师）学习，整了下CI calculation和euivalence and noninferiority test。下一步准备鼓捣些Sample Size之类。有个哥们写了一篇文章叫Programmers Need To Learn Statistics Or I Will Kill Them All，好吧，作为一个程序员，为了生命安全，每天跟统计师打交道，还是学下统计了。

4. 工作

不是说自己的工作，是说工作与实习机会。感兴趣的朋友，不妨跟我联系。中南大学统计系的本科生韩帅，不久前结束在我公司的实习，在Sxlion主持的SAS中文门户写了两篇非常有价值的总结文章，大伙可以去看看：

一个SAS菜鸟的故事 学习篇

一个SAS菜鸟的故事 实习篇

人是这样的，只有经历过了（我说的是第一份实习或其他），才能自信地自称“菜鸟”，否则就真是论坛里“弱弱地问”的菜鸟。我推荐我公司，当然是因为最熟悉。说实在的，在北京，在药厂，对SAS程序员来说，这的确是一份不错的的实习机会。去年我也推荐了汤耀华来我公司做实习生，他现在中科院读研。这两位都来自中南大学，怎么说？对我和我的同事来说，他们提升了中南大学在我们心目中的分量。在上海，我想，很多SAS程序员对中南大学也很有兴趣。

一些大学生朋友给我写邮件打电话，说些职业或技术选择的事。这不是选择两个到手的offer，大哥，随便扎进一个方向，都比在那犹豫强。

5. SAS

还是得提一下SAS。现在用上SAS9.2了（然后SAS9.3就华丽丽地发布了。。。），对我来说，直接地，有两个触动：

1）SAS9.2及以后，作图更漂亮，我终于有些动力研究下SAS作图了。在公司，去年与宾州的同事一道，把公司作图的macro（基于9.1.3）的更新以后，以后都直接调用，压根就没写过proc gplot之类，然后我就发现自己作图的那一点点手艺正在迅速凋零。。。

2）SAS9.2中，BASE中正式支持自定义函数（仿佛听到其他门类的程序员在冷笑，我弱弱地辩解一下，SAS/IML早就可以自定义函数，而且对SAS程序员来讲，一直使用macro写一种叫function-like macro，而且，macro也支持递归。。。）。这将给我们的编程生活带来不少乐趣，其中之一就是可以把以前的一些macro改写成函数（方便debug啊）。

在写函数之前，我把SAS BASE里面的函数都看了一遍，省得以后重复造轮子：

把所有的函数分门别类导入到Excel，然后动用一点VBA，把每个函数的解释都搁进每个函数名的comments里。这么一梳理，又发现不少有趣的东西，再议。

第一个Anthony James(Jim) Barr，更多地被称为Tony，SAS系统的发明人，今年4月份在佛罗里达拜访他并长谈（右一）：

Jim Goodnight和John Sall，现在SAS公司的一、二号当家，在拉斯维加斯的SAS全球大会见到。我没有跟Jim Goodnight有任何互动，最“近”的一次是几年前，当时在SAS中国研发中心，收到唯一一份来自Goodnight的邮件，大概是群发给全球一万多号员工的。John Sall来过北京，不过没机会见过。这次在拉斯维加，在一间中型会议室，看他慢慢演示JMP，差点超时。

第四个创始人Jane负责文档，还没有见过。不过去年，就在北京，有幸见过第一本SAS user guide (A User’s Guide to the Statistical Analysis System, 1972)的作者，Dr. Jolayne (‘Jo’) Service(左二):

Jo离开北京后，还随着美国统计学代表团参加了上海生物统计学术论坛（SBF）组织的活动。

“统计之都”(http://cos.name)的朋友拉来人大统计学院和中科大管理学院，一起办一个大学生数据挖掘的比赛（“第一届全国大学生数据挖掘邀请赛”）。非在校生的朋友可能也会感兴趣，这次比赛的赞助商是上海的一家婚恋交友网站，比赛的任务是，“评估给定的候选会员集合中，哪些会员更容易获得特定会员A的青睐”。有评论认为，这是两会之后，真正关注国计民生的好题目。

预祝这次竞赛活动圆满成功。先去围观了：

http://www.statmodelingcompetition.com

http://cos.name/2011/03/1st-data-mining-competetion-for-college-students/

2. SAS Global Forum 2011, Las Vegas, Apr 4-7

SGF2011的会议论文已经放在网上，大伙可以先睹为快：

http://support.sas.com/resources/papers/proceedings11/TOC.html

这将是我第一次参加SGF。我提交的论文很水，几乎跟SAS无关，讲的是装备一个SAS程序员的几个简单的工具：文本编辑器Notepad++、文件比较工具Beyond Compare以及个人信息门户Gmail和Google Reader。

——恩？怎么还有Gmail？这话题似乎难登大雅之堂，但我觉得还是非常重要的。总体而言，SAS程序员/SAS用户的技术装备水平不高。根据SAS邮件组SAS-L订阅者邮箱使用的相关数据（http://www.howles.com/sas-l），一共有3万7千个注册邮箱，现在能跟使用者本人对应起来的邮箱数大概是4千8百个。而在这4800个可以说是较为有效的邮箱中：

• .edu后缀的有722个
• .net的698个
• .org的198个
• .gov的195个
• .com的当然最多，有2680个

而在这2680个.com邮箱中，有大量分散的公司邮箱，不论，几个常用的免费邮箱是

• Gmail有269个
• Yahoo有252个
• Hotmail有174个

这什么概念？首先，SAS用户，大量集中在企业，我猜R-help邮件组的Gmail使用者应该会非常多——当然这不是这里的重点。使用公司或机构邮箱的，大多数人用outlook之类的客户端收发邮件，其余的如Gmail、Yahoo、Hotmail用户大多使用Webmail的方式。作为一个Gmail爱好者，我好奇的是众多的非gmail用户如何管理（以及忍受）来自SAS-L成千上万的邮件的。

又，SAS-L的Gmail邮箱订阅者较少，还有一个可能，就是大伙都喜欢在工作时间收取SAS邮件。我个人推荐用Gmail收取邮件组的邮件，同样，根据个人兴趣，那天我还会跟SAS用户推荐Google Reader，这个所谓Web2.0时代的利器。这次SAS大会同样也充满2.0精神：

• 一个Twitter账户，#SASGF11
• 一个官方博客，http://blogs.sas.com/sgf/
• 一个Facebook账户
• 一个LinkedIn讨论组
• 一个信息门户，http://sascommunity.org/

到时热闹了。

http://cos.name/2010/12/think-sas-2/

感兴趣的朋友不妨去拍拍砖。还没写完，这个系列。

另外，我有一篇文章被明年的SAS全球论坛(SGF2011, April4-7, Las Vegas)接受，题目很大，叫做Work Smarter than Harder-tools for growing up a SAS programmer,写的是装备SAS程序员的一些普通工具。卑之无甚高论，但现实中一般SAS程序员的装备还是挺落后的，大都拿“分析员”而不是“程序员”的标准要求自个。这篇文章草稿在

http://jiangtanghu.com/docs/en/SGF2011_JiangtangHU(draft).pdf

一样欢迎大伙拍砖评论。

明年去拉斯维加斯，心里又不禁嘀咕，倒是可以趁着这个机会把SAS数据挖掘的认证考下来。这样这几个月就又有得东西忙了。

明年准备数据挖掘，但今年开始的统计学基础还不能丢。还想给“统计之都”写些类似“方差分析初步”之类的文字。统计学我的底子高深不了，就沉浸在表达这块了。

大伙新年愉快。

jiangtanghu<at>gmail<dot>com

这里只负责牵线搭桥，具体的会安排您跟SAS R&D的负责人谈。

英文世界里，SAS程序员第一个应该去的地方应该是SAS Community Planet:

http://www.sascommunity.org/planet/   RSS订阅：http://www.sascommunity.org/planet/rss20.xml

现在里面收录了24个相关博客（包括“技止于此”的英文博客，From a Logical Point of View），内容涵盖SAS编程、BI、行业信息等等。另外，SAS一些员工或部门也在在其主页开博（现在是15个），见

http://support.sas.com/community/rss/

这里的博客与Planet的博客会有些重合，建议是一个个点过去，总能找到值得订阅的。比如，SAS公司负责IML开发的Rick Wicklin，今年的9月初开了一个IML相关的博客，唤作The Do Loop，现在已经有33篇了，质量都很高，而且适合不同层次的读者阅读。有意思的是，他有个明文的规矩，周一些初级篇，周三是中级篇，周五则是高级篇，各位读者，皆大欢喜（这里介绍了这么多Rick，也有一些私心。他上个月也推荐了一下我的一篇博文，也是关于IML的。之前我在blogger开英文博客，到现在也没写几篇，以后再接再厉了）。

回到中文世界。mysas论坛的掌门人shiyiming前些日子新开辟了一个栏目，叫做“SAS世博汇”，号称要“网聚全球优秀SAS博客的力量”（就是定期出爬虫抓取相关博客内容，中文为主，现在看到的数量是8个，包括Liu Wensui、ooloo等知名ID）。mysas现在也支持RSS订阅，所以这个渠道看着也还不赖。

上海还有一个活跃的朋友，sxlion，新开了一个SAS博客群，在网聚SAS博客方面，用功甚勤：

http://saslist.com/

里面提供了一批SAS中英文博客（跟上面提到的也大多重合）。这个saslist还提供博客群服务，现在还是以mysas活跃的朋友为主，比如hopewell。刚刚建起，会有些粗糙的地方，有兴趣的朋友可以上午鼓捣一下。

关于群体博客，现在做得最好的是“科学松鼠会”，科普类。另外跟统计相关的，就是“统计之都”。sas群组，现在都还是刚刚起了个头。

1.北京数据管理与生物统计论坛（BBF）第三次聚会

9月4号下午，周六，北大医学部。详见：

http://cos.name/2010/09/3rd-bbf/

2. mysas.net 线下交流

上海，谷麦咖啡店，9月11号，下午，参与者sxlion、jthu、tianwild、ahuige、shiyiming，话题：SAS非SAS，技术非技术，兴之所至，无所不聊。照片见：

http://mysas.net/sns/space.php?uid=1&do=album&picid=372

上海是SAS程序员的大本营。我第一次来上海，当然要去拜拜码头了。九月10号晚上我在北京发贴召集，还好有这么些活跃成员捧场。据说在上海，像这样临时凑一个局可不容易。

3. CDISC Interchange China 2010

这次CDISC交流大会中国站在上海举行，复旦大学医学院，9月15号。去年在北京办，跟同事也都参加了。一些话题：

3.1  CDISC Worldwide – Highlights 2010 (including Healthcare link, JIC, BRIDG)  by Frank Newby and Rebecca Kush (CDISC)

演讲者是CDISC组织的二号人物，Frank Newby（简称“牛掰”。Rebecca Kush 是CDISC组织的CEO）。由于FDA的推动，CDISC现在一个很明显的动向就是与HL7的融合。这次大会本来还安排有HL7的CEO Charles Jaffe的演讲，Hl7-CDISC Relationship，应该也会很精彩，可惜Charles 没能过来。

3.2 x3C  Updates

x3C包括J3C、K3C和C3C，分别代表日本、韩国和中国的CDISC协调委员会(CDISC Coordinating Committee)，演讲者是相应组织的负责人：

J3C: Yoshio Tsukada (GSK Japan)

K3C: Sukil Kim (Catholic University of Korea)

C3C: Simon Wang (Parexel China)

今年CDISC组织在亚洲的动作很大，你可以在CDISC的博客看些更新。

3.3 CDISC Standards for Study Start-up (Business Case, Protocol and Trial Registration, CDASH Standards for CRfs, eSource Data Interchange) by Frank Newby and Rebecca Kush (CDISC)

演讲者仍然是“牛掰”先生，强调把CDISC标准运用到临床研究的整个生命周期，从方案设计、数据收集到分析以及提交监管当局。

现在在概念上火的是CDASH，数据收集这块。我说是“概念”，是因为临床数据管理本身有很复杂和成熟的系统，要采用新的标准，还有很长一段路要走。

3.4 The future of Clinical Data: The Evolving Impact of CDISC and Hl7 Standards on Data Management, Submission, and Pharmacovigilance  by Wayne R. Kubick  (Phase Forward lincoln Safety Group)

Wayne R. Kubick 被认为是“CDISC之父”，在CDISC组织还没有形成时就是其领军人物。这次他讲临床数据的远景，其中一条也是与HL7的融合，以后大伙应该会经常CDISC/HL7的字眼。

Wayne 的口音跟相貌，都跟克林顿有类似，在Lincoln Technology工作（Lincoln Technology后来被Phase Forward 收购，而Phase Forward 最近又被Oracle收购）。

Lincoln Technology在临床研究领域是一个非常厉害的科技公司。会后我跟Wayne 聊到他部门另外一位伟大的科学家，William DuMouchel。William 在AT&T工作时发明了药物安全监测的Gamma Poisson Shrinker（伽玛泊松缩减）法，它是一种贝叶斯方法，为FDA推荐使用。

3.5 CDISC/FDA Pilot for Integrated Safety Data (Pediatrics Studies) by Yuguang Zhao (Eisai Global Clinical Development)

CDISC的SDTM标准已经被FDA接受。这次CDISC/FDA的联合活动，类似于完全运用CDISC标准向FDA提交临床研究报告的一次预演，包括SDTM、ADaM和define.xml。

这个演习活动，召集了业界二十来位好手，牵头人物是：

Chris Decker, d-Wise Technologies

Yuguang Zhao, Eisai Pharmaceuticals

Steve Hirschfeld, National Institute of Health

Yuguang之前在sanofi-aventis工作，是CDISC SDS TEAM的核心成员之一，今年上半年来我们办公室参观过。关于这次活动，你可以参考：

http://www.d-wise.com/papers/rs02.pdf

3.6 Building an eCRf CDASH library – A Case Study by Paula Silva (Phase Forward Services)

Paula讲的是CDISC的新宠，CDASH，以及Phase Forward公司的产品PhaseOne.

3.7 CAMD ADAS-cog Questionnaire SDTM and ADaM Implementation by Sandy Lei (J&J)

Sandy去年的CDISC活动中见过。她是中国CDISC的教母级人物，CDISC SDS TEAM的核心成员之一，前些年CDISC就是她给引进中国的。会后Sandy问我听得怎么样。我老实回答，其中只有SDTM/ADaM的部分能听懂，关于CAMD ADAS-cog 听得是一愣一愣的。回北京我是恶补了一下，你也可以参考下：

http://www.c-path.org/pdf/CAMDWorkScope.pdf

3.8 Update on Terminology and SHARE Project by Chris Tolk (CDISC)

Chris在CDISC组织里负责Terminology，她也是CDISC其他标准的活跃参与者。CDISC组织维护的Terminology，也被NCI的EVS系统收录，算是一个很大的成就了。

3.9 Integration of Electronic Data Capture (EDC) and Interactive Voice Response (IVR) randomization systems using ODM, vendor extensions and web services by Andrew Newbigging (Medidata Solutions Worldwide)

又是一位牛人(New–)，Andrew Newbigging讲的是在EDC以及IVR系统运用CDISC的ODM模型，又是临床数据管理方面的内容。

3.10 XML: The SAS Approach by John (Jiangtang) Hu and Na Ye (Sanof Pasteur Biostatistics China)

我跟同事Na带来的话题安排在下午，最后一场，以契合我们业界小兵的形象。来上海之前我在公司排练过一次，这次讲完后，有朋友提醒，我演讲时手一有机会就插兜里，噫。不是为了摆酷，手本来就跟香蕉一样，上台时就不知道该放哪。

CDISC各个标准，其数据都是通过XML来储存和传输，我们这个话题就是来讨论如何用SAS来处理XML数据——SAS程序员嘛。

作者三位（SDK），在这个领域都是行家，SAS公司的一位负责统计工具研发的总监Maura E. Stokes , 爱荷华大学生物统计系的教授Charles S. Davis（后来他投身工业界）以及北卡大学教堂山分校生物统计系的教授 Gary G. Koch 。用SAS做Categorical Data Analysis，这书是引用最多的一本。国内一本书，刘勤和金丕焕编的《分类数据的统计分析及SAS编程》（复旦大学出版社，2002），能看到本书的影子（美中不足的是，这本书丝毫没有提到SDK）。

我喜欢这本书，还因为它是我读过的SAS BBU（books by users）系列中排版较好的一本。BBU一般由SAS Press或Wiley两家出版社出版，一个印象是，Wiley出的SAS书排版会比SAS Press的质量高。这本书由这两家联合出版。

以前学Categorical Data Analysis，上手就是Logistic回归，做信用评分/数据挖掘需要这个（这本书的后半部分讲这些模型）。现在的工作，需要多的是本书的前半部分，对列联表做的各种检验，这是统计学里相对传统的部分，也是我这样非统计科班出身学统计学时忽略最多的部分。

还有，这本书的数序公式用得恰到好处，简洁又富有启发性，能让一个（只）有基本数学素养的SAS 程序员体会到模型的含义，又不至于淹没在数学符号的汪洋大海之中。

2.Common Statistical Methods for Clinical Research with SAS Examples(2nd edition, SAS Inc., 2002)

作者是SAS最老的一批咨询顾问Glenn A. Walker。现在这书出了第三版，加上了一位合作者，Duke Clinical Research Institute（世界上最大的学院CRO）的一位SAS程序员，Jack Shostak，他也是SAS Programming in the Pharmaceutical Industry的作者。

我没有比较与新版的区别，只说说手头的第二版。跟SDK一样，这本书是用来恶补现在所需要的统计学基础的，给回归只留了两个章节：

Chapter 1 – Introduction & Basics 
Chapter 2 – Topics in Hypothesis Testing 
Chapter 3 – The Data Set TRIAL 
Chapter 4 – The One-Sample t-Test 
Chapter 5 – The Two-Sample t-Test 
Chapter 6 – One-Way ANOVA 
Chapter 7 – Two-Way ANOVA 
Chapter 8 – Repeated Measures Analysis
Chapter 9 – The Crossover Design
Chapter 10 – Linear Regression
Chapter 11 – Analysis of Covariance
Chapter 12 – The Wilcoxon Signed-Rank Test
Chapter 13 – The Wilcoxon Rank-Sum Test 
Chapter 14 – The Kruskal-Wallis Test
Chapter 15 – The Binomial Test
Chapter 16 – The Chi-Square Test
Chapter 17 – Fisher’s Exact Test
Chapter 18 – McNemar’s Test
Chapter 19 – The Cochran-Mantel-Haenszel Test
Chapter 20 – Logistic Regression
Chapter 21 – The Log-Rank Test
Chapter 22 – The Cox Proportional Hazards Model

章节设置，跟Jerrold Zar那册有名的Biostatistical Analysis类似，正好方便SAS程序员备查。这些统计学，在药厂的clinical部门常用。至于模型味更浓的data mining系列，discovery和pharmacovigilance（PV，药物警戒）部门用得多些。

这本书在写作方面没什么特色，好处在于实用、全面，做工具书再好不过。

————————————————————-

作为非统计出身的SAS程序员，经常徜徉于data steps，现在翻翻它的统计部分，又能感受到它背后的另一片广阔天地。浏览一下SAS/STAT 9.2的研发团队，——罗列书名、人名总能激起我的斗志，噫。

昨晚提到Excelpro的新书，《Excel图表之道——如何制作专业有效的商务图表》（刘万祥，北京：电子工业出版社，2010）。说些Excel，从一个SAS程序员的角度。

相对SAS，或其他的软件包（SPSS、R/S-Plus、Matlab等），Excel都是一个轻量级的分析工具。本来，Excel无意在统计分析方面跟那些统计工具包一较长短，各有适用的地方而已。但在商业世界，用Excel做分析的用户太多了，说最流行也不为过，一些统计学者，就提醒广大用户，用Excel做统计分析时一定要谨慎些，它有时候不够严谨有时候不够靠谱。详细的，可以参考谢益辉的三篇博文（以及他文中所附的参考材料）：

1.Excel中的缺失值和0

2.为什么避免用Excel作统计计算

3.再谈为什么不用Excel做统计分析

用Excel本身的计算引擎有时是不够严谨，这是故事的一个方面（当然，它应付日常工作还是可以胜任的，对Excel，我们这点信心还是有）。故事的另一个方面，是鉴于Excel的广泛流行，各大BI（商务智能）套件，包括SAS系统，都要提供与Office/Excel整合的功能。上面就是 SAS Add-In for Microsoft Office在Excel里面的一个截图。利用这个Excel插件，商业用户可以继续使用他/她熟悉的Excel，访问SAS数据，并利用SAS的计算引擎来分析和作图，最后结果返回到Excel（或者Word、PPT）。一家公司不提供这玩意，它的BI技术就要受到质疑，至少也是没有做到user-friendly。夸张点说，小小的Excel就这样爬上了BI平台的最顶端。

我们注意到，与Excel的整合，重点是把它作为用户接口和展示平台。对一个传统的SAS程序员，与Excel打交道也是他职业生涯的一部分：

1. 有时候，数据会存储在Excel里面。你可能没法理解，为什么要把数据存在Excel里面，这样轻量级的数据，存在文本里面不是更好吗？在真实世界里，大部分人的行为模式一般是这样，他们打开Word来记事，打开Excel来记录数据。数据存在Excel或许也能接受，如果它们规规矩矩，行列有序。有一种情形就是，在一个Excel Book里，数据散布于各个Sheets，在同一个Sheet，数据可能不是按行列来排，而是长得就像一个report。平心而论，这样的数据真的是user-friendly，只是不够machine-friendly。在Windows平台下，SAS Base有三种最常用的方式读取Excel数据：

1-1 proc import or Import Wizard

1-2 SAS Excel Libname Engine

1-3 SAS DDE (Dynamic Data Exchange，这属于Windows的技术)

Excel不是一个跨平台的数据格式。在Unix平台下，如何读取Excel数据呢？SAS也有解决方案，那需要用到一个SAS/ACCESS Interface to PC Files for UNIX和SAS PC File Server for Windows，这也是一个Libname Engine的方式。

2. 读入Excel数据，一个相反的操作就是把SAS数据（或output）转化成Excel。程序员或许不太愿意，但这在商业世界有需求。这里SAS更是提供了五花八门的解决方案：

2-1 proc Export or Export Wizard

2-2 SAS Excel Libname Engine

2-3 SAS DDE (Dynamic Data Exchange)

2-4 proc printto

2-5 SAS ODS

2-6 data steps

2-7  SAS Add-In for Excel

……

除了DDE，你还可以利用其他非SAS技术，比如ODBC、OLE DB等。有一个小花招。利用ODS，可以把数据转化成用户可以用Excel打开的CSV、XML或者HTML格式，而它们本身是比.xls更优越的存储格式。特别是CSV(comma-separated values file)，本身是文本文件，在Windows世界里，很多用户都把它当成Excel的一种格式，默认的打开方式也是Excel（而不是文本编辑器）。

罗列了这么多SAS与Excel的交互，回到Excel本身。它是一个功能强大的电子表格，在数据分析与展示方面也有不俗的表现（Excel作图，可以参考上面提到的Excelpro所达到的境界）。它赢得如此多的用户，说明它能满足大部分人大部分的需求。一个SAS用户，或者SPSS、R/S-Plus、Matlab等用户不必在统计分析方面展示对Excel的优越，这样显得就不够大气了——本来Excel就无意在这方面跟它们竞争。况且，即使工具之间有优劣，工具的本身的先后也不代表他们用户的先后，急于争辩工具厉害的人，往往忽略了人本身，自以为手持屠龙刀，就无敌于天下。笑话。

————————————————————————–

再讲个笑话，跟谢益辉有关（最近举例似乎老拿谢同学说事）。谢于数据可视化颇有研究，最近秀出了不少的工作，当然都是用R来展示。楼下便有人惊呼：R好强大啊。不知道谢听了做如何想。

又，关于R与SAS，Peter Flom也在写系列比较文章，见

1. SAS v. R: Ease of learning

0. SAS vs. R: Introduction and request

为什么想到考这个证？美国那里有句话说，“如果你有个SAS认证，你将不愁找不到工作”云云。对有经验的SAS程序员，雇主一般不在乎你是否考过SAS认证，我推荐在校生没事可以整这么一个，可以增加些筹码，以示自己也算是有些投资，花过功夫。我现在不需要这个认证找工作，倒是想借这个机会，重温一些基本概念。SAS公司有一份Base的认证文档说这可以refresh your mind on some details you might have forgotter,就是这个。当然，还有一个很重要的原因，现在考证，可以找东家报销（150美元，很大的一块蚊子肉啊），——做学生时穷，虽然只要半价，还是舍不得考。

计划下半年再考一次SAS Certified Advanced Programmer for SAS 9 Credential，这个拿高分还算是有些挑战性。为考试而考试是个很无聊的事，那就借着这个机会，温习下SAS Advance的东西，这些在日常工作中都要用到，相互促进了。

其实我最想考的是SAS Certified Predictive Modeler using SAS Enterprise Miner 5 Credential，数据挖掘相关的。读书时鼓捣得比较多，现在工作几乎都要忘掉这些了，考个证可以刺激下自个。啥时有机会去美国遛达，就乘机考了这厮。SAS Base和Advance都可以在国内考，唯有这DM需要在美国的SAS公司考。

附些材料，感兴趣的朋友可以参考。

1. 报名，SAS Base和Advance都可以网上预约，或者直接到考场报名，费用是150美元（或相应的人民币）。

预约或查询考点，上www.prometric.com/sas，有国际信用卡就可以支付。

又，考试时间也是可以预定的，从早上八点开始。我订的是早九点，早八点考场工作人员可能都在调试机器，拖后些比较好。

2.参考资料。对考Base来说，SAS公司的SAS OnlineTutor^®: Basic and Intermediate SAS，止矣尽矣。这是我见到过的最好的入门材料。或者，同等有分量的入门材料，SAS Programming I: Essential和SAS Programming II: Data Manipulation Techniques。这些材料，既可以为准备考试用，更可以作为入门温习提高用。从准备考试来讲，它们比SAS Little Book实用。

这新得白花花扎眼的一年，还想多写些关于SAS程序员本身的文字，关于这个职业，它依托的行业环境等等。SAS程序员在国内还不是一个很兴盛的职业。

还会有关于SAS本身的文字，关于SAS语言，SAS公司，关于它的创始人等等。最近我对SAS的创始人Tony Barr比较感兴趣。

技术本身，这个跟饭碗相关，除了SAS技术，很多笔墨可能会停留在CDISC上面。当然还会有自个兴之所至的其他文字，才年初呢，啥都没定。作为跟“统计之都”的约定，所有跟统计相关的文字，我会首先发布到“统计之都”，然后在自个的博客做个备份：

http://cos.name/author/hujiangtang/

以前提到过，SAS一个员工做了一份给圣诞老人用的dashboard，在YouTube也能找到。最近Support.sas.com公布了一批Dashboard示例，比较有意思，不妨一看：

http://support.sas.com/kb/26/134.html

具体的：

• Slider chart indicator:
  • SAS program version
  • stored process version
  • portlet version

SAS9.2 Base新增的这些定价函数（8个）都是计算欧式期权价格的，对看涨(call)期权、看跌期权(put)以及不同的期权类型（股票期权、期货期权、货币期权、交换期权），分别提供了以下四种模型：

Black-Scholes model，传统的股票期权定价模型，见Fischer Black and Myron Scholes (1973)
Black model，Black-Scholes model的扩展，针对期货期权，见Fischer Black(1976)，所以该模型又称作Black-76
Garman-Kohlhagen model，外汇期权定价模型，见Mark Garman and Steven Kohlhagen(1983)
Margrabe model，交换期权定价模型，见William Margrabe(1978)

SAS9.2期权定价函数一览：

具体用法，见SAS9.2的在线帮助文档，Functions and CALL Routines by Category: Financial：
http://support.sas.com/documentation/cdl/en/lrdict/59540/HTML/default/a000245860.htm

推荐一个网站，可以比较各种不同的期权定价模型：http://www.montegodata.co.uk/

下期预告：一个通吃的金融函数，Finance(.)

一个孤零零的金融函数，能够做52种（是52种！）不同的金融计算，前面提到的SAS9.1/ETS那9个金融函数就是被它给硬生生消化掉了，……

1.定义矩阵

2.矩阵操纵

3.矩阵运算

SAS对正则表达式 (Regular Expressions, RX) 的支持，表现在以下两大类函数（包括Call Routines）中：

1. SAS Perl Regular Expressions (PRX)，SAS9开始引进，有10个函数；
2. SAS Regular Expressions (RX) ，SAS6.12就开始支持，5个函数。

这两个正则表达式系统功能类似，只是语法略有差别。它们的对应如下：

	SAS Perl Regular Expressions	SAS Regular Expressions
版本	SAS9–	SAS6.12–
函数前缀	PRX	RX
定义正则表达式的函数	PRXParse	RXParse
定位函数	PRXMatch	RXMatch
	Call PRXSubstr	Call RXSubstr
	Call PRXPosn
	Call PRXNext
	PRXParen
文本替换函数	PRXChange
	Call PRXChange	Call RXChange
释放内存函数	Call PRXFree	Call RXFree
代码调试函数	Call PRXDebug

在RX系统中，比如，用$d或$D来表示数字0-9，在PRX中，用\d，\D却表示所有不是数字的字符。同时学习两套系统很容易弄混。建议只使用SAS PRX。

1. PRX提供了更丰富的函数；
2. PRX更为人所知；
3. PRX据说更有效率。

（待续……）

UltraEdit Professional Version 14.00a+1

SAS 9.1.3 Service Pack 4

Microsoft Windows  XP Professional Version 2002, Service Pack 2

Intel(R) Core(TM)2 Duo CPU, 1.95GB of RAM

1.UE->Advanced->Tool Configuration->Insert

打开UE，依上面的顺序点击工具栏，你将看到类似下面的Command、Options和Output界面，先在Command栏目，Menu Item Name一栏，写上SAS或者其他能提醒自己的词，在Working Directory一栏填上%p。困难在于Command Line一栏，下面详述之。

2.Start->All Programs->SAS->SAS 9.1(English)->Properties

Command Line一栏涉及如何激活你的SAS系统。在你的机器里，依上点“开始”->“所有程序”等，你将看到如下对窗口：

我们需要的Target（目标）一栏的字符串，我机器的SAS系统装在D盘，所以这一行是这样的：

D:\SAS9\sas.exe -CONFIG D:\SAS9\nls\1d\SASV9.CFG

把以上Target栏中的东西复制到上面提到的Command Line中，后面再加上这么些SAS系统选项（后面再解释）：

-noicon -nosplash -batch -sysin %n

所以，最后Command Line一栏看上去是这样的（注意：如果你的SAS系统装在其他路径，Target项目会有所不同）：

D:\SAS9\sas.exe -CONFIG D:\SAS9\nls\1d\SASV9.CFG  -noicon -nosplash -batch -sysin %n

3.Options

在Options栏目里，勾上Windows Program和Save all files first。

4.Output

在Output栏目里，勾上Output to List Box、Capture Output以及Captured Output。

按OK结束。在UE->Advanced的最下面，你将看到新建成功的SAS项目。大功告成哈尔莫斯。

/*以上参考Batch Submission Using Ultraedit，里面UE和SAS的版本都很旧。*/

随便在SAS Help找一段不是特简单的代码，比如下面的，把它们复制到UE，并保存为比如ultraedit.sas，路径在，比如D:\Ultreedit-SAS\，接下来所有的结果都会保存在这个路径下，而且在UE中点File->Open，也会直接到达这个所谓当前文件夹：

data Setosa;

        input SepalLength SepalWidth PetalLength PetalWidth @@;

        label sepallength=’Sepal Length in mm.’

              sepalwidth=’Sepal Width in mm.’

              petallength=’Petal Length in mm.’

              petalwidth=’Petal Width in mm.’;

        datalines;

      50 33 14 02  46 34 14 03  46 36 .  02

      51 33 17 05  55 35 13 02  48 31 16 02

      52 34 14 02  49 36 14 01  44 32 13 02

      50 35 16 06  44 30 13 02  47 32 16 02

      48 30 14 03  51 38 16 02  48 34 19 02

      50 30 16 02  50 32 12 02  43 30 11 .

      58 40 12 02  51 38 19 04  49 30 14 02

      51 35 14 02  50 34 16 04  46 32 14 02

      57 44 15 04  50 36 14 02  54 34 15 04

      52 41 15 .   55 42 14 02  49 31 15 02

      54 39 17 04  50 34 15 02  44 29 14 02

      47 32 13 02  46 31 15 02  51 34 15 02

      50 35 13 03  49 31 15 01  54 37 15 02

      54 39 13 04  51 35 14 03  48 34 16 02

      48 30 14 01  45 23 13 03  57 38 17 03

      51 38 15 03  54 34 17 02  51 37 15 04

      52 35 15 02  53 37 15 02

      ;

   ods html;

   ods graphics on;

   title ‘Fisher (1936) Iris Setosa Data’;

   proc corr data=Setosa sscp cov plots;

      var  sepallength sepalwidth;

      with petallength petalwidth;

   run;

   ods graphics off;

   ods html close;

就在这段代码上，点Advanced->SAS 运行，稍等你就能在D:\Ultreedit-SAS看到所有的结果：

其中，

ultraedit.sas是我们测试的代码，在UE里编辑和运行；

ultraedit.log 是这次任务的日志文件，可以用UE打开；

ultraedit.lst 是list output，可以用UE打开,依次见下：

sashtml.htm 是html output，可以用默认的浏览器打开；

RecMatrixPlot0.gif是上面程序产生的散点图图片。

————————–附录———————————

5.如果以上都没问题，那么我们就可以参详一下在以上设置中碰到的SAS系统选项：

sysin-specifies to start the SAS System and submit the file in batch mode

noicon-specifies to restore the main SAS window immediately

nosplash-specifies to not display the logo screen when the SAS System initiates

6.关于UE里SAS代码高亮显示，见http://idmcomp.com/index.php?name=Content&pa=showpage&pid=40

这里我有一个小问题，我在sas里面同时会编写很多程序，但是不知道如何用快捷键在这些编辑界面中切换，我不得不开好几个sas然后用Alt+Tab来切换，这样很麻烦，不知道你有什么tip么？

答曰：

1. 打开一个SAS.exe。在增强型编辑器里，默认的窗口名为Untitled1，可以不断使用快捷键ctrl+n，这样就能在一个SAS.exe里同时打开很多编辑器窗口，分别是Untitled2、Untitled3、Untitled4之类。
2. 切换。在各个Untitled中，用快捷键ctrl+tab就可以相互切换，试一下。

只是些细微的月度变化，通用编程语言还是Java、C\C++，脚本语言还是3P（PHP、Perl、Python）的天下。上面把Delphi和Pascal单列，无疑削弱了Pascal的排名。SQL的扩展语言PL/SQL入榜，表明了Oracle管理员和程序员在数据库领域的地位（SQL不是TIOBE定义的编程语言，PL/SQL才是过程式的程序语言）。上面还有一个有趣的语言就是COBOL，最近似乎有兴起之势，有兴趣可以读读这篇《一个COBOL程序员的自白》。接下来我感兴趣的是SAS。

SAS这个月的排名是14，去年同期的排名是11，不过还保持了上两个月内评分超过0.7%的增长率，因此还有A-的评分。SAS排名的变动如下：

波动是够大的，不过总体的上升趋势还是比较明显。大致地，01年比较平淡，02年降些，03年又有极大的拉升，04年初有减弱现象，不过把一个相对高的分数带给了05年，然后整个05年就在一个水平波动，整个06是SAS最被关注的时候，而整个07年就一直走下坡路。今年年初，SAS的被关注程度还在往下跌，不过按着以前的模式，SAS在年初的表现一般都不怎么惹人注目。现在SAS的被关注程度正处于谷底，整个08年排名的上升趋势还是挺乐观的。以上展示的是逐月波动，对照一下同期其他流行语言的情况，你对类似波动的理解就会全面些：

顺便提一下，现在这个排行榜，Fortran是24名，Matlab是26，R是45，Maple、Mathematica、SPSS的排名更在50之外。

Obs    car    color

1      a       A
2      a       B
3      b       A
4      b       B
5      c       A
6      c       B

两种解决方案，一是data步：

data a;
    input car$;
cards;
a
b
c
;

data b;
    input color$;
cards;
A
B
;

data ab;
    set a;
    do i=1 to n;
        set b point=i nobs=n;
        output;
    end;
run;
proc print data=ab;run;

proc sql可能会直观些：

proc sql;
    create table ab2 as
        select a.*,b.color
        from a,b;
quit;
proc print data=ab2;run;

又，SAS求职者面试中一道传统的题就是，求一个连续数列的累计和，比如求1到100中所有奇数的和。两个直观的解答是：

data a;
    do i=1 to 10;
        *retain j 0;
        if mod(i,2) ne 0 then j=sum(j,i);
        if mod(i,2) ne 0 then output;       
    end;
run;

data b;
    do i=1 to 10 by 2;
        j+i;
        output;
    end;
run;

这里值得一提的是第二种解答中，用了一个SAS专用的求和语句“变量名+表达式”(j+i)。这个求和语句的好处就是它集成了retain语句和sum函数的一些功能，而且使赋值语句更为简洁。

匹配字符

元字符	匹配的字符	举例	备注
.	除换行符(newline)以外的任一字符		要匹配包括换行符的任一字符，使用模式[.\n]
\w	任一单词字符，包括A-Z,a-z,0-9和下划线(underscore,_)		在英语中，等价于[A-Za-z0-9_]
\W	任一非单词字符	\W可以匹配@	在英语中，等价于[^A-Za-z0-9_]
\s	任一空白字符，包括空格(space)、制表符(tab)、换行符、回车符、中文全角空格等		等价于[\f\n\r\t\v]
\S	任一非空白字符		等价于[^\f\n\r\t\v]
\d	0-9任一数字	\d\d可以匹配34	等价于[0-9]
\D	任一非数字字符	\D\D\D可以匹配abc	等价于[^0-9]

]]> http://www.jiangtanghu.com/cn/2008/02/24/sas%e4%b8%8eperl%e6%ad%a3%e5%88%99%e8%a1%a8%e8%be%be%e5%bc%8f%ef%bc%881%ef%bc%89%ef%bc%9a%e5%85%83%e5%ad%97%e7%ac%a6/feed/ 3 http://www.jiangtanghu.com/cn/2008/01/26/%e5%87%a0%e4%b8%aasas%e7%bc%96%e8%be%91%e5%99%a8%e9%87%8c%e7%9a%84%e5%bf%ab%e6%8d%b7%e9%94%ae/ http://www.jiangtanghu.com/cn/2008/01/26/%e5%87%a0%e4%b8%aasas%e7%bc%96%e8%be%91%e5%99%a8%e9%87%8c%e7%9a%84%e5%bf%ab%e6%8d%b7%e9%94%ae/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9966 快捷键这东西，一次不能学太多，每次记住一个，每个试上五遍就手熟了。先说几个有用的：

1. 把代码注释掉，CTL+/
2. 取消注释，CTL+SHIFT+/
3. 大小写切换，CTL+SHIFT+L 、CTL+SHIFT+U
4. 缩进，TAB
5. DO/END的匹配，ALT+[、ALT+]

***********下期预告，《SAS与Perl正则表达式》****************

《SAS和蒙特卡罗模拟（1）：开篇》——简介，通过例子建立起蒙卡的直观概念；参考软件包及书目

《SAS和蒙特卡罗模拟（2）：随机数基础》——随机数入门；参考书目

**************************************************************************************************************************************************

一、SAS随机数函数和CALL子程序 

SAS系统产生随机数，两种方式，利用SAS函数(Functions)或者CALL子程序(CALL Routines)，它们的语法格式是（具体的区别容后讨论）：

方式	代码	说明
函数	var=name(seed,<arg>)	var为存储随机数列的变量，name为特定的分布函数形式，seed为随机数种子，<arg>为特定分布要求的参数（可选）
CALL子程序	call name(seed,<arg>,var)	同上,记得seed=0, ±1,±2, , ± (2**31-2)

用SAS读入原始数据（1）：文本文件

****************************************************

总结一下，有两种文本文件，及其对应的读入方法：

1. 字段固定(Fixed Filed)——列输入模式(Column)、格式化输入模式(Formatted)
2. 分隔符固定(Delimited Data)——列举输入模式(List)

对字段固定的文本文件，列输入模式：

1. 对数值变量，只能读入标准数据，包括正负号、小数点、数字、和由E构成的科学计数；
2. 不能够读入日期时间，以及包含美元符号、逗号等字符的数值；
3. 对字段的选择非常灵活，可以任意选择字段和读入的次序。

格式化输入模式：

1. 由指针控制读入的列数；
2. 可以设定输入格式。

对分隔符固定的文本文件，列举输入模式：

对分隔符固定的文本文件，系统根据分隔符就能区分各个变量，对系统默认的以空格为分隔符的数据文件，列举输入模式的input语句最为简单：

input 变量名<s>;

以下是一些扩展：

1. 如果源文件不是以空格为分隔符，比如是用逗号做分隔符，那么需要在infile语句后面加上 dlm=","     ；
2. 如果要读入超过8个字节的字符型变量，可以在数据步中加上一个length语句；
3. 如果要使用输入格式，可以采用带修饰的列举模式，它的input语句类似input a $:12.;
4. 在源数据文件中，比如是以逗号为分隔符，但文件中逗号还可能作为其中字符串的分隔符，这样就需要在infile语句中加上 dsd    ；

最后，在实际工作中，可能需要混合使用以上几种输入模式，见汪嘉冈（2001，P.111）。

参考资料：

1. 汪嘉冈《SAS V8基础教程》，北京：中国统计出版社，2001
2. SAS OnlineTutor: Basic and Intermediate SAS

2810 61 MOD  F
2804 38 HIGH F

下面的数据中，每个字段的列数不必相同，但都由同一样个的分隔符（这里是逗号）分开，所以称为分隔符固定(Delimited Data)或者自由格式(Free-format)的文件文件。如果分隔符为逗号（通常以.csv为后缀），干脆就叫做“用逗号分隔的文本文件”：

1-Mar-90,LON,198
13-Mar-90,FRA,2073

对以上两种文本格式的数据，SAS提供了以下四种基本的输入模式：

1. 列输入模式(Column) ——应用于字段固定的文本文件
2. 格式化输入模式(Formatted) ——应用于字段固定的文本文件
3. 列举输入模式(List) ——应用于分隔符固定的文本文件
4. 命名输入模式(Named)

对以上几种输入模式，基本的语句如下，区别就在于input语句的具体设定：

data 你对导入数据的命名;
    infile  源文件名,加上具体的盘符位置;
    input 变量输入设定；
run;

1.列输入模式(Column)–应用于字段固定的文本文件

对字段固定的源文件，input语句的形式是

input 变量名1<s>开始列数-结束列数 变量名2<s>开始列数-结束列数 …;

一个能工作的列输入模式语句看起来就像下面展示的：

data work.example1;
    infile ‘C:\data\example1.dat’  firstobs=2 obs=100;
    input ID 1-3 Name $ 5-10;
run;

优点：

1. 对字段的选择非常灵活，可以任意选择字段，以及安排读入的次序；
2. 整个字段或其部分可以重复读入；
3. 字段间不一定要有空格或者其他分隔符来分隔；
4. 字符变量最多可含32K个字符，并可以包含空格符；
5. 对缺失数据没有特殊占位符的要求。一个空格字段就读为一个缺失值，也不会引起其他字段读入的错误。

局限：

1. 可以设定输入长度，但不可以设定输入格式。对数值型变量，只能读入标准数据值(Standard Numeric Data Value)，即只包括数字、正负号、小数点和科学计数符号E构成的数，对日期型数据，以及包含美元符号、逗号等其他符号的数值，因为需要设定输入格式并按格式读入，列输入模式就无法正确读取。

2.格式化输入模式(Formatted)–应用于字段固定的文本文件

格式化输入模式类似于列模式：

1. 它适用于字段固定格式的数据文件；
2. 它也给出字段开始的列数，但不直接给出结束列数，而是通过输入格式给出读入长度；
3. 它可以设定输入格式。

它的input语句的格式为：

input <指针控制> 变量名 输入格式 …;

注1：指针控制，就是将输入列指针控制在某个位置，作为读入字段的开始列号，它有 @n 或者 +n 的形式：

• @n表示从第n列开始读入（指示开始列数的绝对位置）；
• +n表示将列控制指针增加n列侯读入（指示相对位置）。

一个能工作的格式化输入模式语句看起来就像下面展示的：

data work.example2;
    infile ‘C:\data\example2.dat’;
    input Name $ 2. @3 Job $5. +7 Place $8.;
run;

3.列举输入模式(List)–应用于分隔符固定的文本文件

因为分隔符固定的数据可以用分隔符来确定字段，input语句特别简单：

input 变量名<s>…;

如果要读入非空格分隔符的数据，就需要在infile语句中指明（默认为空格）：

infile 文件盘符 <dlm="分隔符">;

在列举模式下，变量长度的缺省值为8，长度超过8的字符变量在读入时会被截断，这时可以用lenght语句来设定长度：

length 变量名<s> 长度;

列举模式也可以设定输入格式，这只需要在输入变量设定时附加上相关修饰：

input 变量名<s>: 输入格式 …;

一个能工作的列举输入模式语句看起来就像下面展示的：

data work.example3;
    infile ‘C:\data\example3.dat’ dlm=’,';
    length item $ 10.;
    input ID Name $ item $   income:comma9.;
run;

4.命名输入模式(Named)

命名输入模式很少见到，因为很难得见到这种格式的原数据，其中三个变量是ID、Name和Score：

1 Name=Tom Score=A
2 Name=Jim  Score=C

相应的input语句为:

input  ID Name=$3. Score=$1.

参考资料：

1. 汪嘉冈《SAS V8基础教程》，北京：中国统计出版社，2001
2. SAS OnlineTutor: Basic and Intermediate SAS

《SAS和蒙特卡罗模拟（1）：开篇》——简介，通过例子建立起蒙卡的直观概念；参考软件包及书目

**************************************************************************************************************************************************

SAS for Monte Carlo Simulations (2): Random Numbers

最简单、最基本、最重要的随机变量是在[0,1]上均匀分布的随机变量。一般地，我们把[0,1]上均匀分布随机变量的抽样值称为随机数，其他分布随机变量的抽样都是借助于随机数来实现的。以下谈的都是所谓“伪随机数”(Pseudo Random Numbers)。产生随机数，可以通过物理方法取得（很久很久以前，兰德公司就曾以随机脉冲源做信息源，利用电子旋转轮来产生随机数表），但当今最为普遍的乃是在计算机上利用数学方法产生随机数。这种随机数根据特定的迭代公式计算出来，初值确定后，序列就可以预测出来，所以不能算是真正的随机数（就成为“伪随机数”）。不过，在应用中，只要产生的伪随机数列能通过一系列统计检验，就可以把它们当成“真”随机数来用。

现在大多软件包内置的随机数产生程序，都是使用同余法(Congruential Random Numbers Generators)。“同余”是数论中的概念。

0.预备知识：同余

捡回小学一年级的东西："4/2=2"读作“4除以2等于2”，或者，“2除4等于2”。还有求模的符号mod(number,divisor)，其中，number是被除数（在上式中，为4），divisor是除数（上式中的2）。这样的约定对SAS和Excel都通用，如mod(4,13)=4，mod(13,4)=1。

现在我们可以开讲“同余”了。设m是正整数，用m去除整数a、b，得到的余数相同，则称“a与b关于模m同余”。上面的定义可以读写成，对整数a、b和正整数m，若mod(a,m)=mod(b,m)，则称“a与b关于模m有相同的余数（同余）”，记做a≡b(mod m)（这就是同余式）。举个例子，mod(13,4)=1，mod(1,4)=1，则读成13和1关于模4同余，记做13≡1(mod 4)。当然，同余具有对称性，上式还可以写成1=13(mod 4)。

a≡b(mod m)的一个充要条件是a=b+mt，t是整数，比如13=1+3*4。a=b+mt可以写成(a-b)/m=t，即m能整除(a-b)。

这些就够了。更多基础性的介绍，可以参考《同余（数据基础）》。

1.乘同余法

同余法是一大类方法的统称，包括加同余法、乘同余法等。因为这些方法中的迭代公式都可以写成上面我们见过的同余式形式，故统称同余法。常用的就是下面的乘同余法(Multiplicative Congruential Generator.)。符号不好敲，做些约定，如R(i)就是R加一个下标i。

乘同余法随机数生成器的同余形式如下：R(i+1)=a*R(i) (mod m)。这个迭代式可以写成更直观的形式，R(i+1)=mod[a*R(i),m]，其中初值R(0)称为随机数种子。因为mod(x,m)总是等于0到m-1的一个整数，所以最后把R(i+1)这个随机序列都除以m，就可以得到在[0,1]上均匀分布的随机数。下面用电子表格演示一遍，假设随机数种子R(0)=1，a=4，m=13：

	A	B	C	D	E
1	i	R(i)	a*R(i)	mod[a*R(i),m]	mod[a*R(i),m]/m
2	0	1	=B2*4	=mod(C2,13)	=D2/13
3	1	=D2	=B3*4	=mod(C3,13)	=D3/13
4	2	=D3	=B4*4	=mod(C4,13)	=D4/13

]]> http://www.jiangtanghu.com/cn/2008/01/12/sas%e5%92%8c%e8%92%99%e7%89%b9%e5%8d%a1%e7%bd%97%e6%a8%a1%e6%8b%9f%ef%bc%882%ef%bc%89%ef%bc%9a%e9%9a%8f%e6%9c%ba%e6%95%b0%e5%9f%ba%e7%a1%80/feed/ 3 http://www.jiangtanghu.com/cn/2008/01/12/sas-tips-tricks%ef%bc%9a%e6%8c%89%e7%bb%84%e6%b1%82%e7%b4%af%e5%8a%a0%e5%80%bc/ http://www.jiangtanghu.com/cn/2008/01/12/sas-tips-tricks%ef%bc%9a%e6%8c%89%e7%bb%84%e6%b1%82%e7%b4%af%e5%8a%a0%e5%80%bc/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9957 按组求累加值：原数据由下面给出：

data a;
    input id sum;
cards;
1 4
1 3
2 5
2 7
2 9
3 6
3 6
;

上面id分为1、2、3，要求按每组求累加值，即生成一个新变量cum，它看起来是这样的：

id    sum    cum
1     4       4
1     3       7
2     5       5
2     7      12
2     9      21
3     6       6
3     6      12

方案一：

proc sort data=a;
    by id;
run;

data b;
    set a;
    by id;

retain cum;
if first.id then cum=sum ;
        else cum=cum+sum;
run;

方案二（方案一的小改进）：

proc sort data=a;
    by id;
run;

data b;
    set a;
    by id;
    if first.id then cum=sum ;
        else cum+sum;
run;

SAS for Monte Carlo Simulations (1): Introduction

一、为什么选择SAS做蒙特卡罗模拟？

为什么要用SAS做蒙卡？首先，对我来说，我只会用SAS，而且打算用SAS完成我所有的工作。当然，其他一些通用的理由有(Fan, etc.,2002)：

1. 蒙卡是个计算密集的活，而SAS Base、SAS Macro、SAS/IML强大而灵活的编程能力能满足这一要求；
2. 做蒙卡时要用到大量的统计/数学技术，而SAS就内置了大量的统计/数学函数(在 SAS/Stat和SAS/ETS)；用Fortran或C++当然也是非常好的主意，只是他们缺少内置的统计函数，代码就要冗长复杂很多。

二、什么是蒙卡？一个启发性例子

好，开始，什么是蒙卡？了解它背景知识的最好办法当然是wiki-Monte_Carlo_method。蒙特卡罗是位于摩洛哥的一家赌场，二战时，美国Los Alamos国家实验室把它作为核裂变计算机模拟的代码名称。作为模拟方法，蒙卡以前就叫统计抽样(statistical sampling)，我们感兴趣的结果因为输入变量的不确定而不可知，但如果能依概率产生输入变量的样本，我们就可以估计到结果变量的分布。跟蒙卡对应的，还有一种模拟技术叫系统模拟，包括排队、库存等模型，这些模型都跟随时间推移而出现的事件序列有关。下面举个蒙卡的例子，来自Evans, etc.( 2001)的超级简化版。

假设一家企业，利润是其需求量的函数，需求是随机变量。为了简化讨论，假定利润就是需求的两倍。这里输入变量就是不可控的需求，结果变量就是我们感兴趣的利润。假设需求以相同的概率取10、20、30、40、50、60这六种情况。在这样的简化下，我们就可以投一枚均匀的骰子来产生需求的样本，如果点数为1，对应得需求就是10，点数为2，需求就是20，以下类推。这样，我们的模拟过程就是：

1. 投骰子；
2. 根据骰子的点数确定需求量；
3. 根据需求量，求利润。

掷10次骰子，假设我们的模拟结果如下：

重复次数	骰子点数	需求量	利润
1	5	50	100
2	3	30	60
3	3	30	60
4	6	60	120
5	1	10	20
6	3	30	60
7	4	40	40
8	5	50	100
9	2	20	20
10	5	50	50

]]> http://www.jiangtanghu.com/cn/2008/01/09/sas%e5%92%8c%e8%92%99%e7%89%b9%e5%8d%a1%e7%bd%97%e6%a8%a1%e6%8b%9f%ef%bc%881%ef%bc%89%ef%bc%9a%e5%bc%80%e7%af%87/feed/ 8 http://www.jiangtanghu.com/cn/2007/12/29/sas%e7%a8%8b%e5%ba%8f%e5%91%98%e5%bf%85%e5%a4%87%e7%9a%84%e5%8d%81%e5%a4%a7%e6%8a%80%e5%b7%a7/ http://www.jiangtanghu.com/cn/2007/12/29/sas%e7%a8%8b%e5%ba%8f%e5%91%98%e5%bf%85%e5%a4%87%e7%9a%84%e5%8d%81%e5%a4%a7%e6%8a%80%e5%b7%a7/#comments Tue, 30 Nov 1999 00:00:00 +0000 胡江堂 http://www.jiangtanghu.com/cn/?p=9955 SUGI27(2002)有一篇被广泛引用的文章，就两页纸，Doug Zirbel的10 Things Experienced SAS® Programmers Don’t Know – But Should(“SAS程序员不知道但必须知道的10件事”)，题目挺拉风，讲的是对有经验的SAS程序员的一次非正式调查，要他们列出SAS程序员需要的一些技巧。其实一共列出了22条，当然前10条是最重要的：

1. Macros—basic knowledge of macro language——对SAS宏语言的基本了解。这里作者推荐的主打文档当然是SAS Manuals中的SAS Macro language，以及SAS Guide to Macro Processing，然后还有Little SAS Book和Carpenter’s Complete Guide to the SAS Macro Language
2. Data Step—basic knowledge of data step——对SAS数据步的基本了解，参见一篇SUGI21的文章，Thomas Miron的The Secret Lift of the Data Step
3. Data file manipulation—INFILE, UPDATE, SET intricacies etc ——数据文件操作语句，如infile、update、set等
4. ODS——SAS输出传送系统(Output Delivery System)
5. Efficiency——编程效率
6. Data Step Vector—How it works——理解数据步的运行原理，参见2
7. Macros—Knowing how to write macros that write SAS programs——如何写宏语句
8. System Development Life Cycle process——这里讲软件开发流程了，作者甚至列出了Steve McConnell的代码大全(Code Complete)，在程序员中流传甚广。
9. SAS Help—How to get it——利用SAS的联机帮助文档
10. Proc Report——程序步，设计报表
11. SQL Dictionary tables—basic of retrieving SAS metadata— 用SQL语句管理数据词典（原数据，metadata），可以参见Frank C. DiIorio 和Nancy J. Michal的Data about Data: An Introduction to Dictionary Tables
12. Proc Summary/Means——程序步，汇总和均值
13. Debugging Techniques-DEBUG facility and other techniques——程序调试
14. Proc SQL——SQL语句
15. Structured programming concepts——结构化编程
16. Proc Format——格式输入语句
17. Relational Database Design——数据库设计
18. Web technology—HTML, JavaScript, SAS IntrNet, ect——网络技术，一些脚本语言
19. Your Operating System native (and other) languages—REXX, Unix scripts, VBScript, syncsort——跟操作系统相关的一些脚本语句
20. Proc Transpose——数据转置
21. Data step reports—"Data _null_" report writing——
22. SCL—SCL Functions usable in e.g.,Base SAS data steps——屏幕控制语句

上面10，或者22条，要强调的都是，SAS Base是一个好的SAS程序员需要掌握的几乎所有的东西。

data a;
    input ID sex $ count;
cards;
1 M 3
2 F 4
3 M 5
4 F 5
;
proc print data=a;
    sum count;
run;

结果显示：

Obs    ID    sex    count

 1      1     M        3
 2      2     F        4
 3      3     M        5
 4      4     F        5
                    =====
                      17

如果想按sex分组显示，则先对sex排序：

proc sort data=a;
    by sex;
run;
proc print data=a;
    sum count;
    by sex;
run;

结果显示：

——————————————— sex=F ———————————————–

                                         Obs    ID    count

                                           1     2      4
                                           2     4      5
                                         —          —–
                                         sex            9

———————————————- sex=M ———————————————–

                                         Obs    ID    count

                                           3     1       3
                                           4     3       5
                                         —          —–
                                         sex             8
                                                      =====
                                                        17

当然，你可以让结果更紧凑些，比如在proc print中的by sex下面再加一个id sex，看起来就是这样：

sex    ID    count

 F      2       4
        4       5
—          —–
 F              9

 M      1       3
        3       5
—          —–
 M              8
             =====
               17

       先说format。format影响到SAS的数据输出格式，这个我们举了个例子，输出当前时间：

data time;
x=date();
format x yymmdd8.2;
put x=;
run;

      如果没有format那行，那么SAS系统就会把当前时间输出为一个数字（因为SAS就是用数字存储日期的），format就是指定x的输出格式，以便于我们阅读。

      format是改变输出格式，而informat则是关于SAS的读入格式。举个例子，假如你的D盘有个文本数据文件informat.txt，存的是一个时间变量time，有两个观测值：

time
1998-7-10
1998-7-11

      你要是这么读入它，就会出错：

data a;
infile "d:\informat.txt" firstobs=2; 
input time;
run;

       先解释一下这段。这是一个标准的读入数据的程序，infile "d:\informat.txt"指明文件路径，后面的firstobs=2表明数据从第二行开始读入（因为第一行是变量名time）。如果是数值型的变量，这一定没问题，但这个time的格式是1998-7-11，SAS就读不了，如果不指定time的读入格式。
       规定读入格式，就要用到informat了，下面的程序就能正确读入informat.txt了：

data aa;
infile "d:\informat.txt" firstobs=2;
input time;
informat time yymmdd10.;
run;

        informat time yymmdd10.就规定了time的读入格式，SAS系统就知道它存的是时间，就读进来了。读是读进来了，但这是SAS显示的却也是数字。为了让输出我们能明白，就要用到format，改变输出格式，完整的程序如下：

 
data aaa;
infile "d:\informat.txt" firstobs=2;
input time;
informat time yymmdd10.;
format time yymmdd10.;
run;

刚不小心进入了一个佐治亚大学(the University of Georgia)的SAS邮件组，1997年初的帖子，看着也有不少人对SAS的发音感兴趣，挺好玩的，贴出来，把名字隐去，以前我们也在人大“统计之都”论坛讨论过stata和SAS的发音： 

Hi, A simple question: How should I pronounce SAS: is
it Es-A-ES of just SAS ?

提问：SAS是把它拆成三个字母单独念，还是连在一起念SAS？

It's pronounced as a single word, "sass" (rhymes with mass, pass, lass,
gas, etc.).  This goes along with the official SAS Institute position that (for
legal reasons) SAS is not an abbreviation or acronym for anything.

回帖1：认为SAS要连在一起念，念起来跟sass（顶嘴）、mass（大众）、lass（女佣）差不多。

这是因为现在SAS已经不是statistics analysis system的缩写，本身就是一个商标。

There is an economist here that always refers to SAS as Es-A-ES.
He doesn't use it -- just makes derogatory comments about it.
We kid him about his statistical package: "Yeah, but can
S-T-A-T-A do this?!?"

回帖2：讲了一个笑话。一个损贬SAS的经济学家，把SAS拆开来读成Es-A-Es。

就打趣把他用的stata（斯得他）也分开念成s-t-a-t-a

Apart from which, a British person might get confused if you used S-A-S
with a military unit of the same pronunciation! Use SASS.

回帖3：英国的SAS是皇家空军特勤处(Special Air Service)的缩写。

One syllable.  Rhymes with........mass.
Just SAS.
Most people I know pronounce it as "sass".  A few say "saz".
Nobody would know what the heck I was talking about if I
spelled out S-A-S.

Might suggest to the erudite economist that if he doesn't know how to
pronounce it then he must not know much else about it.

SAS OnlineTutor^®: Basic and Intermediate SAS^®的learning path见《SAS学习笔记：开篇》

SAS学习笔记（1）：Basic Concepts

SAS学习笔记（2）：Using the Programming Workspace

SAS学习笔记（3）:Referencing Files and Setting Options

————————————————–

General form, basic INCLUDE command: INCLUDE ‘file-specification’

where file-specification is the physical name by which the host system recognizes the file.

Because this is a command (not a SAS statement), no semicolon is used at the end.

SAS Program Structure

• begin DATA and PROC steps in column one
• indent statements within a step
• begin RUN statements in column one
• include a RUN statement after every DATA step or PROC step.

Error Types

So far, the programs that you’ve submitted in this lesson have been error-free, but programming errors do occur. SAS can detect several types of errors. The most common are

• syntax errors that occur when program statements do not conform to the rules of the SAS language
• data errors that occur when some data values are not appropriate for the SAS statements that are specified in a program.

SAS OnlineTutor^®: Basic and Intermediate SAS^®的learning path见《SAS学习笔记：开篇》

SAS学习笔记（1）：Basic Concepts

SAS学习笔记（2）：Using the Programming Workspace 

—————————————————

General form, basic LIBNAME statement: LIBNAME libref  ‘SAS-data-library‘; 

The LIBNAME statement is global, which means that the librefs remain in effect until you modify them, cancel them, or end your SAS session.Therefore, the LIBNAME statement assigns the libref for the current SAS session only. Each time you begin a SAS session, you must assign a libref to each permanent SAS data library that contains files that you want to access in that session. (Remember that Work is the default libref for a temporary SAS data library.)When you end your SAS session or delete a libref, SAS no longer has access to the files in the library. However, the contents of the library still exist on your operating system.

Remember that you can also assign a library from the SAS Explorer using the New Library window (as you did if you completed the lesson Basic Concepts ). Libraries that are created with the New Library window can be automatically assigned at startup by selecting Enable at Startup.

General form, basic PROC CONTENTS step: PROC CONTENTS DATA=SAS-file-specification NODS;RUN; 

PROC CONTENTS and PROC DATASETS overlap in terms of functionality. Generally, these two function the same:

• the CONTENTS procedure
• the CONTENTS statement in the DATASETS procedure.

PROC CONTENTS <options>;RUN;

PROC DATASETS <options>;CONTENTS <options>;QUIT;

The major difference between the CONTENTS procedure and the CONTENTS statement in PROC DATASETS is the default for libref in the DATA= option. For PROC CONTENTS, the default is either Work or User. For the CONTENTS statement, the default is the libref of the procedure input library. Notice also that PROC DATASETS is an interactive procedure that requires a QUIT statement rather than a RUN statement.  

y default, PROC CONTENTS and PROC DATASETS list variables alphabetically. To list variable names in the order of their logical position (or creation order) in the data set, you can specify the VARNUM option in PROC CONTENTS or in the CONTENTS statement in PROC DATASETS.

If you use two-digit year values in your data lines, external files, or programming statements, you should consider another important system option, the YEARCUTOFF= option. This option specifies which 100-year span is used to interpret two-digit year values.

All versions of SAS represent dates correctly from 1582 A.D. to 20,000 A.D. (Leap years, century, and fourth-century adjustments are made automatically. Leap seconds are ignored, and SAS does not adjust for Daylight Savings Time.) However, you should be aware of the YEARCUTOFF= value to ensure that you are properly interpreting two-digit years in data lines.

As with other system options, you specify the YEARCUTOFF= option in the OPTIONS statement:

     options yearcutoff=1925;

When a two-digit year value is read, SAS interprets it based on a 100-year span which starts with the YEARCUTOFF= value. The default value of YEARCUTOFF= is 1920.

However, you can override the default and change the value of YEARCUTOFF=  to the first year of another 100-year span. For example, if you specify YEARCUTOFF=1950, then the 100-year span will be from 1950 to 2049.

     options yearcutoff=1950;

Using YEARCUTOFF=1950, dates are interpreted as shown below:

Remember, the value of the YEARCUTOFF= system option affects only two-digit year values. A date value that contains a four-digit year value will be interpreted correctly even if it does not fall within the 100-year span set by the YEARCUTOFF= system option.

General form, FIRSTOBS= and OBS= options in an OPTIONS statement:

FIRSTOBS=n

OBS=n

where n is a positive integer. For FIRSTOBS=, n specifies the number of the first observation to process. For OBS=, n specifies the number of the last observation to process. By default, FIRSTOBS=1. The default value for OBS= is MAX, which is the largest signed, four-byte integer that is representable in your operating environment.

SAS学习笔记（1）：Basic Concepts

这一集没什么好看的，就是SAS的编程环境，熟悉各种窗口就是。需要清楚的是什么是Output窗口，什么是Result窗口。

The Output Window

You can create two basic types of SAS output: a listing, which is traditional SAS output, an HTML document.

In the Output window, you browse listing output from SAS programs that you submit. (You can use a browser to view HTML output.)

By default, the Output window is positioned behind the code editing and Log windows.

The Results Window

The Results window helps you navigate and manage output from SAS programs that you submit. You can view, save, and print individual items of output.

On most operating systems, the Results window is positioned behind the Explorer window and is empty until you submit a SAS program that creates output. Then the Results window moves to the front of your display.

The Results window displays separate icons for listing output and HTML output. In the example below, the first Print folder contains both types of output.

一句话，区别在于:

The Results window displays a tree view of output that is created during a SAS session. The Output window displays the output itself.

SAS Programs

A SAS program can consist of a DATA step or a PROC step or any combination of DATA and PROC steps.

DATA steps typically create or modify SAS data sets. They can also be used to produce custom-designed reports.

PROC (procedure) steps are pre-written routines that enable you to analyze and process the data in a SAS data set and to present the data in the form of a report. They sometimes create new SAS data sets that contain the results of the procedure. PROC steps can list, sort, and summarize data.

SAS programs consist of SAS statements. A SAS statement has two important characteristics:

• It usually begins with a SAS keyword.
• It always ends with a semicolon.

A DATA step begins with a DATA statement, which begins with the keyword DATA. A PROC step begins with a PROC statement, which begins with the keyword PROC.

SAS statements are free-format. This means that

• they can begin and end anywhere on a line
• one statement can continue over several lines
• several statements can be on a line.

Blanks or special characters separate "words" in a SAS statement.

DATA and PROC statements signal the beginning of a new step. When SAS encounters a subsequent DATA, PROC, or RUN statement (for DATA steps and most procedures) or a QUIT statement (for some procedures), SAS stops reading statements and executes the previous step in the program. In our sample program, each step ends with a RUN statement.

The beginning of a new step (DATA or PROC) implies the end of the previous step. Though the RUN statement is not always required between steps in a SAS program, using it can make the SAS program easier to read and debug, and it makes the SAS log easier to read.

SAS Libraries

Every SAS file is stored in a SAS library, which is a collection of SAS files. A SAS data library is the highest level of organization for information within SAS.

SAS libraries have different implementations depending on your operating environment, but a library generally corresponds to the level of organization that your host operating system uses to access and store files. In some operating environments, a library is a physical collection of files. In others, the files are only logically related.

Windows, UNIX, OpenVMS, OS/2(directory based-systems)

a group of SAS files that are stored in the same directory. Other files can be stored in the directory, but only the files that have SAS file extensions are recognized as part of the SAS data library.

CMS: a group of SAS files that have the same file type.

z/OS (OS/390): a specially formatted host data set in which only SAS files are stored.

Depending on the library name that you use when you create a file, you can store SAS files temporarily or permanently.

Storing files temporarily:  If you don’t specify a library name when you create a file (or if you specify the library name Work), the file is stored in the temporary SAS data library. When you end the session, the temporary library and all of its files are deleted.

Storing files permanently:  To store files permanently in a SAS data library, you specify a library name other than the default library name Work.

Referencing SAS Files

To reference a permanent SAS data set in your SAS programs, you use a two-level name: libref.filename. In the two-level name, libref is the name of the SAS data library that contains the file, and filename is the name of the file itself. A period separates the libref and filename.

To reference temporary SAS files, you can specify the default libref Work, a period, and the filename. For example, the two-level name Work.Test references the SAS data set named Test that is stored in the temporary SAS library Work. Alternatively, you can simply use a one-level name (the filename only) to reference a file in a temporary SAS library. When you specify a one-level name, the default libref Work is assumed.

Rules for SAS Names: SAS data set names

• can be 1 to 32 characters long
• must begin with a letter (A-Z, either uppercase or lowercase) or an underscore (_)
• can continue with any combination of numbers, letters, or underscores.

SAS Data Sets

A SAS data set is a file that consists of two parts: a descriptor portion and a data portion.

The descriptor portion of a SAS data set contains information about the data set, including

• the name of the data set
• the date and time that the data set was created
• the number of observations
• the number of variables.

The data portion of a SAS data set is a collection of data values that are arranged in a rectangular table.

Rows (called observations) in the data set are collections of data values that usually relate to a single object.

Columns (called variables) in the data set are collections of values that describe a particular characteristic.

Variable Attributes

Name: Each variable has a name that conforms to SAS naming conventions. Variable names follow exactly the same rules as SAS data set names. Like data set names, variable names

• can be 1 to 32 characters long
• must begin with a letter (A-Z, either uppercase or lowercase) or an underscore (_)
• can continue with any combination of numbers, letters, or underscores.

Type: A variable’s type is either character or numeric.

• Character variables, such as Name (shown below), can contain any values.
• Numeric variables, such as Policy and Total (shown below), can contain only numeric values (the digits 0 through 9, +, -, ., and E for scientific notation).

A variable’s type determines how missing values for a variable are displayed. In the following data set, Name and Sex are character variables, and Age and Weight are numeric variables.

• For character variables such as Name, a blank represents a missing value.
• For numeric variables such as Age, a period represents a missing value.

Length: A variable’s length (the number of bytes used to store it) is related to its type.

• Character variables can be up to 32K long. In the exa
  mple below, Name has a length of 20 characters and uses 20 bytes of storage.
• All numeric variables have a default length of 8. Numeric values (no matter how many digits they contain) are stored as floating-point numbers in 8 bytes of storage, unless you specify a different length.

Format: Formats are variable attributes that affect the way data values are written. SAS software offers a variety of character, numeric, and date and time formats. You can also create and store your own formats. To write values out using some particular form, you select the appropriate format.

For example, to display the value 1234 as $1234.00 in a report, you can use the DOLLAR8.2 format.

Informat: Whereas formats write values out using some particular form, informats read data values in certain forms into standard SAS values. Informats determine how data values are read into a SAS data set. You must use informats to read numeric values that contain letters or other special characters.

For example, the numeric value $12,345.00 contains two special characters, a dollar sign ($) and a comma (,). You can use an informat to read the value while removing the dollar sign and comma, and then store the resulting value as a standard numeric value.

Label: A variable can have a label, which consists of descriptive text up to 256 characters long.

SAS OnlineTutor^®: Basic and Intermediate SAS^® 

Introduction to SAS Programming

Basic Concepts

Using the Programming Workspace

Referencing Files and Setting Options

Editing and Debugging SAS Programs

Creating List Reports

Creating SAS Data Sets from Raw Data

Understanding DATA Step Processing  

Producing Reports

Creating and Applying User-Defined Formats

Creating Enhanced List and Summary Reports

Producing Descriptive Statistics

Producing HTML Output

Creating Tabular Reports

Enhancing HTML Tabular Reports

Producing Graphical Reports
These lessons are not suitable for use with SAS Enterprise Guide.

Creating Plots

Creating Bar and Pie Charts

Enhancing and Exporting Charts and Plots

Creating Drill-Down Graphs in HTML

Creating and Modifying SAS Data Sets

Creating and Managing Variables

Reading SAS Data Sets

Combining SAS Data Sets

Performing Queries Using PROC SQL

Transforming Data with SAS Functions

Accessing DBMS Data
This lesson is not suitable for use with SAS Enterprise Guide.

Generating Data with DO Loops

Processing Variables with Arrays

Improving Program Efficiency with Macro Variables

Reading Various Types of Raw Data

Reading Raw Data in Fixed Fields

Reading Free-Format Data

Reading Date and Time Values

Creating a Single Observation from Multiple Records

Creating Multiple Observations from a Single Record

Reading Hierarchical Files

Reading Variable-Length Records

这篇将作为五一后一个讲稿的阅读材料之一，先整出来就搁这。如果没有耐心读下去，你可以立即转到以下的参考资料，该篇所有的知识都来自它们：

1. Cody, R.F. and Smith, J.K. Applied Statistics and the SAS Programming Language,4th ed..NJ:  Prentice-Hall,1997.这书已经出第五版了，北大图书馆只有这第四版。非常容易上手的一本书，前半部分用input和datalines让读者专心做统计，后半部分从导入导出数据开始阐述SAS的通用编程语言。这本书用的是SAS8.这里我们只关注它第九章Multiple-Regression Analysis的最后Logistic Regression部分。我这篇的例子即来于此，有简化；
2. SAS OnlineDoc V8, 或者SAS OnlineDoc V9, 是要花功夫熟悉它们的结构了。以前我四处下载了数G的电子书，现在才发觉还是它们好使。体例上V8和V9一样，你找到SAS/STAT–>SAS/STAT User’s Guide–>The LOGISTIC Procedure, 就可以跟着学习了，文字都非常简明。

Logistic回归处理因变量是分类型变量如“0、1”的情形。一下就假设你至少对它模模糊糊有些印象，比如说我们用p表示正例（如输出变量为“1”）的概率，那么p/(1-p)就被称作odds ratio，对p做logit变换记做logit(p),它等于log(p/(1-p),我们回归方程的形式就如logit(p)=log(p/(1-p)=a+bx,你可以把它理解成向量形式。

假设我们有一个数据，45个观测值，四个变量，包括：

1. age（年龄，数值型）；
2. vision（视力状况，分类型，1表示好，0表示有问题）；
3. drive（驾车教育，分类型，1表示参加过驾车教育，0表示没有） 和
4. 一个分类型输出变量accident（去年是否出过事故，1表示出过事故，0表示没有）。我们的目的就是要考察前三个变量与发生事故的关系。

为了保持程序的可读性，以下我就直接在代码中一行一行敲入数据，在实际工作中，超过20个观测值的数据就要写程序导入了。另外，/*   */之间的语句都是注释，SAS运行时会把它们忽略掉：

—————————————————————————————————————————-

/*

前三行，首先data步，建立一个叫logistic的临时数据集，它在work临时文件夹里。一般推荐用记事本把程序保存起来；input语句表示一下是几个变量；从datalines开始就一行一行输入数据，每个单独的数据之间用空格隔开，每个观测值各占一行。需要注意的是，datalines和下面的数据之间不要有空行，否则SAS会认为出现了一个缺失值。数据输入完毕，以分号结束，这个分号一定要另起一行。

*/

data logistic;
    input accident age vision drive;
datalines;
1 17 1 1
1 44 0 0
1 48 1 0
1 55 0 0
1 75 1 1
0 35 0 1
0 42 1 1
0 57 0 0
0 28 0 1
0 20 0 1
0 38 1 0
0 45 0 1
0 47 1 1
0 52 0 0
0 55 0 1
1 68 1 0
1 18 1 0
1 68 0 0
1 48 1 1
1 17 0 0
1 70 1 1
1 72 1 0
1 35 0 1
1 19 1 0
1 62 1 0
0 39 1 1
0 40 1 1
0 55 0 0
0 68 0 1
0 25 1 0
0 17 0 0
0 45 0 1
0 44 0 1
0 67 0 0
0 55 0 1
1 61 1 0
1 19 1 0
1 69 0 0
1 23 1 1
1 19 0 0
1 72 1 1
1 74 1 0
1 31 0 1
1 16 1 0
1 61 1 0
;

/*

以下两行我们不妨称作过程步甲。过程步以proc开头，加上要实现功能的名字，这里是logistics，接下来是要引用的数据。值得注意的是那个desending选项。SAS的Logistic回归方程log(odds)默认的形式是处理那个变量值比较小的，这里是accident=0，但我们要考察的是发生事故accident=1的情况，加上desending降序排列，它就处理accident=1的log(odds)了。再model引导的就是回归方程的形式，写成“因变量=自变量1    自变量2   自变量3”的样子。最后以run结束语句，与proc对应。

*/

proc logistic data=logistic descending;
     model accident=age vision drive; run;

/*

运行以上程序，就要跑出一大堆结果了。但在处理多元回归时，语句很难得会只像过程步甲一样简洁。以下过程步乙只加入一个变量选择选项forward。SAS在处理自变量选择上采用了5个技术，这里只简单提一下3个常用的技术。

1.forward——前向选择，变量一个个进入回归方程，按照一些卡方标准，最显著的也就是最好的变量最先进入，然后就是次最好的，以此类推。某个变量一旦进入，就不再退出；

2.backward——后向剔除，一开始全部变量都进入回归方程，又按照一些标准，把最不好的变量一一剔除；

3.stepwise——逐步回归，这个跟forward有些类似，不同的是，stepwise在变量进入以后还有一个backward后向剔除的过程，而在forward里，变量一旦进入，就不再退出。

*/ 

proc logistic data=logistic descending;
   model accident=age vision drive  /
                selection=forward;run;

—————————————————————————————————————————-

用上面这个过程步乙替代过程步甲，再运行一遍。这两个过程步的输出结果大同小异，只是过程步乙多了个forward选项。以下用的是过程步乙的输出结果，其中黑体字是输出结果本身，我做的注释语句以红笔描出,包括数字编号。 

                 (1)  The SAS System 10:47 Tuesday, May 4, 2007 1

                             The LOGISTIC Procedure

                               Model Information

Data Set                                         WORK.LOGISTIC
Response Variable                          accident
Number of Response Levels            2
Number of Observations                 45
Model                                              binary logit
Optimization Technique                 Fisher’s scoring

                             Response Profile                                     
Ordered  Value     accident          Total Frequency

       1                        1                             25
       2                        0                             20

Probability modeled
is accident=1.

(1) 给出了本模型的基本信息，意思大多自明。需要注意的是Response Profile 中，accident=1排在首位。前面我们说过，SAS的Logistic回归方程log(odds)默认的形式是处理那个变量值比较小的，加上descending选项后，accident=1就排在首位了。

                      (2)   Forward Selection Procedure

Step 0. Intercept entered:

                          Model Convergence Status

Convergence criterion (GCONV=1E-8) satisfied.

                          Residual Chi-Square Test

Chi-Square              DF                Pr > ChiSq

  10.7057                   3                     0.0134

Step 1. Effect vision entered:

                              Model Convergence Status

Convergence criterion (GCONV=1E-8) satisfied. 
                               Model Fit Statistics                                               
Criterion     Intercept Only     Intercept and Covariates
AIC                 63.827                   59.244
SC                   65.633                   62.857
-2 Log L           61.827                  55.244

                       Testing Global Null Hypothesis: BETA=0
Test                       Chi-Square    DF    Pr > ChiSq
Likelihood Ratio      6.5830         1         0.0103
Score                       6.4209         1         0.0113
Wald                        6.0756         1         0.0137

                       Residual Chi-Square Test
Chi-Square            DF      Pr > ChiSq
      4.9818              2         0.0828

Step 2. Effect drive entered:
                     Model Convergence Status
                  Convergence criterion (GCONV=1E-8) satisfied.                      

                         Model Fit Statistics
Criterion      Intercept Only     Intercept and Covariates
AIC                  63.827                     56.287
SC                   65.633                     61.707
-2 Log L           61.827                     50.287

                 Testing Global Null Hypothesis: BETA=0
Test                        Chi-Square     DF   Pr > ChiSq
Likelihood Ratio         11.5391        2      0.0031
Score                          10.5976        2      0.0050
Wald                            8.5949         2      0.0136
             

                 Residual Chi-Square Test
Chi-Square     DF   Pr > ChiSq
     0.1293        1     0.7191

NOTE: No (additional) effects met the 0.05 significance level for entry into the model.

(2) 给出了自变量进入模型的次序。先是截距项Step 0了，不管它。Step 1 vision第一个进入模型，附带了很多评估它对因变量预测能力的指标。-2 Log L 和Score 用来检测自变量是否显著。-2 Log L中的L就是Likelihood Ratio，它的p值是0.0103，Score  的p值是0.0113，都小于0.05，故vision是一个很显著的解释变量。还有，AIC(Akaike Information Criterion)和SC(Schwarz Criterion)两个信息量标准用来比较不同的模型，它们数值越小，模型变现就越好，这个接下来我们看step2 drive变量进入模型后的情况。 我们可以看到模型的表现变好了，因为这是AIC和SC的值变小了，-2 Log L 和Score对应的p值也更小。

                (3)   Summary of Forward Selection
Step    Effect Entered        DF      Number In      Score Chi-Square        Pr > ChiSq
1            vision                    1           1                      6.4209                        0.0113
2            drive                     1            2                     4.8680                         0.0274

 (3) 总结了我们模型使用的前向选择方法，包括自变量进入模型的次序，以及每个自变量的卡方值和p值。

                    (4) Analysis of Maximum Likelihood Estimates
Parameter   DF   Estimate    Standard Error  Wald Chi-Square   Pr > ChiSq
Intercept     1      0.1110               0.5457           0.0414                 0.8389
vision           1      1.7137               0.7049           5.9113                 0.0150
drive            1     -1.5000               0.7037           4.5440                 0.0330

(4) 给出了模型参数的估计，据此可以写出改回归方程的形式是log(odds of having an accident)=log(p/(1-p))=0.1110+1.7137*vision-1.5000*drive。我们知道，odds=p/(1-p),有p=odds/(1+odds)。假设有个哥们，视力没问题但没有受过驾车教育（vision=0,drive=0），代入方程，有log(odds)=0.1110，再odds=exp(0.110)=1.1174，p=1.1174/2.1174=0.5277，即我们说这人发生事故的概率为0.5277；又另一个，视力有问题同样没受过驾车教育（vision=1,drive=0），同样的步骤得log(odds)=1.8249，odds=exp(1.8249)=6.2022，p=6.2022/7.2022=0.8612，即这人发生事故的概率为0.8612（视力多重要）。

                 (5) Odds Ratio Estimates
Effect       Point Estimate               95% Wald Confidence Limits
vision            5.550
                               1.394           22.093
drive             0.223                               0.056            0.886

 (5) 是对比率Odds Ratio的估计。这里对vision的odds ratio的点估是 5.550 ，这个比率由odds(having an accident|vision=1,drive=0)比odds(having an accident|vision=0,drive=0)得来，根据(4) 的计算，就是6.2022/1.1174=5.550.还有，对vision来说，95% 的置信区间不包括1，说明vision是一个非常显著的解释变量（比率的置信区间不包括1，就跟p值小于0.05一样是一个规则）。

                 (6) Association of Predicted Probabilities and Observed Responses
Percent Concordant             67.2               Somers’ D 0.532
Percent Discordant              14.0               Gamma 0.655
Percent Tied                        18.8                Tau-a 0.269
Pairs                                     500                  c 0.766

(6) 这个东西就有些复杂,大概说些预测概率与观测道德因变量间的关联性，我们看到一致性比率Percent Concordant 为67.2 %，不一致性比率Percent Discordant 为14.0%，说明预测值与观测值在现有水平上有较强的关联性,回归模型有很强的预测能力。

最后注意到，上面我们用过程步乙得出的输出结果没有age这个自变量，用过程步甲得出的输出有，这不是因为年龄在这个预测模型中不重要，而是上面以数值型面目出现的年龄在是否出现事故的两组人中分布不均匀，为了解决这个问题，把年龄分组就是，不多说了。

1. 第一个当然是F9，它能显示所有的SAS快捷键；一个可以替代的SAS 命令栏命令是keys。这个命令栏就是SAS 视窗左上角那个小框，在菜单栏下面那个，不是SAS的程序编辑器Editor；
2. 提到命令框，第2个快捷键就是F11。比如说你在Editor下写程序，想要显示每条程序的行号，摁下F11就可以跳到命令框，敲入nums，回车，就回到你当前的编辑器里；
3. 当然你还可以在程序编辑器Editor里加一个命令框：Tools——Options——Preferences——View，找到Command line钩上就是。这样在你的Editor上面就会出现一个Command ===>,这里你可以像在命令框一样敲入一些小命令，比如bye就退出系统。对这个Command line，一个类似命令框的F11的快捷键是home，它可以在Command line和Editor之间来回切换。比较一下，命令框的好处就是它能自动记下你敲入的每条命令，以后你敲入一个字母它就能够自动补齐，Command line没有记忆功能，它的好处就是，它就在你的编辑器里；
4. 返回键backspace：比如说你在Libraries一路点开，backspace可以一路返回；
5. 接下来是一组连贯的快捷键（F3到F7）：
   • F5回到你的程序编辑器Editor；
   • 写好程序后，摁F3提交运行；
   • F6查看Log；
   • F7查看结果Output；
   • 如果你在编辑器里删了些东西，F4可以追回整段的代码（recall）。   
6. 一些组合键可以在第二阶段再熟悉，但一些在Windows下通用的快捷键还是很有价值，如home回到一行的开始，end回到一行的末尾，Ctrl+Home回到整篇的开始，Ctrl+end回到整篇的末尾，摁下Shift不方再用上下左右键选中你感兴趣的内容。

总结一下，这里介绍了：

• F9, keys
• F11, nums, bye; home (for Command line)
• backspace
• F5, F3, F6, F7, F4
• home, end, Ctrl+Home, Ctrl+end, Shift+上下左右键

我去年月底订的这本书，就一直用这本书学SAS和金融数据分析了。以下我就从个人角度说说我为什么要买这本书（我从学校图书馆借了几本有关SAS的书，而且电脑里已经存了上G的电子书——现在是越来越难得买纸书了）。首先一个问题是：

1.我为什么要学SAS？

我念的专业是金融信息工程。上个学期选的一门课叫《信用卡业务与系统》，老师多有强调SAS在信用评分模型开发方面的作用——他说在这个领域，SAS是唯一的语言。的确，在金融数据分析这个行业，SAS软件是无可动摇的老大。当然，SAS称雄的领域不止在我们金融行业，这本书的作者朱世武老师也说：“目前，在具有工业用途的三个统计分析软件SAS,S-Plus和SPSS中，SAS是最好的。”现在SAS认证是最具影响力的国际专业认证之一，在欧美等国家的职场上流行这样一句话:“如果拥有SAS认证，你将永远不会失去你的工作”(“If you have a SAS certification, You will never lose your job”)。
当然，SAS不止是一个统计软件，它已经发展成为一个大型的商业智能（BI）平台。今年春季学期我要选的两门数据仓库和数据挖掘课程，SAS的一个组件Enterprise Miner是最流行的数据挖掘工具之一，和IBM的DB2 Intelligent Miner、微软的Microsoft SQL Server 2005 Data Mining以及SPSS Clementine等齐名，而且SAS公司一直是数据仓库的引导者。这扯远了，主要说说第二个问题：

2.我为什么要买这本书?

现在市场上不乏SAS的教科书,我觉得朱老师这本书的好处是（在买之前就多方比较啦）：

1）它是目前唯一本以金融数据为导向的SAS入门与提高型中文教材。这本书中的数据全部来自真实的金融业务，在学习时能有意无意培养我们对金融数据的敏感；最后两章还提供了金融资产收益和固定收入证券的SAS建模与计算；另外，这本书还详细介绍了SAS与当前通用的金融数据库如Reuter的使用接口。我一位在上海教统计的朋友说过：学SAS，金融首选朱世武。说的就是这本（朱老师还有一本高级教程《基于SAS系统的金融计算》，可以看作本书的后续教程）；

2）它强调SAS编程而不仅仅是一般的SAS统计计算。市面上的SAS教科书——据我在我们北大图书馆和中关村几家书店翻书得来的观察，几乎都是从统计方面介绍SAS的应用，只有一个台湾作者王惠群写的一本叫《SAS程序设计》（这书我借过，公开场合，与人为善，我不发表评论，只是我没有买它就是）。从统计角度写SAS，好处就是上手快，照着几个模版就能用，但是不能培养良好的编程习惯，不能够举一反三。除了统计分析，这本书更多的强调SAS语言的数据访问、管理、展现以及应用开发等功能——这些才是SAS语言编程的基础，数据统计分析只是一个应用而已，学了基础很容易掌握。前面说过，SAS是一套大型的商业智能系统，它的功能不仅仅是统计分析（当然，SAS是靠统计分析起家）；

3）最后一个不回答我为什要买这本书，而是要说买之后很庆幸没买错。本书的随书光盘提供了本书的全部应用数据和相关程序。上机调试，修改几处明显的文字错误，都一一可行。完整的数据还有实际可行的程序，对初学者培养信心影响很大。

当然，最后还有一个问题：为什么要买书，买纸书？SAS的电子文档有很多，可以说是太多啦。很多SAS初学者（像我一开始）容易犯的一个错误就是四处在网上搜罗各种电子文档，觉得所有的教程存在电脑才踏实，可就是没用多少时间认认真真在键盘上敲程序。一本好的入门书，就像这本，除了可以随时备查，还可以让你安静下来，坐在机器前实实在在学些东西， 基础有了，看各种电子文档就轻松了。在SAS中国的主页上，就特别推荐了朱老师这本书。