早在1912年3月孙中山担任南京临时政府大总统时，曾到钟山(又称紫金山)游览，笑着对左右说:“待我他日辞世后，愿向国民乞此抔土，以安置躯壳尔。”他在临终前，又提出“吾死之后，可葬于南京紫金山，因南京为临时政府成立之地，所以不可忘辛亥革命也。”因此孙中山的葬礼刚刚结束，林森就马上前往南京紫金山，勘察具体位置，构想初步方案，准备向宋庆龄、孙科等孙中山家属提出初步建议。当紫金山墓址选定后，开始了筹建工作。由于当时南京还处在孙传芳的控制下，“总理葬事筹备委员会”不得不设在上海。

　　随着北伐军节节胜利，1927年4月17日，总理葬事筹委会决定从上海迁往南京。9月上旬，林森也结束隐居生活，回到南京投身于中山陵的建设中。林森担任主持工程工作的常委，并兼任陵园计划委员会委员，负责陵园的整体规划工作。为工作方便起见，林森特地在钟山脚下盖了一栋茅屋作为别墅，名曰“廷庐”，自称为“钟山陵户”，吃住均在“廷庐”内。他还请福州老朋友林泽人刻制一对“廷庐”和“钟山陵户”的寿山石印章以自娱。

　　鉴于中山陵若限于2000亩的狭小范围难以发展，林森提议:将整个紫金山划入陵园范围，统筹规划，建成一片宏伟的纪念性陵园。在全山植树造林，陵墓附近培植观赏性的四季花木，如桂、梅、李、杏、枫、梨等等。

　　中山陵建筑过程中，林森多次来到工地了解工程的进展情况，解决碰到的问题。承包中山陵第一部工程的上海姚新记营厂厂造主姚锡丹，在施工中遇到困难，常常从上海乘夜车赶到南京，第二天清晨谒见林森。二人共进早餐，在餐桌上研究决定处理办法。中山陵里有些建筑项目，林森亲自催办，始终不懈、极其细致。如中山陵灵堂前的一对华表，轴线上主体建筑物大牌坊、平台前古铜鼎石座，就是林森亲自通过他的一位族侄，向福州著名的蒋源成石刻铺定做的。尤其是两座华表，林森要求雕成“醒狮”形象，体现出“顶天立地、继往开来”的气概。华表雕刻完毕，由福州运往南京时，林森多次从南京发电到福州，询问华表的装运情况，再三叮嘱经办人要特别小心谨慎。经办人遵照他的嘱咐，雇请了16名身强力壮的杠夫，慢步抬运，并选在晚上搬运，以免白天车多人挤而碰损。华表顺利运到福州的台江码头，再由码头抬上驳船，一路精心照料，终于运到中山陵。1928年底，中山陵主体工程基本建成。1928年10月28日，林森主持“总理葬事筹备委员会”第62次会议，“提议筹备奉安事项”，提出恭迎孙中山灵榇南下的方案，提请国民党中央及国民政府批准。11月9日，国民政府发布第51号训令，特派林森、郑洪年、吴铁城为“迎榇专员”，携带美式铜棺前往北京准备迎接孙中山灵榇南下安葬。

　　林森受命后，即于12月20日启程北上，23日凌晨1时10分到达北平，虽然是隆冬的深夜，但前来欢迎者途为之塞。林森一行驶赴预定的北魏胡同17号办事处。上午林森就到西山碧云寺谒灵，让人当场开棺，亲自验看，反复翔视。见中山先生遗体容颜清洁，衣履新整，完好无恙，林森百感交集，抚今追昔，不禁老泪纵横，痛哭失声。

　　谒灵后，林森带领大家视察寺外周围道路环境。如桥梁之修补、丘陵之平治、瓦砾之剔除、榛莽之芟夷，都一一进行筹划，以备日后迎榇。

　　次日，特派迎榇专员办事处在北魏胡同17号部署就绪，正式办公。办事处设秘书1人，副官4人，书记2人；又分总务、交通、设置、司仪、纠仪5股，立即开展移灵的各项准备工作。林森等3专员经协商，拟定了迎榇准备工作的办事方针:“一、应负责任事；二、办事须有条理；三、应极力撙节经费”，并以谈话会的形式，让全体职员认真理解、切实贯彻。此外，还有不少同志出于对中山先生的敬仰，志愿前来帮忙。如“湖北印花局长林玉衡同志，自备资斧，先期由鄂来平，助理诸务。”

　　林森从移灵路线的勘察到特制灵车的试行，都深入现场，身体力行；从移灵程序的各个环节到杠夫服饰的颜色、式样，他都殚精竭虑、筹划周密，确保万无一失。他还把筹备工作的计划预案及时向有关部门及其负责人通报，以征询意见并请配合与支持。例如，他将“总理灵榇奉移时期路线、警戒、行列次序约31条”函告当时河北省主席商震。而商震的复函则称:“恭阅总理灵榇奉移秩序及送殡行列，均极周备，无可增修之处”，并对迎榇办事处的请求一一照办，对林森他们的工作给予充分肯定和全力支持。

　　迎榇工作的经费虽然有保障，但林森也决不大手大脚、慷慨花钱。经过实地勘察，林森精确算出在北平灵榇奉移的路线有48华里，“如拟用汽车奉灵，须将碧云寺至西车站沿途马路大修，用款甚巨，且为期已迫，必难办到。今为敬谨护送总理遗体，力求安全妥善起见，决定用杠夫缓步迟行……森等以除汰铺张陋习，仍不失尊重严肃为主旨”。既节省了开支，又有传统葬礼的严肃庄重。孙中山的奉安大典原定是1929年3月12日，后来因故改为6月1日。因此，北京办事处需延长两个半月，而办事处每月开销约4500元。林森建议让部分职员暂时撤回南京，“缩小办事处范围，每月约可减去2000元”，为国家节省开支。迎榇办事处对于“每月经常支出决表项，职员、差弁、公役薪金工资表，奉移用品及陈设灵堂用具各种账目单据，补贴浮摊收据存根，并北平杠务合同等项，呈缴国民政府查核备案外，相应将各项开支账目开列表册，备函送达查照。”北平办事处的工作，“计5个月零20天，合共支银47252元7角6分3厘”，收支相抵，“尚存现银2747元2角3分7厘”。

　　林森对奉安纪念工作还别出心裁，他建议中央政府通饬全国党政军学各机关及农工商各团体，并由外交部咨会国际来宾，凡参与葬事典礼人员，务须携带其“本国本乡所产树秧一、二种，每种2本至4本，统祈送交特设事务所之林务专员汇存。俾得分别种类，限期栽种。其有贵重或珍异名材，尤应加意培植，精心爱护，庶几蔚成大观，永留纪念”。这个建议，很快就获得国民政府的采纳并下令施行。

　　国民党中央利用孙中山奉安大典，开展了声势浩大宣传工作，组织了南下北上两组迎榇宣传列车，沿途每到一站，就停下来宣传，有的还开迎榇纪念大会，放映有关孙中山革命活动的影片，演出文艺节目。

　　迎榇宣传列车于5月21日到达北京，第二天在北京社稷坛举行迎榇宣传大会，随后在西山碧云寺举行孙中山遗体易棺仪式。将孙中山衣物以及换下来的楠木棺封入西山碧云寺石塔，作为衣冠冢。

　　5月26日凌晨1时，孙中山灵榇移出碧云寺，在30多万人的护送下，步行近15个小时，两次鸣礼炮101响，灵榇所到之处，民众自动脱帽，肃立致敬。从上午7时到下午5时，全市所有工厂每10分钟长鸣一次汽笛，表达对孙中山的敬意。下午3点15分，灵榇到达前门东车站，移上灵车，5时从前门火车站启程南下。宋庆龄、孙科和林森等迎榇专员也随车南下。

　　林森还为孙中山的易棺、移灵、起灵三项工作专门撰写文章三篇。

　　28日，灵榇到达南京。随后在国民党中央党部举行了3天的公祭活动，林森参加守灵。31日下午6点举行了封棺典礼。

　　6月1日，奉安大典隆重举行，林森参加执绋步行护灵上山。南京全市万人空巷，参加葬礼。当灵榇奉安进入墓穴时，鸣礼炮101响，民众一律停止工作，默哀3分钟，向孙中山表示崇高敬意。

　　拾　遗

　　奉安大典结束后，总理葬事筹委会撤销，代之以总理陵园管理委员会，由蒋介石、胡汉民、蔡元培、于右任、林森、宋子文、孔祥熙等为委员。林森还担任常务委员兼总理陵园园林设计委员会主任委员，继续致力于中山陵后期工程建设。即使他担任国府主席后，也依然关注着陵园的建设，事无巨细都亲自过问。中山陵中的藏经楼(今已成为孙中山纪念馆)、音乐台、仰止亭、流徽榭等附属建筑，都凝聚着他的心血。本来，他与园林设计委员会的专家还拟定了一个宏伟的规划，还要在陵园内建造博物馆、图书馆、纪念塔、纪念馆、运动场、艺术馆、动物园、植物园、山南山北公园等等，要把陵园建成全国自然公园的模范。由于经费紧张，加上战乱，因此这些规划未能成为现实。