南台寺在大福严寺左下侧两华里，坐落瑞应峰下。梁天监年间（502-419）、海印和尚草创此寺，初名“南寺”，后改名南台寺。现寺后有一处摩崖石刻，三个径大二尺的横额大字：“南台寺”，两旁直额小字，左“梁天监中”，右“沙门海印”。唐天宝2年（743），希迁和尚自江西青原山来南岳，结庵寺东大石上，故称为石头和尚。自后，大阐宗风，南台寺也因而得到不断的扩建，至宋时，也成为南岳一座规模迥阔的佛寺。其后南台寺一度沦为荒扯，至明宏治年间（1188-1505），无碍和尚自信阳来此，始募捐修复，建佛堂五楹，堂前为天霁阁，堂左右及后崖上为僧舍。后来，无碍弟子明通又增建天王殿，并率僧众垦山开田，植松杉干余株，衣食自给。清乾隆年间，寺宇又因年处失修，全部倒塌。寺僧乘机分割寺产，各于南岳庙之西翼另建庵曰：“新南台寺”、“老南台寺”，自称南台嫡系正宗。清末，祝圣寺主持淡云和尚与其徒妙见，见新老南台真伪并出“互相争利，有辱佛门”。决心重振南台，光绪16年（1890），他找到南台寺旧址，并在旧址山麓找到石头和尚的墓塔，于是募捐1.8万余贯，在原址上重建南台寺。重建工程从光绪25年（1899）动工，历时5年，全部竣工。寺宇宏大，超过历代规模，分为四进两厢：一进为山门，书有“古南台寺”匾额：二进为弥陀殿，三进为大雄宝殿，四进为说法堂、祖堂、云水堂。两厢各有斋堂、禅堂、客房等。大小房共100余间，并置田租600余石，以赡僧众。并将海印的“南台寺”凿以翻新，又从芳草中找到“南台禅寺”碑和希迁的《参同契》石刻，安放于寺内。文革中，寺舍一度为林场使用。1984年发还佛教协会管理。

南台寺自石头和尚希迁驻锡后，他的弟子们先后创立“曹洞宗”、“云门宗”、“法眼宗”。三大宗影响几遍全国，因此各地三大支派的佛门弟子，都奉南台寺为“祖庭”，并称之为“天下法源”。南宋时，日本僧人道元来中国求法，受戒于曹洞宗十三代孙如静。因此，到今的日本的曹洞宗一派僧人，一直视南台寺为“祖庭”，礼石头和尚为祖师。清末，日本曹洞宗法脉高僧水野梅晓（号六休上人），为石头和尚第四十二代法孙，于光绪29年（1903）来南台寺朝礼祖塔。当时适值重建南台寺工程正在进行，梅晓许诺赠南台寺大藏经，以作重建纪念。四年后（1907），梅晓又率领一个日本佛教礼祖代表团来到南台寺，并带来铁板眼《大藏经》全部5700余卷，贝叶佛像32张，赠与南台寺。当时曾举行赠经法会，著名学者湘潭王闿运撰有《日本僧赠南台寺藏经记》一文，刻碑于寺（藏经与碑文俱毁于文革中）。1929年灵涛法师创办“南岳佛学研究所”于南台寺，以培育佛学弟子。民国20年（1931）5月，善根、悟真、笃慧等和尚又继续在此举办“佛学讲习所”，时主持教务都为寄缘法师。新中国成立后，文化大革命，南台寺内佛像、文物全部被毁，直到1979年中共十一届三中全会后，南台寺始逐步恢复。1981年旅居泰国华侨黄彰任、欧阳愚捐赠铜佛像一尊、供在大殿，为古刹增艳。1985年，宝昙和尚率众僧移锡南台寺，先后新建了指乘佛塔、山门、重修功德堂、药师殿、观音殿、藏经楼、库房、方丈室等，并新塑佛像40余尊。

 

1987年11月18日（农历9月29日）药师佛涨辰节日，南台寺举行了盛大的佛像开光法会和宝昙方丈升座仪式。同年，南台寺被定为省级重点文物保护单位。

1989年5月,台湾省台北嵩山寺方丈灵根法师赠送南台寺《大藏经》一部和现代佛学著作1117册。1992年，台湾省和尚心禅、体正、道愿等资助，举行弘演毗尼传授三坊大戒。

南台寺周围，树木阴翳，环境清幽，寺侧盘山公路可通魔镜台、半山亭、靠寺一段公路平坦，两旁佳树葱笼，浓荫夹道。寺前一片竹林，修篁高耸，迎风簌簌。林内有僧尼墓群，寺下有百步云梯，过去便是西线登山大路，云梯凿在一块山墈石壁上，有许多古代石刻，周围松杉摇翠，花草拂 ，是南台寺前一大景观。是城市乡村旅游的好出处.