二祖庵位于少林寺旅游景点常住院对面的钵盂峰顶。因庵与其北的初祖庵相对，故当地人称之为“南庵”。

它是少林地区地势最高的一座古建筑。据旧志载，相传禅宗二祖慧可立雪断臂后到钵盂峰顶养伤修炼，后寺僧为纪念二祖慧可而建此庵。庵创建的年代大致和初祖庵同时，为北宋后期。

 二祖庵坐北向南，长34米，宽28.5米。它原是一座完整的四合院，前有山门，东西有配殿，北有正殿。山门内供韦驮，亦称韦驮殿；西配殿内供紧那罗，亦称紧那罗殿；东配殿内供菩萨，亦称菩萨殿。山门及东西配殿早已毁，仅存正殿。正殿名二祖殿，为硬山式建筑，面阔三间，前檐下有明柱两根。在庵内边的断崖上还有“养膀台”遗迹。因为这里是二祖慧歌舞“经行处”、“觅心台”、所以史书称为“炼魔台”。庵内现有殿房3间，明、清碑碣数通,殿前古柏3株，庭院四角有水井4眼,就是有名的“卓 锡泉”.庵院周围有唐万岁登封元年（696年）以后的砖塔三座今存殿堂应为明嘉靖四十四年重修留下的殿堂。殿内供二祖慧可塑像。二祖庵在明嘉靖、万历、天启、崇祯及清康熙、道光时曾修。

1988年，又重修二祖庵大殿，1990年又在原山门处建门庭式简易门一座，并重建了围墙。