临济寺最早建于东魏孝静帝兴和二年（540 年），原称为临济院。唐大中八年（854 年），义玄和尚受戒于黄檗希运禅师后，来到此寺作住持，并创立临济宗，这里也成为中国佛教禅宗临济一派的发祥地。
寺内的澄灵塔是临济宗创始人义玄禅师的舍利塔，始建于唐咸通八年（867 年），为八角九级密檐式实心砖塔，高 30.47 米。该塔造型挺拔峻秀，雕饰华丽，被梁思成先生誉为“清晰秀丽，塔中之上品”。临济寺是世界上最早的佛教临济宗道场，也是世界临济宗的祖庭。