東岳山廟建于清代乾隆五十三年(1788年),并于道光三年(1823年)修過一次。抗戰(zhàn)期間,臨浦淪陷為敵占區(qū),1942年俞繼鵬部隊打游擊時,從寺廟后攻山時,放火燒了。1945年抗戰(zhàn)勝利后,有人發(fā)起重建。