唐中和三年（883年）始建。當(dāng)時(shí)有一天竺（古印度）麻衣和尚由四川東下至黃山， 在此定居結(jié)茅，自組織麻為衣，挖蕨根、采野果為食，趺坐誦經(jīng)。當(dāng)?shù)厣矫駷槠渖w寺一座，名“麻衣道場(chǎng)”。南唐保大五年（947年）李璟敕賜“翠微寺”寺額，寺亦易名。該寺附近有與麻衣和尚有關(guān)的“麻衣洞”、“麻衣臺(tái)”、“錫杖泉”、“麻衣塔”等。麻衣洞是其起初居住的石洞；麻衣臺(tái)是其佇高念佛號(hào)的石臺(tái)；錫杖泉傳為其用錫杖點(diǎn)地而涌之泉；麻衣塔是其舍利寶塔。翠微寺歷史上著名僧人還有兩峰祖師、凡空禪師、超綱方丈等。     
    翠微寺自建寺以來(lái)毀建數(shù)次，清朝時(shí)曾在心空法師主持下重建。1985年，該寺進(jìn)行了一次大規(guī)模修整。翠微寺現(xiàn)存佛教建筑為一小型院落，前有山門，中有殿堂，后為僧舍。其中大殿為清朝所建，系仿唐風(fēng)格。其余建筑為改革開(kāi)放后重修。寺院所處環(huán)境清幽別致，寺周有翠微洞、青牛溪、探水石、袈裟地等勝跡。另外還有僧人墓塔20座，較古老的是普同塔，塔主為雨峰祖師；唐、元、明、清時(shí)代各類碑記20塊；珍藏佛經(jīng)數(shù)十部。并自緬甸化緣來(lái)千尊玉佛，其中最大的一尊臥佛重達(dá)15噸。寺中還藏有《大藏經(jīng)》兩部，并發(fā)現(xiàn)有舍利子。
    翠微寺也是黃山唯一有和尚的寺廟。