云麓宫最早建于1478年（明宪宗成化十四年），吉简王朱见浚就藩于长沙时，建筑取宫殿形制，但旧宫早已废记。嘉靖（1522－1566）年间太守孙复命道士李可经主持修葺，并增植松、柏、桐、梓及篁竹千株，使观宇周围风景焕然一新。隆庆（1567－1572）年间，又有道士金守分在这里修炼，由他募捐拓地，增建堂殿，改名云麓宫，筑屋五间，凿石为柱，覆以铁瓦，以抗风雪。宫的前殿为关圣殿，中殿祀玄帝，名玄武祖师殿，后殿祀“三清”。道教以玉清元始天尊、上清灵宝天尊、太清道德天尊（太上老君）为最高尊神，合体三清，故名三清殿。云麓宫由此成为道教胜地。道家崇尚自森，倡行“无为而治”，总是选择清静优美之处建立宫观，修身养性，采药炼丹，以求得道成仙，并将这些地方视作神仙的居所，由此形成了著名的十大洞天、三十六小洞天和七十二福地。而四周峰峦耸峙、石骨盘迂、树竹青翠的云麓宫就是其中的第二十三福地——“洞真虚福地”。

 
    清康熙（1662－1722）初年，长沙分巡道张重新修葺了云麓宫，以后续有增建。1862年（同治元年）于门前筑一小亭，亭外又增五岳、天妃二殿。以前宫门有一副对联：“古刹出层宵，看岳色平分，江流环绕；名山多胜迹，有少陵写句，北海题碑。”对联的上联写了云麓宫的宏伟，似乎超出云霄之上，在此可以近看岳麓山色，远眺湘江环流；下联描述云麓宫所在的岳麓山有许多历史胜迹，杜甫在这里留下了诗句，李邕题撰了著名碑刻。

 
    在云麓宫内有望湘亭，亭在拜岳石上，是清道光（1821－1850）年间修建的。凭栏远望，湘江与长沙城区尽收眼底，可以领略“直登云麓三干丈，来看长沙百万家”的壮阔景色。云麓宫内楹联很多，都出自名家手笔。其中清人黄道让所题“西南云气来衡岳，日夜江声下洞庭”抓住了云麓宫壮阔的特色，气魄宏伟，对仗工整，字迹道劲，素为游人喜爱和吟诵。

    云麓宫具有的美景胜迹，吸引了无数文人墨客来此游玩题咏，可惜大多因年代久远，历经战乱而已无法见到。古代诗词中，现今尚能见到的有明末清初长沙人廖元度的《宿云麓宫》，诗云：“林深宵空重，一梳对灯青。月色如秋瘦，虫声触梦醒”。抒发了作者在朝代更迭的乱世，无家可归寄居庙观，夜晚寂寞独对孤灯，痛惜国亡家破的情感。清代还有一首由岳麓书院肄业生、溆浦人严正基所撰的《夜登云麓宫》：“云麓峰巅足眠，征衫扰带五溪烟。当头华月三千里，弹指东风念四年。螟色暗投游屐外，松涛请到杵钟边。故园计买青山宅，便与人间作散仙。”
    诗中除描写了云麓宫所在山峰的险峻、视野的辽阔和月光、松涛等自然景色外，还联系到云麓宫是道教名观，表达了诗人想在此买宅居住，以作人间神仙的愿望。这也是众多游人到云麓宫后都会产生的联想。