冲虚古观于东晋咸和二年(公元327年)由江苏句容县人葛洪所创建，此观是他当年在罗浮山开创的东、南、西、北四座庵堂的南庵，距今已有1670多年历史。而我们现在看到的冲虚古观于清朝同治年间重新修建的，有护法殿、三清宝殿、吕祖殿、赤松黄仙祠；还有丹房、斋堂、库房共计一百多间，整座道观的建筑面积4400多平方米。据说香港、上海、杭州西湖、马来西亚、新加坡等地的黄大仙都是从这里分支出去。冲虚古观不仅道教历史悠久，而且在革命斗争史上也具有光辉的一页。1945年，东江纵队司令部就设在冲虚古观内。冲虚古观作为东江纵队司令部旧址，已于1979年被广东省人民政府列为省级重点文物保护单位。1983年被国务院列为全国二十二座重点观宫之一。如今的冲虚古观已作为游客来此求财、求福、参观游览于一体的主题景点。

    早在民国初期，孙中山、宋庆龄、蒋介石、陈济棠等军政要员就亲临过冲虚古观。50至60年代，周恩来总理和陈毅等七位元帅也亲临过罗浮山。其中周总理对冲虚古观的建设作了具体的指示,还调拨了二十两金泊对三清殿内的神像进行刷新，使之大放光彩。2004年原国家主席江泽民先生也前来参观指导。来此游览除了可以接受香火的熏陶，神灵的庇护和重游伟人们走过的足迹外，我们还可以寻找冲虚古观流传下来的千年不解之谜：其一、观内有很多大树，都高于檐顶，但是房顶上无落叶。其二、整座道观建筑面积为4400多平方米，但是墙角无蜘蛛网。