夏属扬州，是皋陶后裔封地。春秋前是六属国，楚灭六后设灊邑（故城在下埠口，今下符桥镇），后迁至南冈（城东200步处）。秦属九江郡。汉高祖元年（公元前206年）属衡山国，五年改属淮南国。南朝宋文帝元嘉二十五年（公元448年），划出部分设开化县（治所在今六安县青山镇），属庐江郡。隋初属庐州，后属庐江郡。唐高祖武德四年（公元621年），以霍山、应城、潜城3县置霍州，并改淠水县为开化县。五代十国，初属忠正军寿州，南唐改忠正军为清淮军。宋太祖开宝八年（公元975年），并入六安县，属淮南道寿州。元初，降为六安县故埠镇，属庐州路。明太祖洪武初年，设故埠镇巡检司。清初沿明制，世宗雍正二年（公元1724年），属六安直隶州。民国元年（1912年），直属安徽省。
36年9月3日，县城被中国人民解放军解放，次日成立霍山县民主政府，受中共皖西工作委员会领导。38年4月，属皖北行署六安专区（37年1月——38年3月，在县西南同岳西、英山两县毗连地区成立太平县，县政府驻太平畈）。1952年4月，属安徽省六安专区（1971年3月，改专区为地区），县政府一直驻城关镇（1987年下半年迁至新城办公）