衡南县图书馆，位于衡南县黄金路129号，为国家一级图书馆。
1977年，衡南县图书馆成立，购书2000册。
1980年10月，兴建馆舍，再添置一批图书，正式开放。
2009年4月23日，衡南县图书馆从中山北路旧址迁到衡南县城新馆。
新馆总占地面积约3333.33平方米（5亩），建筑面积2961平方米。
图书馆馆楼高4层，有阅览座席252个。包括外借室、报刊阅览室、少儿阅览室、地方文献室、报告厅及多媒体室、展览厅、辅导部及采编室。
全国文化信息共享工程衡南分中心也设于衡南县图书馆：内设信息采集加工室、机房、放映厅、电子阅览室（27台）。
自1988年起，衡南县图书馆就购置流动图书车一辆，在乡镇中开展流动图书服务，为农民送养殖种植等方面的图书。
