衡阳市图书馆，位于湖南省衡阳市雁峰区先峰路，是国家一级图书馆。
衡阳市图书馆曾名衡阳县公立图书馆、省立衡阳图书馆、衡阳市船山图书馆等。
1917年，衡阳县公立图书馆筹备成立，1919年秋，将衡阳府署模范小学校址改建成馆舍。
1921年，衡阳县公立图书馆开馆服务。1930年，衡阳县教育界人士着手扩大规模，于1932年在衡阳县县署左侧建成1100平方米的图书馆新馆舍。
1944年，衡阳沦陷，原图书馆被炸，迁至衡阳县板桥。1946年4月23日，图书馆迁至私立陶淑小学恢复开放。
1949年10月，衡阳市人民政府接管衡阳市图书馆和衡阳民众教育馆，组建衡阳人民文化宫，馆址在学宫路市委机关大院内。这段时间内，衡阳市图书馆变成“衡阳市文化宫图书室”。
1954年衡阳市图书馆恢复图书馆建制，并从南岳中正图书馆移交来大量图书。
1955年2月19日，衡阳市图书馆更名叫“衡阳市船山图书馆”，4月在岳屏公园对外开放。。
1962年，在衡阳市船山图书馆内设“王船山纪念馆”。文革开始后，“王船山纪念馆”被撤销被拆除，衡阳市船山图书馆的“船山”二字也被禁止，重新改回“衡阳市图书馆”。
1969年冬，衡阳市图书馆又被合并，与衡阳市文化馆、衡阳市工人文化宫合并成“衡阳市群众文化馆”，图书馆停止对外开放。
1971年10月，衡阳市图书馆再次恢复建制，独立出来。1975年，衡阳市图书馆迁到先峰路市委宣传部机关大院，即现在的馆址。
2011年9月，衡阳市图书馆实行免费开放。
衡阳市图书馆共有六层：
1985年，衡阳市图书馆阅览大楼竣工，衡阳市图书馆的馆舍面积达到近万平方米。2001年，衡阳市政府修建蒸阳路，新路正好穿过衡阳市图书馆的大院，使得衡阳市图书馆原有的2/5面积被拆除，建筑面积减至不足7000平方米。与衡阳市图书馆本在一个院子的衡阳市少儿图书馆就因办公楼被全拆，只得搬去原衡阳市文化局的办公楼。除了蒸湘路工程导致的图书馆面积被压缩外，图书馆还遭遇着馆舍失修，电路老化等困境，影响了图书馆的正常工作。
2009年，在衡阳市政府的经费支持下，衡阳市图书馆启动全面维修改造，2010年7月恢复正常服务。2014年，衡阳市图书馆暨雁峰公园改造项目正式开工建设，新的衡阳市图书馆将会建在衡阳市雁峰公园南侧，新图书馆的总建筑面积约2.1万平方米，主体建筑为地上三层，地下一层。
截止2013年，衡阳市图书馆藏图书总数为56万余册。衡阳市图书馆官网2013年的简介，馆内“拥有古籍和民国图书3.8万余册、还有近2万册的衡阳名人著作等地方文献”。据湖南日报2015年的报导：“省社科院图书馆有12万册，邵阳市松坡图书馆、衡阳市图书馆馆藏古籍分别约5万册”。
衡阳市图书馆收藏的古籍，部分来自1954年南岳中正图书馆的转交，部分来自文革破四旧时的抢救，部分来自于社会捐赠。衡阳市图书馆的工作人员也会自己搜集购买古籍与地方文献。
2013年，衡阳市图书馆所收藏的《朱翼十二卷（明）江旭奇辑 明万历四十四年（1616）刻本》入选第四批《国家珍贵古籍名录》，编号00674。
1966年文化大革命开始，衡阳市大量单位和私人的藏书因为破四旧运动被送到废品店，衡阳市图书馆职工黄耀武借寻找湘南学联文物的机会，到衡阳市废旧物资仓库、衡阳市造纸厂等地搜集了大量古书。1967年3月，黄耀武搜集到了清康熙湖南刻本《金瓶梅》、明嘉靖官刻本《书传会选》，1968年在常宁二中买回近三千册古籍，有几套被列入《中国善本书总目》。
衡阳市图书馆会在春节期间举行“图博迎春”免费读书活动。在元宵节时举办灯谜会，向全体市民开放。
2016年5月29日，衡阳市图书馆举行了“漂书出雁门，流文至云间”图书漂流主题活动。来自南华大学和衡阳市的志愿者团队在图书馆为云南省施甸县第二完全中学的农村学生募捐图书，衡阳市图书馆也向云南学生捐赠了图书。
在雁南监狱有一名叫周军的团伙抢劫罪犯人，被判刑死缓。2001年，他向全国百余家图书馆都写去求知信件，半个月后陆陆续续收到中国人民公安大学、湖南省图书馆等单位大量复信及捐赠的五千余册图书。
衡阳市图书馆得知消息，就决定在雁南监狱建立图书流通站。4月17日，时任馆长的毛利华专程来到监狱提出“流动图书站”的想法，得到监狱方面的响应。
5月17日上午图书馆工作人员冒雨去雁南监狱送书，周军等服刑人员深受感动。
2014年8月8日，衡阳市图书馆与广州军区某集团军驻衡阳某部签订协议，共建“军营流动图书馆”。衡阳市图书馆将会每季度选取1500册图书，经某部队政治部统一扫描办理登记手续后分发各连队。
2016年，“军营流动图书馆”活动被湖南省文化厅评为全省公共图书馆优秀服务成果奖一等奖。
衡阳市图书馆在2016年3月12日正式启动“雁城市民影院”项目，即在每周六上午于馆内多媒体演示厅播放一部经典影片，市民免证免费观看。
衡阳市博物馆有一座清代铜牛尊，展示标签上记录为衡阳市图书馆移交，参见File:Hengyangmuseum2017020507.JPG。
2015年12月27日，“册府千华——湖南省藏国家珍贵古籍特展”在湖南图书馆开幕，衡阳市图书馆与其他16家图书馆携古籍参展。
曾邦彦回国后先后任教奉天实验学堂、衡阳建南路师范学堂。1918年主持衡阳劝学所，著有《老子相铨》。
曾恕先后在省立第三男子师范、省立第三女子师范、省立衡阳第五中学、私立道南中学任校长兼教员。1931年任衡阳县教育局长。
姚尊回国时创立衡阳进修女子师范学校并任校长。后任衡阳劝学所（1923年后改称教育局）所长，著有《皕甓斋诗文集》。
2005年，刘忠平与国内图书馆学界专家在衡阳开展基层调研，调研报告引发关注，推动文化部开展“援助贫困图书馆计划”。
