河南省图书馆由郑州市嵩山南路150号的主馆和郑州市优胜北路的少儿馆两部分组成。2008年成为第一批全国古籍重点保护单位。
至2010年底，图书馆藏书量达310多万册（件），其中普通图书220万多册，古籍50万多册，报刊26万多册。设有借阅部、报刊部、古籍部等12个业务部门，以及办公室等6个职能部门，还有经济实体河南省图苑实业发展有限责任公司。
河南省图书馆是中国最早建立的公共图书馆之一。1909年2月27日，河南提学使孔祥霖以开封龙湖南岸二曾祠侧之许公祠为馆址建立的河南图书馆开馆。1915年改为河南省立图书馆。1928年改为河南省图书馆。1949年3月，省图书馆临时归并到中原大学（即河南大学）图书馆。1950年10月，改名为“河南省立图书馆”。1953年，又改名为“河南省图书馆”。
1957年5月20日，图书馆从开封迁至省会郑州纬二路省人民委员会礼堂。1957年10月在优胜北路建新馆，1958年7月建成迁入，建筑面积5000余平米。1985年在嵩山南路与伊河路交叉口西北建新馆，1989年建成使用，新馆总建筑面积2.95万平米。2009年在优胜北路与健康路交汇处新建少年儿童分馆。
主馆占地2.69公顷，建筑面积29500平米。其中书库面积9008平米，可容300万册藏书；阅览室面积9094平米，座位1500个。有一个200多个座位的多功能报告厅。分馆建筑面积约6000平米，书库面积3000平米，阅览室面积约2000平米。
图书馆有中文图书、中文报纸、中文期刊、外文报刊、中外文参考工具书、古籍文献、河南地方文献、音像、缩微和电子图书、少儿图书等共13个阅览室。有中文、外文、文艺小说、少儿图书等5个借书处。
省图书馆在全省的山区、学校、部队、监狱等开设41处外借点。省图书馆对市、县图书馆承担指导、辅导和研究职能，经常举办各类业务培训班和常年性大专班。
少儿馆近年来举办过多期少儿美术、书法、舞蹈、英语、作文辅导教学班，是孩子们的第二课堂。
各阅览室所分布楼层与开放时间详见。
