哈尔滨市图书馆创建于1926年,时称哈尔滨市立图书馆,历经民国、伪满、新中国建国前等重要历史时期,藏有珍贵历史档案资料。自新中国成立后,哈尔滨市图书馆复建以来,特别是改革开放以来,在党和政府以及社会各界的关心支持下,市图书馆始终在解放思想中前行,在创新实干中发展,并不断向着现代化图书馆的目标迈进。现馆舍位于南岗区学府路49号(原位于一曼街249号馆址设置为外借分馆和少儿馆,后经权威机构鉴定为D级危房,已分别于2010年4月26日、2016年2月15日暂停对外开放),建筑面积1.85万平方米,1991年建成投用,曾为当时哈尔滨市地标性文化建筑。
截止2019年初,馆藏图书、期刊、报纸等各类文献资源351万册件,其中古籍图书10余万册,电子图书4万多种;年均接待读者近150多万人次,举办各类活动千余场。