儿童图书馆是在20世纪初期发展起来的。1914年在北京建立的京师通俗图书馆儿童阅览室是我国公共图书馆创建的儿童阅览室。随后浙江、江西等省也相继设立了儿童阅览室。1917年10月12日直隶省天津社会教育办事处创办了较早的儿童图书馆。
20~30年代，吉林、上海、浙江、天津也先后设立了儿童图书馆1940年由应永玉发起创办上海少年儿童图书馆非常关心少年儿童，她从中国福利基金会提出部分资金在上海为儿童设立图书馆,1949年4月在各界人士赞助下，儿童图书馆一阅览室向儿童免费开放。1942年8 月延安中山图书馆(林伯渠任馆长)增设了"少年图书部"。延安市青联还动员社会力量筹建延安市儿童图书馆，以协助党加强对少年儿童的社会教育。
50年代儿童图书馆曾设立过儿童阅览室;在北京、上海、兰州、天津、武汉等地建立了几所独立的少年儿童图书馆和成人馆的儿童分馆;半数以上的公共图书馆设有儿童阅览室或阅览园。1958年在上海召开了全国部分地区少年儿童图书馆工作经验交流会，促进了儿童图书馆事业的发展。但在文革期间遭到极大的破坏。1980年书记处经过的《图书馆工作汇报提纲》要求在中等以上的城市和大城市的区设立少年儿童图书馆。
各级公共图书馆要积极创造条件向少年儿童开放同年5月文化部教育部团在北京联合召开全国少年儿童图书馆工作座谈会，会后1981年62号文件转发了关于全国少年儿童图书馆工作座谈会的情况报告。1982年在湖南长沙召开全国少儿图书馆专题学术研讨会，1984年在重庆召开少儿图书馆、藏书建设研讨会，1987年按地区成立了少年儿童图书馆协作委员会。到1989年全国有区、县以上独立建制的少年儿童图书馆 75所(数据均未含台湾省)，县以上的少年儿童阅览室1000多个，京、津、沪三市的街道少年儿童图书馆 (室)200多所。
很多地区都比较重视图书馆对少年儿童的服务。英美等国的公共图书馆一般都设有儿童部为少年儿童服务。苏联 1989年有独立的儿童图书馆 8000多所，成人图书馆中还有 1000多个儿童部,全国形成了儿童图书馆网络。发达很多儿童图书馆除了收藏印刷型的书刊资料、图片资料以外,还提供非印刷型知识载体,如唱片、录音磁带、幻灯片、电影片、玩具、游戏器具等，以吸引儿童的读书兴趣，加强图书的直观宣传，传播科学文化知识，促进少年儿童的智力发展。
