碑林因碑石丛立如林而得名。

西安碑林的源头可追溯至唐代立于帝都长安城务本坊国子监内的《石台孝经》、《开成石经》。唐天v元年（904年），长安驻守韩建缩建长安城，将原存务本坊国子监内的一部分石经迁至唐尚书省附近的文宣王庙（今西安社会路一带）。后梁开平三年至乾化四年（909年―914年），长安驻守刘接受幕吏尹玉羽建议将其余石经迁至唐尚书省之西隅（今西安社会路一带）。

北宋景v二年（1035年），范雍在唐尚书省西隅附近建立京兆府学；元丰三年（1080年），吕大防将文庙和府学的一部分迁至西安碑林现址；元v二年（1087），陕西转运副使吕大忠因看到保存在唐尚书省之西隅的石经“地杂民居，其处洼下”，遂将石经及其他唐宋碑刻徙至“府学之北墉”；崇宁二年（1103），虞策知永兴军时将府学彻底迁至“府城之东南隅”即西安碑林现址，并进行了修建和改造。至此，府学、文庙与碑林同在一地，即今西安碑林所在地。

金正隆五年（1160年），河中府同知府尹耶律隆和陕西东路转运副使周维甫对碑林进行了修葺。

元至元十四年（1285年），京兆府学正骆天骧与京兆府教授孟文昌请灞桥堂邑刘斌将倒地碑石复立。至正二十五年（1365年）重修文庙、府学和碑林。

明嘉靖三十四年（1555年），关中发生大地震，碑林碑石多遭倾倒折断。明万历十六年（1588年），对碑林进行整修，对倾倒受损的石经进行摹补并刻立《九经字样》。明人赵在《石墨镌华》序中始有“碑林”之称，这是所见资料中将西安碑林称为 “碑林”的最早记载。

清康熙三年（1664年），陕西巡抚贾汉复及许继业等主持，集《开成石经》字样补刻《孟子》七篇。康熙五十九年（1720年），西安知府徐容、府学教授张钟、训导姚文思修缮碑林。乾隆三十七年（1772年），陕西巡抚毕沅整修碑林，重新规划和改建了碑林建筑，对藏石进行整理，并派员专司管理，限制拓碑，是清代对碑林最为全面最重要的一次整修。

民国二十六年至民国二十七年（1937至1938年），民国政府对碑林进行大规模整修，邵力子、张继、黄文弼等人任监修委员，工程在建筑设计和碑石排列等方面得到梁思成具体指导，整个建筑形式和布局一直沿用至今。此次整修中，将于右任所捐史料和书法价值极高的387件西晋、北朝及隋唐墓志（即“鸳鸯七志斋藏石”）建专室陈列，这些墓志极大地丰富了碑林的藏品体系，是于右任对西安碑林和陕西文化事业之重要贡献。

民国二十七年（1938年），碑林管理委员会成立。

民国三十三年（1944年），在西安碑林的基础上成立陕西省历史博物馆。

民国三十七年（1948年），陕西省政府拆交的新城小碑林《汉武都太守残碑》、《唐颜勤礼碑》等38方碑石迁置碑林保存。

1950年，“陕西省历史博乎档并物馆”改名为“西北历史文物陈列馆”。

1951年09月15日，西北军政委员会

发布《关于贯彻保护文物古迹的法令及筹设西北历史博物馆和西北革命文物陈列馆的决定》。《决定》指出：“西北为我国古代文化发祥之地，又为汉、唐以来与各兄弟民族文化及西洋文化交流沟通的重要枢纽，所遗文物史迹特多。而历代农民起义有的蠢慎发源于西北，有的会集或经过西北，红军北上抗日，走遍了陕甘宁青的大部地区，尤其是新民主主义革命曾以陕、甘、宁边区为落脚点和出发点，史迹流传最广，遗留文物亦最多，必须加以妥善保护。”《决定》要求，应首先办好一个示范性的历史博物馆和一个革命文物陈列馆，据此，西北文化部决定将西安的“西北历史文物陈列馆”扩建改为“西北历史博物馆”（碑林博物馆）。

1952年，“西北历史文物陈列馆”改为“西北历史博物馆”。

1955年，“西北历史博物馆”更名为“陕西省博物馆”。

1961年，国务院公布“西安碑林”为第一批全国重点文物保护单位（石岁迹刻类第1号）。

1993年1月，“陕西省博物馆”正式更名为“西安碑林博物馆”。