碑林的历史可以追溯到唐末五代时期长安城务本坊的国子监内原来立有《石台孝经碑》和《开成石经碑》。唐末天祐元年（904年）为了保护重要的碑石不散失，将石碑集中于文庙内。北宋哲宗元佑二年（公元1087年）为保存《开成石经碑》而建立专门陈列石碑的场所，元祐五年（1090年）又增建碑廊、碑亭。后来历经各代的广泛收集，规模逐渐扩大，至清初始称为“碑林”。
历代碑林因缺乏管理，一度遭到人为的破坏。明嘉靖三十四年（1556年），发生嘉靖大地震，大量碑石断裂。乾隆三十七年（公元1772年），陕西巡抚毕沅至碑林视察，见衡宇倾圮，碑石横卧散乱，毕沅开始重修和保护碑林。[1]
1961年被列入全国重点文物保护单位。1992年正式定名为西安碑林博物馆，设七个陈列室、六条游廊和八个碑亭。