集灵宫遗址在今罗夫河东桥营村南，汉武帝刘彻元光初年（前134-前132）所建。《汉书·地理志》记述：“集灵宫，武帝起，莽曰华坛也。”《集古录·汉华山庙碑文》也记述，孝武帝修封禅之礼，巡省五岳，立宫其下。宫曰集灵，殿曰存仙，门曰望仙。并且还记述说，直至中宗之世，还派遣使者前往，一年四次祭祀岳神，其中祝告祈福一次，牲礼祭祀三次，由此可见汉时对华山神的礼拜之勤，礼仪之隆了。
碑文还记述，随朝代更替，时间推移，祭祀之礼一年不如一年。以至于庙宇彩绘剥落，梁木倾圮，几乎成了一片废虚。直到东汉光武帝刘秀建武年间（公元25-56）祭祀岳神的活动才重新得到重视。但祭祀的礼品从省，次数也有所减少。祭礼改为二千石，次数改为每年一次。如此礼仪又沿续一百多年。但由于时深年久，汉武筑宫时所立的碑石文字逐渐模糊不清。人们已无从认出宫起于何代，建筑于何时了。
袁逢迁宫
东汉桓帝延嘉四年（161年）宏农郡太守袁逢萌发了修废起颓，易碑饰阙的念头，当时宏农郡属京兆尹所辖，京兆尹孙戮到任后，对袁逢郡守的想法表示赞许，并给了财力方面的支持。于是在汉延熹八年（165年）集灵宫始由故址迁到今西岳庙所在地，迁宫时，还勒石以志其事。碑毁后，碑文拓片今存北京故宫博物院。
《集灵宫赋》
东汉初哲学家醒潭写有《集灵宫赋》，并作序曰：“余少时为中郎，从孝成帝出祀甘泉、河东，见郊置华阴集灵宫。宫在华山下，武帝所造，欲以怀集仙者王乔、赤松子故名。窃有乐高妙之志，即书壁为小赋，以颂美。”赋载于清本《华阴县志》卷五建置篇。
位置争议
由于宫距现在年代久远，关于其建址的准确位置发生了异议。不少人、包括一些史学前辈则认为宫在今华山黄甫峪口，这大概是受桓潭《集灵宫赋·序》中“宫在华山下”句的影响所致。
黄甫峪口在古时确实有祭祀岳神祠庙，但诸多史料都称其为中祠，这是针对当时华山峪口有南祠，古驿道北有下庙所言的。《华岳图经》中有一幅示意图将上、中、下三祠庙的位置标示得非常明确。北魏郦道元的《水经注·渭水篇》记述：“敷水又北，经集灵宫西”句则说明在北魏时，虽然集灵宫已迁往下庙处，但故址废墟依然存在。所以清道光年编写《华岳图经》一书时，其中一幅山水图依然把集灵宫的遗址标示在罗夫河畔桥营村南的位置上。《同州府志》中一篇介绍西岳庙的文章，则对集灵宫的位置有专门的辨析。由此可以肯定的说集灵宫当年的位置当在罗夫河东、桥营村南而不是在黄甫峪口。