La tradición afirma que hubo una capilla primitiva, respetada durante la dominación musulmana. Tras la conquista de Zaragoza por Alfonso I (1118), fue sustituida por un templo románico. Este templo románico, fue construido durante el pontificado del Obispo Don Pedro de Librana. De este templo aún se conserva un tímpano (hoy colocado en el muro sur junto a la puerta baja del templo) ; es un tímpano centrado por gran crismón rodado que se decora con cierta ingenuidad y monotonía, con rosetas inscritas en círculos unas, más naturalistas otras y recortadas las e la parte baja por las mordeduras del tiempo.

En 1434 un incendio dañó de tal manera al conjunto que se impuso la construcción de una nueva iglesia. Comienza entonces la construcción de un nuevo templo gotico-mudejar que sustituye la iglesia románica. El año 1515, siendo arzobispo de Zaragoza don Alonso de Aragón , se concluyó la construcción. La iglesia gótica era de una cierta amplitud, y estaba constituida por la iglesia propiamente dicha, de una y amplia nave únicamente, y de un claustro pequeño y recargado donde estaba emplazada la Capilla del Pilar. Iglesia que continuó dedicada a la Asunción, pero que era llamada habitualmente de Santa María la Mayor.

La iglesia de Santa María ocupaba un espacio, indudablemente mucho más pequeño que el actual, y se situaba de una manera notablemente diferente con respecto al templo de ahora. Este templo se enriquecía con importantísimas piezas de carpintería mudéjar (de la que puede ser un ejemplo el conjunto de contraventanas conservadas en la Sacristía Mayor); y en los pies de la nave se emplazaba la monumental sillería de coro que aún se puede admirar en el Templo actual. Pero lo más relevante de aquel conjunto iba a ser el monumental retablo de alabastro cuyo encargo se inicia en 1434, pero que se contrata definitivamente con Forment en 1509.

Como la devoción a la Sagrada Imagen iba en aumento, el zaragozano Juan de Marca, antes de 1638, planteó la necesidad de una construcción más importante y que tuviera una adecuación con la intensidad de esa creciente devoción. Comprendiéndolo bien el Cabildo decidió convocar un concurso para la nueva y más monumental construcción. En la mente de los devotos, y también en la del Cabildo, se estableció un afán de emulación con respecto a la más grande de las iglesias zaragozanas del momento: la Catedral de El Salvador. Esta catedral tenía una planta de salón amplísima y se trataba también de que el Templo del Pilar tuviese ese mismo aspecto. Pero por otra parte, la Catedral era de estilo gótico mientras que parecía oportuno que para el nuevo Templo del Pilar se buscase un estilo más actual, siendo clara la presencia del modelo de San Pedro de Roma que se quería transparentar, con intención de modernidad absoluta, en algunos de los proyectos.

La nueva construcción, ya de inicio monumental, basándose en las líneas del modelo lejano (o sea San Pedro de Roma) se construyó en el tono de la arquitectura barroca del momento, confiriendo robustez a los pilares y ornamentaciones de los mismos y, dada la monumentalidad de la construcción, una continuidad de bóvedas que debía resultar bastante pesada. La traza general del templo se encargó a Felipe Herrera el Mozo, comenzando las obras en 1681. Lo principal del edificio barroco, incluidas las cúpulas, estaba terminada en 1754. Mientras tanto, en 1725 el Cabildo decidió transformar el aspecto de la Santa Capilla, lo que encomendó a Ventura Rodriguez.

Cuando Ventura Rodríguez recibe el encargo de terminar la Capilla dedicada a la Virgen del Pilar y retocar el conjunto del Templo, estableciendo la unidad de los elementos, va a ser este genial arquitecto el que configure el monumento actual, seleccione una parte de su ornamentación, e invente estos elementos de tono ya más clasicista; y será él quien planeará la ornamentación en los pilares y en los frisos, que cobran singular elegancia y pierden parte de su maciza densidad con huecos en los que se encajaban espléndidos flameros dorados. En 1765 quedaba terminada la obra de la Santa Capilla.