Le riche héritier anglais Edward James, poète et premier mécène du mouvement surréaliste, voyageant aux Etats-Unis en 1947, décide à l’instigation de sa cousine, la peintre Bridget Bate Tichenor, de poursuivre son périple en direction du Mexique. Là dans la jungle tropicale de la Huasteca Potosina, il fait l’acquisition d’une ancienne plantation de café. Elle accueille d’abord quelques animaux exotiques ainsi qu’une importante collection d'orchidées, dont la destruction dans sa presque totalité, par suite d’un exceptionnel épisode de gel en 1962, va faire naitre un projet extravagant. C’est avec des artisans locaux et Plutarco Gastélum Esquer, son guide yaqui, ami et futur maître d'œuvre, qu’Edward James, aidé du jardinier-paysagiste anglais Ivan Hicks, entreprend la création du jardin que sa mort interrompt en 1984.
Las Pozas est un décor naturel de 32 hectares qui dans un enchevêtrement d’escaliers, rampes, et passerelles au milieu d’une végétation luxuriante et, un réseau de canaux, piscines, étangs et cascades, offre une spectaculaire floraison architecturale de 36 constructions et sculptures surréalistes en béton, aussi insolites qu’un cinéma sans sièges, un "Escalier vers le paradis", un "Palais de bambou", "la Maison avec un toit comme une baleine" et aussi "la Maison à trois étages qui pourrait en avoir cinq".
Héritière des lieux, la famille Gastélum reprend l’entretien de l’œuvre. Le jardin ouvre au public en 1990, et devient en 2007, la propriété de la Fondation Pedro et Elena Hernández, de la société Cemex et du gouvernement de l'État de San Luis Potosí qui, dans le but de préservation et restauration du site, créent le « Fondo Xilitla »
Depuis, le site est inclus par le World Monuments Fund (WMF) dans sa liste de l'observatoire mondial des monuments 2010 et, au Mexique en 2012, il est déclaré "monument artistique" par l'Institut national des beaux-arts (INBA).