Во второй половине XIX века стараниями валдайского гражданина, бывшего исправника Михаила Ивановича Клокачева при содействии других лиц, на Дворцовой площади был устроен обнесенный оградой Летний сад. В саду, откуда открывался прекрасный вид на Валдайское озеро и его острова, в теплое время года гуляли горожане, по вечерам играл военный духовой оркестр. И сегодня это излюбленное место отдыха горожан.
Здесь расположен деревянный сруб колодца, прикрытый двухскатной крышей. Надпись на резной доске гласит, что здесь был храм. На месте алтаря и устроен колодец, вода которого ежегодно освящается в храмовый праздник — пятницу на первой Пасхальной неделе.
Сначала здесь была деревянная часовня, построенная в конце XVII века стрельцами, переселенными в Валдай по указу Петра I. В 1693 году по благословению митрополита Новгородского Корнилия к часовне пристроили алтарь и освятили ее как церковь во имя Живоносного Источника Божией Матери.
В 1882 году во время городского пожара храм сгорел. 17 лет на месте церкви было пепелище. В декабре 1898 года из епархиального управления последовал указ, разрешавший строительство деревянной церкви во имя Живоносного Источника. Вскоре пятиглавый, с большими окнами по фасаду, храм был полностью готов и освящен. С западной стороны к нему пристроили шатровую колокольню и сделали крыльцо.
В 1930–1931 годах с храма сняли главы и шатер колокольни, устроили печное отопление и разместили в нем маслозавод, который работал до конца 1950-х годов и был снесен «за ветхостью». Однако люди по-прежнему ходили к святому источнику и в месте выхода ключа поставили колодец, который отметил место алтаря церкви Живоносного Источника. Сегодня, как и прежде, вода из этого места почитается святой.
Выше по склону, недалеко от церкви Живоносного Источника, в 1888 году была выстроена небольшая часовенка в память чудесного спасения семьи императора Александра III во время железнодорожного крушения под Харьковом. Часовня уничтожена в 1930-е годы, но фундамент ее сохранился, на нем в послевоенный период установлен памятник советскому воину. В годы Великой Отечественной войны Валдайский район служил здравницей для раненых бойцов. Об этом повествуют информационные стенды, установленные здесь, в нижнем парке. На территории города размещались госпитали и штаб Северо-Западного фронта.
Неподалеку — на разъезде дорог, под Екатерининской горкой Верхнего города к 500-летию первого упоминания о Валдае установлен памятный валун
