Часовня над колодцем в деревне Молочково упоминается в летописях ещё в XVI веке. Почитание колодца церковные источники объясняют тем, что на нём явилась икона Успения. До революции к часовне совершались крестные ходы в церковные праздники Успения и Вознесения. Источник почитался не только в ближайшей округе, но был известен и в других областях. До 1920-х годов на праздник Вознесения в Молочкове устраивались ярмарки.
После Великой Отечественной войны, в 1959 году, часовня в Молочкове была закрыта. Здание обветшало, и в 2002 году над колодцем была выстроена новая часовня, освящённая во имя праведного воина Фёдора Ушакова. Однако и это здание быстро пришло в негодность, и в 2014 было возведена часовня, существующая поныне.
