W historycznych źródłach nazwa Kazimierz pojawia się po raz pierwszy dopiero w 1249 r., ale wiadomo, że już w XI wieku istniała tu osada zwana Wietrzną Górą. Nazwa miasta pochodzi prawdopodobnie od imienia księcia Kazimierza II Sprawiedliwego, który w 1181 r. nadał tutejsze ziemie klasztorowi Norbertanek z krakowskiego Zwierzyńca. Za panowania Władysława Łokietka wzniesiono tutaj zachowaną do dziś kamienną wieżę obronną, będącą elementem wcześniejszej warowni. Pełniła ona rolę strażnicy przy szlaku handlowym.
Największe zasługi dla rozwoju miasta położył król Kazimierz III Wielki, przekształcając osadę podgrodową w miasto królewskie, lokowane na prawie polskim. Zbudował tu m.in. zamek, fundując kościół parafialny oraz nadając herb z literą „K” umieszczoną pod koroną królewską. Za panowania Kazimierza Wielkiego wytyczono niewielki rynek u podnóża wzniesienia, na którym zbudowano zamek i farę.
W 1406 r. miasto otrzymało od Władysława II Jagiełły prawo magdeburskie. Z tego roku pochodzi też pierwsza wzmianka o tutejszej ludności żydowskiej. Stanowiący własność królewską Kazimierz rozwijał się głównie dzięki Wiśle, tworzącej wówczas najważniejszą arterię komunikacyjną kraju, wykorzystywaną do transportu zboża z Małopolski do Gdańska. Duże znaczenie miało położenie miasta na przecięciu szlaku wiślanego z traktem handlowym, uczęszczanym przez kupców. Podróżowali oni ze wschodnich ziem Rzeczypospolitej oraz Litwy i Ukrainy w kierunku Śląska i Wielkopolski, oraz dalej — do Saksonii i Brandenburgii.
Korzystne warunki prawne, jak również duże zapotrzebowanie na zboże w Europie Zachodniej, przyczyniły się do szybkiego rozwoju miasta w połowie XVI w. Mieszczanie kazimierscy z rodów Przybyłów, Górskich, Sawerów, Czarnotów, Celejów, Wojasów, Wosińskich specjalizowali się w spławie towarów i w usługach szkutniczych. Rozwijał się też handel drzewem, zbożem, winem i wołami, prężnie działał skład soli. Wraz z rozwojem handlu rozkwitało rzemiosło. Spośród wzniesionych wówczas na nabrzeżu Wisły od 40 do 60 obszernych spichrzy, dekorowanych w duchu północnego manieryzmu, do dziś zachowało się zaledwie kilka. W 1561 roku, w wyniku pożaru spłonęło niemal całe miasto, lecz już wkrótce odbudowano je w stylu tzw. renesansu lubelskiego.
Od połowy XVII w. wraz z nastaniem okresu wojen, miasto zaczęło chylić się ku upadkowi. Już w 1655 r. zostało zniszczone przez wojska szwedzkie. Kazimierz wielokrotnie grabiony i podpalany w kolejnych latach nie zdołał już odzyskać dawnej świetności. W 1676 r. król Jan III Sobieski, próbując odbudować zniszczony Kazimierz Dolny, nadał mieszkającym tu Żydom przywileje oraz ulgi na prowadzenie działalności gospodarczej. Żydowscy kupcy zajęli dzięki temu eksponowaną pozycję w handlu zbożem. W początkach XVIII w. miasto nawiedziła zaraza. Po jej ustąpieniu mieszkańcy wznieśli na wzgórzu, sąsiadującym ze wzgórzem zamkowym, trzy drewniane krzyże. W 1771 r. król Stanisław August, chcąc ratować miasto, zrównał miejscowych Żydów w prawach z innymi obywatelami. Pozwolił im na zakup gruntów, wznoszenie domów na terenie całego Kazimierza Dolnego oraz na swobodny handel. Przyczyniło się to do ożywania gospodarczego miasta w drugiej połowie XVIII wieku.
W 1795 r., w wyniku III rozbioru Rzeczypospolitej, Kazimierz Dolny znalazł się w zaborze austriackim, od 1809 r. w granicach Księstwa Warszawskiego (departament lubelski), zaś od roku 1815 — Królestwa Polskiego (województwo, a następnie gubernia lubelska).
W 1866 r. wielki pożar zniszczył miasto, które ponownie podupadło gospodarczo. W 1869 r. w ramach carskich represji po powstaniu styczniowym Kazimierz Dolny utracił prawa miejskie. Przywrócono je dopiero w 1927 roku. Odmianę losu miasteczka przyniosło „odkrycie” go przez artystów i miłośników historii, którzy badali dawne dzieje Polski, inwentaryzowali i utrwalali wizerunki istniejących obiektów architektury i sztuki. Na przełomie XIX i XX w. urokliwy Kazimierz Dolny stał się popularną miejscowością letniskową,
Kościół św. Anny stanowi cenny zabytek wyjątkowego stylu architektonicznego, jakim jest renesans lubelski. 
