Bałtów leży w otoczeniu pięknych lasów Puszczy Iłżeckiej nad rzeką Kamienną, która przepływa zygzakiem prawie przez cały teren gminy. W uroczych wapiennych skałach swojej doliny rzeźbi malownicze i urzekające przełomy. Z tych powodów Gmina Bałtów nazywana jest często "Szwajcarią Bałtowską" lub "Małym Ojcowem".

Dzieje Bałtowa sięgają czternastego wieku. Jan Długosz w swoich kronikach historycznych wymienia Bałtów jako Baluthow. Słownik etymologiczny miast i gmin podaje, że pierwotnie był to Bałutów położony w górzystym terenie nad rzeką Kamienną, i że była to własność Bałuta. Ze względu jednak na położenie geograficzne Bałtowa, rzekę tworzącą Przełom Bałtowski, malowniczy wąwóz w paśmie wzgórz wapiennych, należy uznać Bałtów za nazwę topograficzną niż osobową i określić pochodzenie nazwy Bałtów od wyrazu bełt, czyli wiru w wodzie, który tworzy rzeka Kamienna. Lokalna legenda głosi, że nazwę wsi nadali jeńcy litewscy, którzy przebywając w osadzie powstałej wśród białych wapiennych skał z litewska nazwali Bałtów, jako "Bałtas", co w języku litewskim oznacza biały.

Według Długosza w XV wieku w Bałtowie istniał drewniany kościół parafialny pod wezwaniem św. Andrzeja. Patronem był Warsz herbu Rawa. Z łanów kmieci, karczem i folwarku kościół pobierał dziesięcinę w wysokości 10 grzywien. We wsi było wtedy ponad 10 garncarzy. Kiedyś Bałtów miał być nawet miasteczkiem. W przeszłości kolejno należał do kilku znanych rodzin: Ossolińskich, Chomętowskich, Małachowskich i Druckich-Lubeckich.

Źródła historyczne podają, że Chomętowscy postawili tu pierwszy pałac bałtowski. Stanisław Chomętowski do około 1720 roku był właścicielem Bałtowa, zmarł 1 września 1728 roku w Drochobyczy, pochowany został w klasztorze własnej fundacji w Samborze. Od Chomętowskich dobra bałtowskie przeszły do rodziny Pieniążków herbu "Odrowąż". W 1798 roku Bałtów i okolice kupił Hyacynt-Jacek hr. Małachowski, późniejszy właściciel dóbr bodzechowskich. Od Małachowskich w 1830 roku Bałtów i dobra bałtowskie kupiła rodzina ks. Druckich-Lubeckich, w 1849 roku dobra te przeszły na wdowę po ministrze skarbu Królestwa Polskiego. Do jej majątku należały: dobra Bałtów, Rudka Bałtowska, Ponik, Wólka Bałtowska, folwarki Zamoście i Dunale, wieś Skarbka Dolna, wieś Ulów i wieś Skarbka Górna.

Obecny murowany pałac bałtowski w latch 1898 - 1904 postawili Druccy-Lubeccy, zapewne na miejscu starego pałacu Chomętowskich. Ruiny pałacu Druckich stoją w Bałtowie do tej pory.

Ród książąt i senatorów Druckich-Lubeckich herbu Druck, pochodził od władcy Rusi - Ruryka. Pierwszym z książąt Druckich, który przyjął nazwisku Lubecki od Lubczy w dawnym powiecie łuckim, był Wasil Michajłowicz, który niekiedy od dóbr Widynia znany był także jako Widynicki. Jednym z najbardziej znanych był książę Franciszek Ksawery Drucko-Lubecki, dawniej dziedzic na Czerlonnie w województwie grodzieńskim, a później znakomity mąż stanu, minister skarbu Królestwa Polskiego, inicjator budowy przemysłu, między innymi w dolinie rzeki Kamiennej, rozwoju górnictwa i hutnictwa, kopalń rudy żelaznej w zagłębiu Staropolskim, założyciel Towarzystwa Kredytowego Ziemskiego i Banku Polskiego, przeciwnik powstania listopadowego. Z linii męskiej ks. Franciszka-Ksawerego pochodził Aleksander ks. Drucki-Lubecki, który postawił pałac Druckich-Lubeckich w Bałtowie. Pałac był letnią rezydencją, przetrwał dwie wojny światowe, jeszcze w latach 70-tych był w dobrym stanie. Pałac otacza kilkuhektarowy park, pochodzący pierwotnie z końca XVIII wieku. Po ostatniej wojnie przez jakiś czas był siedzibą Zespołu Szkół Rolniczych.

W 1880 roku Bałtów i folwark bałtowski należały do gminy Pętkowice i dawnego powiatu iłżeckiego. Było tu wtedy 1343 morgi ziemi dworskiej i 520 mórg ziemi chłopskiej. Górzysta wieś posiadała marmur, kamień wapienny, rudę żelazną i glinkę garncarską. W 1827 roku Bałtów miał 52 domy i 399 mieszkańców, w końcu XIX wieku było 47 domów i 493 mieszkańców. W 1927 roku Bałtów należał do powiatu iłżeckiego, była tu wtedy kopalnia marmuru, rudy żelaznej i glinki porcelanowej, oraz kościół parafialny.

Z Roczników Diecezji Sandomierskiej wynika, że parafia bałtowska była erygowana przed 1325 rokiem. Odpusty parafialne odbywają się w piątki przed Niedzielą Palmową. Obecny kościół murowany pod wezwaniem Matki Bożej Bolesnej został zbudowany w latach 1904-1909 według planów architekta Konstantego Wojciechowskiego, staraniem księdza Ludwika Olsińskiego, o czym informuje napis nad głównym wejściem. Kościół konsekrował w 1920 roku ks. biskup Paweł Kubicki, malowany wewnątrz w 1919 roku, a restaurowany w 1947 i w 1977 roku, kościół jest ogrzewany. Wizytacje kanoniczne miały miejsce w 1959, 1971, 1977, a misje parafialne w 1946, 1973 i 1977 roku.

Z przekazów lokalnych wynika, że w maju 2001 roku w kościele bałtowskim odbyła się uroczystość złożenia prochów jednej z córek Ksawerego ks. Drucko-Lubeckiego - Rozalii w grobowcu rodzinnym na cmentarzu parafialnym w Bałtowie oraz odsłonięcia tablicy pamiątkowej na ścianie w jednej z bocznych kaplic ufundowanych kiedyś przez jej dziadka. Na tablicy jest napis: "In Memoriam. Śp. Rosario Robertowa Girard zd. Księżniczka Drucko-Lubecka, ur. 23.07.1931r. w Poznaniu-Polska. zm. 24.04.2000r. w Paryżu-Francja. Ero custos tuus qoucumque. Perrexeris Et reducan, te in tarram hanc Genezis. 28.15". Na uroczystości złożenia prochów Rozalii i odsłonięcia tablicy pamiątkowej była rodzina, między innymi jej syn książę Filip Girard oraz siostry Rozalii - Dorota, Jadwiga i Elżbieta.