Градът е наследник на село Долна Сингартия. От 1934 до 1951 година селото се казва Жостово - по името на генерал Константин Жостов, роден в село Гайтаниново, община Хаджидимово.[1] От 1951 година селището носи името на българския революционер и социалистически деец Димо Хаджидимов. В 1959 година към Хаджидимово е присъединено село Горняни - името на Горно Сингартия от 1934 г.[2] Хаджидимово е обявено за град на 23 април 1996 година с Решение на Министерски съвет.
Градът има продължително историческо съществуване. В античността от тук по течението на Места преминава един от важните пътища до централната за Балканския полуостров артерия Виа Егнация. В 1911 година в местността Котубаре е открита каменна гробница с бронзови, сребърни и глинени съдове, сребърни и златни накити. Тук е открита и икона на Свети Георги от Атанас Лазаров от село Горна Сингартия. На мястото, където е намерена иконата е построен манастирът „Свети Георги Победоносец“ в 1865 година, който е обявен за паметник на културата. В близост до града си намира и параклисът „Свети Димитър“.
В „Етнография на вилаетите Адрианопол, Монастир и Салоника“, издадена в Константинопол в 1878 година и отразяваща статистиката на мъжкото население от 1873 година, Горна Сенгартия (Gorna-Sengartia) е посочено като село с 59 домакинства и 28 жители мюсюлмани и 170 българи, а Долна Сенгартия (Dolna-Sengartia) - със 70 домакинства и 55 жители мюсюлмани и 165 българи.[3] В 1889 година Стефан Веркович (Топографическо-этнографическій очеркъ Македоніи) отбелязва Горна Сингартия като село с 47 български и 12 турски къщи, а Долна Сингартия с 46 български и 24 турски къщи.[4]
В 1891 година Георги Стрезов пише за селата:„ Горно Сингартия, село на Ю от Неврокоп 2 часа път. Лежи на един баир. Местност неравна; земледелци. Църква св. Георги откъм южната страна на селото. Четат гръцки; 75 къщи българе и турци.[5]
Долно Сингартия, една част от което е и чифлик; на СИ от Горно Сингартия, по-малко от 1/2 час път, разположено на равнище до един поток. Поминък със земледелие. Черкуват се в Горно Сингартия. Къщи 60, и 10 турци. ablanitsa Историческите извори показват, че Абланица е едно от най-древните селища по поречието на река Места в областта Чеч. Първите писмени извори, в които селото фигурира като населено място под наименованията Апланче, Абланиче и Аблание са османските регистри от края на XV в. В друг османски регистър от вилаета на Тимур хисаръ от края на 1617 г. селото фигурира като Абланиче.
За по-ранното развитие на населеното място свидетелстват археологическите разкопки и находки в селото и околността, изследвани и записани от български археолози, историци и изследователи. Допълнителна информация за образуването и развитието на селото ни дават и редицата други археологически находки от старинни селища и некрополи, намиращи се в близост до селото.Открити и проучени са както славянски, така и тракийски селища и светилища и намерените в тях предмети и инвентар свидетелстват както за ранно развитие на общността, така и за наличието на различни култури, оставили своите свидетелства за многовековното си съществуване. Обощавайки тези факти, се твърди, че началото на населеното място е поставено от траките с образуване на селище от няколко колиби в местността Балтачица. Тъй като това селище се намира на изключително стратегическо място, разположено е в непосродствена близост до една от най-развитите пътни артерии още от дълбока древност, това е пътят, свръзващ вътрешността на териториите на България, преминаващ през Пловдив, Пещера, Батак, Доспат, през селата Сатовча, Абланица, пресичащ река Места на местността Боналъка, през Възем, Белотинци, Сяр, Солун и Атина и използван за търговска и транспортна дейност, изграден и поддържан от римляните, чийто останки могат да се видят и днес в местността Кардалома, започва развитието си и се обособява като развито населено място още през ранното средновековие.
До 1944 година главен поминък били скотовъдството и земеделието — лозарство и овощарство. Тогава Абланица е била известна с лозовите си масиви, запазени в имената на местностите „Лозята“ и „Голямо Лозе“. Гроздоберът е бил голям празник. От цялата околия се стичали хора да помагат и накрая се правел пищен гуляй на местостта „Чевермето“.