隋，吕梁分属于离石郡、西河郡、太原郡、楼烦郡、龙泉郡。离石、修化（窟胡县改）、太和（乌突县改）、平夷、定胡（治所在今柳林孟门）、宁乡等县属离石郡，西河郡辖县有隰城、永安二县，受阳县仍属太原郡，岚城县属楼烦郡，石楼县属龙泉郡。

唐代，吕梁分属于石州、汾州、隰州、岚州、并州（后改太原府）。西河（隰城县改）、孝义（永安县改）二县属汾州，离石、平夷、定胡（治所在今柳林孟门）、临泉、方山属石州，宜芳、合河二县属岚州；石楼、温泉二县属隰州，交城（新析置）、文水二县属并州（太原府）。

五代时期，吕梁境域内所属未变。

宋代，吕梁分属于石州、汾州、岚州、隰州、晋宁军、太原府。离石、平夷、方山为石州辖县。西河、孝义为汾州辖县；宜芳、合河为岚州辖县；石楼、温泉为隰州辖县；定胡（治所在今柳林孟门）、临泉为晋宁军辖县；交城、文水二县为太原府辖县。

金代，仅因晋宁军被撤销，辖县改属石州，其它州县的隶属未变。

元代，吕梁大部属于太原路（后改冀宁路）管辖，境内设置有交城县、文水县、兴州、岚州、临州、石州（辖离石县、宁乡县）、汾州（辖县有西河县、孝义县）。石楼为晋宁路辖县。

明初，吕梁除石楼县属隰州外，境内州县均属太原府。县有兴县、岚县、临县、交城、文水，州有石州（辖宁乡县）、汾州（辖孝义县）。万历二十三年（公元1595年）五月，汾州升为府，并倚郭设汾阳县，原太原府所辖州县、临县、永宁州（隆庆三年后，石州改）及辖县宁乡县和原汾州辖县改属汾州府，府治设汾阳县城。万历四十年（公元1612年）石楼县改属汾州府，清代沿用朝制，建置未变。

1912年取消汾州府建置，永宁州废州改县，1914年1月，永宁县改离石，宁乡县改中阳。1918年，增设方山县。

抗日战争和解放战争期间，吕梁各县均属晋绥边区（先称晋西北）行政公署。

1949年9月，山西省人民政府成立以后，吕梁境内设兴县专区和汾阳专区，兴县专区辖有兴县、临县、离石、方山、岚县等11县，汾阳专区辖县有汾阳、孝义、交城、文水、中阳、石楼等9县。

1951年3月27日汾阳专区撤销，交城、文水、汾阳、孝义等县划归榆次专区，中阳县划归兴县专区；石楼县划归晋南专区。

1952年7月1日，兴县专区撤销，兴县、岚县划归雁北专区；临县、方山、离石、中阳划归榆次专区。

1954年7月1日，离石、方山二县合并为离山县。1958年11月10日，文水、交城二县并入汾阳县，中阳县与离山县合并为离石县，孝义县并入介休县，岚县分别划入静乐和兴县，石楼县并入吕梁县。1959年9月19日除孝义县以外其它各县恢复建置，1961年5月恢复孝义县建置。

1971年5月，吕梁地区组建，同时恢复方山县，新增设娄烦、交口二县；1972年4月，娄烦县划归太原市；1971年10月5日，新增设柳林县。1992年孝义撤县设市，1996年离石、汾阳撤县设市。

2003年10月23日，国务院批准吕梁撤地设市，同时下辖的离石由县级市改为市辖区，下辖的孝义、汾阳两个县级市改由山西省直辖、吕梁市代管。

2004年7月9日，吕梁撤地设市正式挂牌。