ตำบลห้วยเริ่มมาจากชาวบ้านห้วยกลุ่มแรกอพยพมาจากบ้านห้วยสะพือ ตำบลขุหลุ อำเภอตระการ พืชผล จังหวัดอุบลราชธานี เมื่อปี พ.ศ. 2440 โดยมีครอบครัวของ นายบุญยาทอง และนางอุ่น ยาทอง มาตั้งถิ่น ฐานเป็นครอบครัวแรกที่เข้ามาตั้งบ้านเรือนและประกอบอาชีพเกษตรใกล้กับบริเวณลำห้วย ต่อจำกนั้นมาก็มี ประชาชนอพยพเข้ามาอาศัยจากแหล่งอื่นๆ ซึ่งมีหลังคำเรือนประมาณ 24 หลังคำ โดยมีผู้ใหญ่ไม่ทราบนามสกุล เป็นผู้ใหญ่บ้านคนแรก ต่อมาได้เกิดเหตุการณ์แผ่นดินแยกเป็นรอยลึกยำวซึ่งตามความเชื่อถือเป็นลางร้าย ประกอบกับที่ตั้งหมู่บ้านไม่เหมาะสม จึงได้ย้ายหมู่บ้านลงมาทางทิศใต้ของหมู่บ้านซึ่งอยู่ติดลำห้วยพระเหลา ซึ่งมี ที่เหมาะสมกว่ำและมีการแยกเป็นคุ้มตามถิ่นเดิมที่อพยพมาประกอบด้วยคุ้มบ้านห้วย คุ้มบ้านแดงแสนโกน คุ้ม บ้านสะพือนาพิน คุ้มบ้านผึ้งบ้านสร้อยจานลานและเมื่อได้มีการตั้งหมู่บ้านตามพระราชบัญญัติการปกครอง ท้องที่ จึงได้ตั้งเป็น ตำบลห้วย อำเภอพนานิคม จังหวัดอุบลราชธานี มณฑลอีสาน (ตาม พรบ.การปกครองส่วน ท้องที่ปี พ.ศ.2452) ได้ยุบเมืองเกษมสีมำ (ตระการฯ) มารวมกับเมืองพนานิคมและให้เปลี่ยนชื่อจากเมืองพนา นิคมเป็นอำเภอพนานิคม (อำเภอพนา)

ในปี พ.ศ. 2457 ได้ย้ายอำเภอพนานิคมไปที่บ้านขุหลุ เพราะเห็นว่าที่ตั้งอำเภอไม่เหมาะสมกับการ ปกครองและลดฐานะอำเภอพนานิคมเป็นตำบลพนาและในปี พ.ศ. 2460 ได้เปลี่ยนชื่อเป็นอำเภอขุหลุ ตามที่ตั้ง ปี พ.ศ. 2482 ได้เปลี่ยนชื่อกลับไปใช้อำเภอพนานิคมตามชื่อเดิมอีกครั้งหนึ่งและในปี พ.ศ. 2483 ได้เปลี่ยนชื่อ อำเภอพนานิคมเป็นอำเภอตระการพืชผลจนทุกวันนี้ ในปี พ.ศ. 2494 ตำบลพนา ได้ขอยกฐานะเป็นกิ่งอำเภอ พนาและเป็นอำเภอในปี พ.ศ. 2502 บ้านนาผางจึงได้มาขึ้นการปกครองกับอำเภอพนาและเมื่อปี พ.ศ. 2536 ได้ มีพระราชกฤษฎีกำจัดตั้งตำบลนาหว้าเป็นอำเภอปทุมราชวงศา ประกำศราชกิจจำนุเบกษา ฉบับพิเศษที่ 110 ลง วันที่ 2 กันยายน 2536 มีผลบังคับใช้วันที่ 1 ธันวำคม 2536 พร้อมตั้งอำเภออำนาจ เป็นจังหวัดอำนาจเจริญ จัดตั้งเทศบาลจากองค์การบริหารส่วนตำบล เป็น เทศบาลตำบลห้วย วันที่ 27 ตุลาคม พ.ศ.2552