เป็นภูเขาสูงและป่าทึบ ประมาณ ๒ ใน ๓ ส่วนของพื้นที่ทั้งหมด ที่เหลือเป็นที่ราบดินตะกอน ระหว่างหุบเขาและลุ่มน้ำ พื้นที่ค่อยๆ ลาดเอียงจากทางเหนือ และทางตะวันตกไปทางตะวันออก เป็นอำเภอที่อยู่ในหุบเขา

           ในเขตอำเภอบ้านตาขุน มีการค้นพบเครื่องใช้ของมนุษย์สมัยหินใหม่ โดยเฉพาะขวานหินขัด จึงสันนิษฐานว่า เคยเป็นที่อยู่อาศัยของมนุษย์ยุคหินก่อนประวัติศาสตร์ สมัยหินใหม่และมีการอพยพผู้คน ตั้งถิ่นฐานมาตามลุ่มน้ำ จากลำคลองแสง สู่ที่ราบลุ่มพุมดวง-ตาปี

           คำว่า ตาขุน มีเรื่องเล่าต่อๆ มาว่า สมัยที่เมืองคีรีรัฐขึ้นตรงกับเมืองนครศรีธรรมราช ได้ตั้งขุนหัวเมืองมาปกครองเมืองคีรีรัฐนิคม การเดินทางจากนครศรีธรรมราชโดยทางเรือผ่านมาทางอำเภอบ้านนาสาร ต้องลงเรือต่อไปคีรีรัฐนิคม ที่หมู่ที่ ๔ ตำบลเขาวง จึงต้องมีการสร้างที่พักไว้รับรอง “ขุนหัวเมือง” ที่นี่ จึงเรียกขานบ้านนี้ว่า บ้านตาขุน และเข้าใจว่าคงเป็นบ้านที่ใหญ่โต เพราะติดลำน้ำมีท่าเทียบเรือ ค้าขาย ขุนหัวเมือง คงมาพักบ่อยๆ หมู่บ้านนี้จึงเจริญอย่างรวดเร็ว

           ท้องที่นี้ เป็นหมู่บ้านขึ้นกับเมืองคีรีรัฐนิคม ตั้งแต่ยังขึ้นกับเมืองนครศรีธรรมราช กระทั่งโอนเมืองคีรีรัฐนิคม ขึ้นกับตะกั่วป่า และยุบลงเป็นอำเภอคีรีรัฐนิคมขึ้นกับเมืองไชยา เมื่อปี พ.ศ. ๒๔๔๑

           ๒๐ กรกฎาคม ๒๕๑๖ ยกฐานะเป็นกิ่งอำเภอบ้านตาขุน

           ๙ กันยายน ๒๕๑๙ ยกฐานะเป็น อำเภอบ้านตาขุน