พื้นที่ส่วนใหญ่เป็นที่สูง ป่าเขา ใกล้ทะเล เป็นที่ราบลุ่ม ทางตอนใต้เป็นภูเขา คือ เขาหัวช้าง เขาขี้มวน เขาใหญ่ เขาไฟไหม้เขารอยคน

           นักประวัติศาสตร์เชื่อว่า เมืองสะอุเลา ๑ ใน ๑๒ เมืองนักษัตรของนครศรีธรรมราช คือ เมืองท่าทอง หรือ เมืองกาญจนดิษฐ์

           เมืองท่าทอง มีเรื่องเล่ากันว่า ชายคนหนึ่งชื่อ นายมากชาวเมืองนครศรีธรรมราช อพยพผู้คนมาตั้งหลักปักฐานอยู่ที่นี่ ตั้งเมืองที่ริมฝั่งขวาของแม่น้ำท่าทอง (ท่าทองอุทัย) ตำบลท่าทอง(เดิมเรียกบ้านสะท้อน เพราะมีต้นสะท้อนมาก) จนมีฐานะร่ำรวย ผู้คนอพยพมาอยู่มากขึ้น ได้เปลี่ยนชื่อจากบ้านท่าสะท้อน เป็นบ้านท่าทองเพราะเป็นท่าเรือแห่งการค้าขายติดต่อ

           สมัยรัชกาลที่ ๑ พ.ศ. ๒๓๒๘ พระเจ้าปะดุง กษัตริย์พม่าแต่งกองทัพมาตีเมืองปักษ์ใต้ เมืองท่าทองถูกทำลายเสียหาย ย้ายเมืองท่าทองไปตั้งที่ริมคลองกะแดะ มีผู้รั้งเมืองชื่อ นายสม ต่อมาเลื่อนบรรดาศักดิ์ เป็น หลวงวิเศษ เมืองท่าทองเดิมตั้งอยู่ที่บ้านกะแดะได้ไม่นาน จึงได้ย้ายไปตั้งใหม่ที่ฝั่งซ้ายริมคลองท่าเพชร ราวพ.ศ. ๒๓๓๖ ต่อมาคลองท่าเพชรได้เปลี่ยนชื่อเป็น ท่าทองใหม่ ตามนามเมืองที่คนเรียกทั่วไป ต่อมาหลวงวิเศษ ได้เลื่อนบรรดาศักดิ์เป็นพระวิสูตร ปกครองเมืองท่าทองจนถึงแก่กรรม เมื่อพ.ศ. ๒๓๗๕

           ในสมัยรัชกาลที่ ๓ เจ้าพระยานครศรีธรรมราช มีบุตรชายชื่อ พุ่ม มาปกครองเมืองท่าทอง ได้บรรดาศักดิ์เป็น พระยากาญจนดิษฐ์

           สมัยรัชกาลที่ ๔ เจ้าพระยานคร (น้อย) ถึงแก่อสัญกรรมโปรดเกล้าให้ย้ายเมืองท่าทองไปตั้งที่บ้านดอน เนื่องจากทรงเห็นว่าทำเลสถานที่ตั้งและความเจริญที่บ้านดอนดีกว่า และเปลี่ยนชื่อเมืองใหม่ว่า “กาญจนดิษฐ์” ยกฐานะเป็นเมืองจัตวา ขึ้นตรงต่อกรุงเทพฯพระราชทานบรรดาศักดิ์ให้ นายพุ่ม เป็นพระยากาญจนดิษฐ์บดีเป็นเจ้าเมืองดูแลปกครอง

           สมัยรัชกาลที่ ๕ พ.ศ. ๒๔๔๒ ทรงโปรดเกล้าฯ ให้รวมเมืองไชยากับเมืองกาญจนดิษฐ์ เป็นเมืองเดียวกันเรียกว่า เมืองไชยา ตั้งศาลากลางเมืองที่บ้านดอน แขวงเมืองกาญจนดิษฐ

           สมัยรัชกาลที่ ๖ มีการเปลี่ยนแปลงจัดระเบียบการปกครองท้องถิ่นใหม่ เป็น อำเภอ จังหวัด เมืองกาญจนดิษฐ์หรือ เมืองท่าทองเดิม ได้ยกตั้งขึ้นใหม่เป็นอำเภอ เรียกอำเภอกาญจนดิษฐ์ ย้ายกลับไปตั้งที่ริมฝั่งซ้ายคลองกะแดะ ที่บ้านกะแดะ จนเป็นที่ตั้งเมืองเก่าอีกครั้งหนึ่ง จนกระทั่งถึงทุกวันน