เป็นภูเขาและเนินเขาประมาณ ๓ ส่วน ที่ราบประมาณ๒ ส่วน มีภูเขาใหญ่ตรงกลางเกาะ ทอดยาวจากทิศเหนือไปทางทิศใต้ มีที่ราบทางทิศตะวันตก ทางทิศตะวันออกเป็นโขดหิน และภูเขาเป็นส่วนมาก

           คำว่า “พะงัน” สันนิษฐานมาจากคำว่า “พะ” แปลว่าพบ กับคำว่า “งัน” หมายถึง หาดทราย ที่มองเห็นได้ในเวลาน้ำลด

           สมัยรัชกาลที่ ๕ พะงันเป็นเมือง ๆ หนึ่งขึ้นอยู่กับเมืองไชยา พระยาวจีสัตยารักษ์ (ขำ ศรียาภัย) เจ้าเมืองไชยา ได้ส่งหลวงสมุทรคีรี ไปเป็นเจ้าเมืองเกาะพงัน

           พ.ศ. ๒๔๔๐ มีการจัดระบบการปกครองท้องถิ่น เมืองเกาะพะงันถูกยุบไปรวมกับเกาะสมุย เรียกว่าอำเภอเกาะสมุยเกาะพงัน จึงมีฐานะเป็นตำบล มี ๒ ตำบล คือ ต.เกาะพงันและ ต.บ้านใต้

           ๑๑ กันยายน ๒๕๑๓ กระทรวงมหาดไทยแยกเขตท้องที่เกาะพงันเป็นกิ่งอำเภอเกาะพงัน เป็นที่ว่าการกิ่งอำเภอ เมื่อวันที่ ๒๓ ตุลาคม ๒๕๑๓ ใช้อาคารรับรองแขกของวัดราษฎร์เจริญ เป็นที่ทำการ

           ๑๓ เมษายน ๒๕๒๐ ยกฐานะเป็น “อำเภอเกาะพะงัน”มีพิธีเปิดป้ายที่ทำการ เมื่อวันที่ ๑๖ กุมภาพันธ์ ๒๕๒๑