เป็นภูเขาและที่ดอนสูงทั่วไป มีภูเขาใหญ่ตรงกึ่งกลางเกาะมีพื้นที่ราบจำกัดเพียง ๑ ใน ๓ ของเนื้อที่

           คำว่า “สมุย” ไม่มีหลักฐานแน่ชัดว่ามาอย่างไร บ้างก็บอกว่ามาจากคำว่า “เซ่าบ่วย” เป็นภาษาจีนไหหลำ แปลว่าด่านแรก เพราะสมัยก่อนชาวจีนไหหลำบรรทุกสินค้าทางเรือจะมาพักที่นี่ จะเป็นได้ว่าบนเกาะสมุยมีชาวจีนไหหลำมากที่สุดต่อมาเพี้ยนเสียงเป็น “สมุย” บ้างก็บอกว่า เป็นภาษา โจฬะ แปลว่า คลื่นลม บ้างก็ว่าเป็นชื่อต้นไม้ชนิดหนึ่ง เป็นไม้เนื้ออ่อน ต้นไม่โต เรียกว่า “ต้นหมุย”

           ไม่มีหลักฐานชัดเจนว่า มีผู้คนมาอยู่ตั้งแต่เมื่อใด แต่จากหลักฐานทางโบราณคดี มีการค้นพบ “ขวานฟ้า” ลักษณะรูปขวานแต่เป็นหิน บนเกาะสมุย ซึ่งเป็นเครื่องมือของมนุษย์ในยุคหิน มีการค้นพบ “กลองมโหระทึก” ของวัฒนธรรม คองซอน อันเป็นวัฒนธรรมก่อนประวัติศาสตร์ยุคโลหะ

           สมัยรัชกาลที่ ๕ เกาะสมุยเป็นเมืองส่งส่วยอากรให้กับเมืองนครศรีธรรมราช เมืองนครศรีธรรมราชส่งคนมาปกครองดูแลในปี พ.ศ. ๒๔๒๗ ชาวเมืองเกาะสมุยไม่อยากอยู่ภายใต้การปกครองดูแลของเมืองนครศรีธรรมราช จึงร้องทุกข์ต่อ กรมพระยาภาณุพันธ์วงศ์วรเดช กราบทูลให้พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวฯทราบ จึงทำให้เกาะสมุยมาขึ้นกับเมืองไชยา

           พ.ศ. ๒๔๔๐ มีการจัดการปกครองท้องถิ่นใหม่ เกาะสมุยและเกาะพงัน ถูกยุบรวมเป็นอำเภอเดียวกัน เรียกว่า “อำเภอเกาะสมุย” มี หลวงพิพิธอักษร (สิงห์ สุวรรณรักษ์) เป็นนายอำเภอคนแรก ได้ย้ายที่ว่าการอำเภอจากบ้านดอนแตงแล้วมาตั้งที่บ้านหน้าทอนด้วยเห็นว่าใกล้กับที่ทำการเมืองไชยา มีอ่าวจอดเรือที่ดี และสละที่ดินส่วนตัวจำนวน ๖ ไร่ ตั้งเป็นที่ว่าการอำเภอ ในปีพ.ศ. ๒๔๖๘

           ๒๓-๒๔ เมษายน ๒๕๐๕ พระบาทสมเด็จพระเจ้าอยู่หัว และสมเด็จพระบรมราชินีนาถ เสด็จประพาสเกาะสมุย ทรงปรารภถึงความเก่าแก่ของอาคาร เห็นควรสร้างใหม่ได้แล้ว อำเภอจึงได้ของบไปยังส่วนกลาง สร้างอาคารใหม่เสร็จเรียบร้อย ในปีพ.ศ. ๒๕๑๙

           ๑๑ กันยายน ๒๕๑๓ กระทรวงมหาดไทย ประกาศให้เกาะพงัน เป็น กิ่งอำเภอ

           ๑๓ เมษายน ๒๕๒๐ ยกฐานะเกาะพงันเป็นอำเภอ จึงแยกตัวออกจากเกาะสมุย เป็นต้นมา