ร้อยละ ๖๐ เป็นป่าและภูเขาสูง อยู่ทางทิศตะวันตกและตะวันตกเฉียงใต้ มีเขาสกกั้นพรมแดนระหว่าง อ.พนม กับ อ.ตะกั่วป่า จังหวัดพังงา มีพื้นที่ค่อยๆ ลาดเอียง ไปทางทิศตะวันออก

           พื้นที่ อำเภอพนม ในสมัยโบราณเป็นเส้นทางที่ใช้ข้ามคาบสมุทรจากฝั่งตะวันออก ไปยังฝั่งตะวันตก คือ ตะกั่วป่าพังงา มากกว่าอ้อมไปทางปลายแหลมมลายู

           ในสมัยธนบุรี และต้นรัตนโกสินทร์ เป็นเส้นทางลำเลียงแร่ดีบุก จากหัวเมืองชายฝั่งตะวันตก แต่เนื่องจากเส้นทางนี้ไม่สะดวก เนื่องจากต้องขึ้นเขา และผ่านแก่งเยอะ จึงมีการตัดทางบกผ่านพังงา เขานางหงส์ ปากลาน ทุ่งคา มะรุ่ย มาลงท่าน้ำที่พนมแทนเส้นทางเดิม

           พ.ศ. ๒๔๓๗ ท้องที่พนม เดิมเป็นชุมทางผ่านที่สำคัญขุนเพชรคีรี นายกองที่พนมเป็นผู้คอยเกลี้ยกล่อมเอาเลกหัวเมืองชายฝั่งตะวันตกที่หลบหนีอยู่ มาตั้งบ้านเรือนทำมาหากินประมาณ ๒๐๐-๓๐๐ ครอบครัว เพื่อรักษาพระราชทรัพย์ของหลวง

           ท้องที่พนม เป็นแขวงขึ้นกับเมืองนครศรีธรรมราช กระทั่งพ.ศ. ๒๔๔๐ ยุบพนมลงเป็นตำบล ขึ้นกับ อำเภอลำพูน

           พ.ศ. ๒๔๔๒ แยกพนมออกเป็นกิ่งอำเภอ

           พ.ศ. ๒๔๔๙ โอนกิ่งอำเภอพนม จากเมืองนครศรีธรรมราช ขึ้นกับเมืองไชยา จึงไปขึ้นกับ อำเภอท่าข้าม

           ๑๗ พฤศจิกายน ๒๕๑๔ ได้รับการยกฐานะเป็นอำเภอชื่อ “อำเภอพนม”