山遐（？—340年代），字彦林，山简子，晋朝余姚令。时东晋初建，法禁宽弛，豪族多挟藏户口，让他们私下依附自己。山遐以峻法治理，到县八十日，查出万余户口。县人虞喜因藏户，罪当弃市，山遐想法办他。诸豪强莫不切齿恨山遐，对执政官员说虞喜有高节，不宜屈辱。又因山遐擅自造县舍，遂陷山遐于罪。山遐给会稽内史何充写笺：“乞求留任百日，穷究逃犯，然后退职服罪，无恨。”何充为之申理，无果，最终坐罪免官。后为东阳太守，为政严猛。晋康帝下诏给山遐质疑东阳近日囚犯增多，山遐处之自若，本郡境内肃然。
建元元年（343年）二月，荆州刺史庾翼写信给哥哥车骑将军庾冰提到“山遐为余姚长，为官出豪强所藏二千户，而众豪强共驱逐之，令山遐不得安席。这虽然都是之前宰相昏谬，但江东大势已去，实缘于此”。
永和元年（345年）至三年（347年）期间，山遐卒于任上。司徒左长史王濛向辅政大臣录尚书六条事会稽王司马昱请求任东阳太守，说：“得山遐严厉的为政作风荫藉，我可让当地和谐安定。”但司马昱没有答应。
