公元282年（太康三年），被拜为司徒，山涛又坚意辞让，武帝下诏说：“您年迈而德高，是朝中元老，因而授给台辅之位，但您崇尚谦让之远名，反复推辞，令我心中忧虑。您应该坚持始终，辅助我呀。”
山涛又上表说：“臣侍奉天朝三十余年，对德政教化无毫厘功效。陛下私心爱臣不已，枉授三司之任。臣听说德行薄陋而位高，力量少而责任重，这样导致上有败坏国事之祸，下有损伤家庙祖宗之咎。希望陛下念累世君臣之恩，乞求骸骨以归故里。”武帝下诏说：“您辅助朝政，保护治理皇家，匡扶之功，为朕所依赖。司徒之职，实掌国家教化，因而敬授予您，以满足群臣百姓之望，怎能只顾谦让而贬低自己呢！”武帝下令不准山涛再上章表辞职，使者把印绶交给卧病在床的山涛。山涛说：“将死之人，怎能玷污官府呢！”于是卧病乘车归家。
清贫而终
公元283年（太康四年），山涛去世，终年七十九岁。武帝下诏赐棺木朝服各一具、衣一套、钱五十万、布百匹，以供丧事之用，策命追赠司徒的蜡印紫绶、侍中的貂蝉及新沓伯的蜡印青朱绶，以太牢礼仪祭祀，谥号康。
将要下葬时，又赐钱四十万、布百匹。司徒左长史范晷等上奏说：“山涛旧宅第仅有屋十间，但子孙众多，容纳不下。”武帝于是为山涛家建了住宅。
历史评价
司马师：“吕望欲仕邪？”
司马昭：“足下在事清明，雅操迈时。”
裴楷：“见山巨源如登山临下幽然深远。”
司马炎：“①涛以德素为朝之望，而常深退让，至于恳切。” “②涛清风淳履，思心通远，宜侍帷幄，尽规左右。”“③议郎山涛，至性简静，凌虚笃素，立身行已，足以励俗，其以涛为吏部尚书。”“④涛秉德冲素，思心潜通，清虚履道，有古人之风。”“⑤君以道德为世模表，况自先帝识君远意。”“⑥君年耆德茂，朝之硕老，是以授君台辅之位。”“⑦君翼赞朝政，保乂皇家，匡佐之勋，朕所倚赖。”
王戎：“如浑金璞玉，人皆钦其宝，莫知名其器。”
王衍：“①晻晻为与道合，其深不可测。” “②此人初不肯以谈自居，然不读《老》、《庄》时闻其咏往往与其旨合。”
孙盛：“①山涛通简有德，秀、咸、戎、伶朗达有俊才。于时之谈，以阮为首，王戎次之，山、向之徒，皆其伦也。” “②涛雅素恢达，度量弘远，心存事外，而与时俛仰。”
孙绰：“护公德居物宗，巨源位登论道：二公风德高远，足为流辈矣。”
袁宏：“山公中怀体默，易可因任，平施不挠，在众乐同，游刃一世，不亦可乎！”
顾恺之：“①涛无所标明，淳深渊默，人莫见其迹，而其器亦入道，故见者莫能称谓，而服其伟量。” “②涛有而不恃。”
刘义庆《世说新语》：“①山公以器重朝望，年逾七十，犹知管时任。” “②山司徒前后选殆周遍百官举无失才，凡所题目皆如其言。”
房玄龄《晋书》：“晋家求士，乃构仙台，陵云切汉，山叟知材。”
李翰：“山涛识量，毛玠公方。”
魏元忠：“臣尝读魏、晋史，每鄙何晏、王衍终日谈空。近观齐、梁书，才士亦复不少，并何益于理乱哉？从此而言，则陆士衡著《辨亡论》，而不救河桥之败，养由基射能穿札，而不止鄢陵之奔，断可知矣。昔赵岐撰御寇之论，山涛陈用兵之本，皆坐运帷幄，暗合孙、吴。宣尼称‘有德者必有言，仁者必有勇’，则何平叔、王夷甫岂得同日而言载！”
陈普：“君王祖述竹林风，竹叶纷纷插满宫。祸乱古今惟晋酷，是非忧乐一山公。”
王应麟：“山涛欲释吴以为外惧，又言不宜去州郡武备，其深识远虑，非清谈之流也。颜延之于七贤，不取山、王，然戎何足以比涛，犹碈之于玉也。”
徐钧：“身心已逐竹林游，为国搜贤事却优。持正拟官觇上意，事君可作不忠谋。”
胡三省：“山涛身为大臣，不昌言于朝而退以告人，盖求合于贾充者也。”
谷应泰：“西杨（杨士奇）主议，舜德格苗，刘球上书，不称荒服。或亦朝多浊乱，内忧群小。北敌陆梁，外忧方大。文子不愿楚败，山涛方惧吴亡，大臣之用心固如是耶！”
王夫之《读通鉴论》：“陶璜、山涛力排罢兵之议，从事后而言之，验矣。”
顾炎武《日知录》：“昔者嵇绍之父康被杀于晋文王，至武帝革命之时，而山涛荐之人仕，绍时屏居私门，欲辞不就。涛谓之曰：‘为君思之久矣，天地四时犹有消息，而况于人乎。’一时传诵，以为名言，而不知其败义伤教，至于率天下而无父者也......如山涛者，既为邪说之魁，遂使嵇绍之贤且犯天下之不韪而不顾，夫邪正之说不容两立，使谓绍为忠，则必谓王裒为不忠而後可也，何怪其相率臣于刘聪、石勒，观其故主青衣行酒，而不以动其心者乎？是故知保人下，然後知保其国。保国者，其君其臣，肉食者谋之；保天下者，匹夫之贱与有责焉耳矣。”
