有听从他的要求罢了。如山涛用人不当而坐罪是可以的，何必上下动手，颠倒轻重呢？不得再追究此事。”山涛内心不安，于是上表谢罪说：“自古以来行王道者守正而已。陛下不能因为一个老臣而改变国法，臣有何心向皇上陈辞。请照白褒所上之表处置，以显示不枉刑法。”武帝又下手诏说：“白褒所奏是虚妄的，我所以未追究他的责任，是我不喜欢动辄发怒，您是明智而有度的人，哪能介意呢！应当就职理事，不让他们再上章表就是了。”
山涛决心引退，因为堂弟媳发丧，返回外舍。武帝下诏说：“山仆射近日暂时出居，因有所操劳而未还，这不是我坐侧席而待贤的意思。现派遣丞掾奉旨告谕，若身体尚未康复，便坐舆车抬回府寺。”山涛辞让不能获准，无奈之下才就职理事。
山公启事
山涛再次任选职十余年，每逢官位有缺，总选又几位备用的人，看到诏旨倾向于某一人，然后才明言上奏，先将武帝所想用的人提出，所以武帝所想用的人，有时没有先提出来，众人不了解详情，认为是山涛凭自己的意愿用人。有人在武帝面前说山涛的不是，所以武帝亲手写诏告诫山涛说：“用人的标准是有才，不遗漏疏远孤贱而有才的人，教化才能遍行于天下。”而山涛还是照样行事，一年以后，众人的意见才平息。山涛所荐拔上奏的人物，列名成册，当时称为《山公启事》。 他前后选举百官都选贤用能，只有用陆亮，是武帝诏命所任用的，与山涛意见不一，山涛争辩而武帝不听。陆亮不久也因为贪污受贿而被罢免。
山涛在朝处于各派之中，晚年时正值杨皇后亲党专政。山涛不愿用杨氏，多次讽谏武帝，武帝虽领悟其意而终究不能改正。后来，山涛因年迈病重，上疏告退说：“臣年近八十，苟延残喘于旦夕，若对国家还有毫末之益，怎能留余力于盛世。迫于衰老，不能再负重任。当今四海无事，天下思从教化，从民心而行无为之政，百姓自能正己。只是应当崇尚风教以使民俗归厚罢了，陛下又有何事可做。臣耳聋目昏，无力奋进。君臣父子之间无须掩饰，因而直陈愚情，希望答应臣的请求。”于是摘下帽子，赤脚徒步送还印绶。
武帝下诏安慰山涛，山涛上表苦苦求退，武帝又下诏不许。尚书令卫瓘上奏说：“山涛因有小病，久不履职。频繁下诏，还不服从诏命。朝中议论以为这样不能成全他的高尚之节，也违背在职为公的要求。若山涛病情沉重，也不宜居官位。可免去山涛官职。”武帝下诏给卫瓘说：“山涛有德操，素为众望所归，而深心退让，十分恳切。故连续下诏，必求改变他的主张，以匡扶朝廷，弥补缺漏。主事者不明诏书深意，反而加以曲解，这有损于崇贤之风，给我加上轻贤无德之名，怎能给远近之人做出表率呢？”山涛不得已又就职理事。
公元279年（咸宁五年），武帝在杜预、张华的支持下决意伐吴，贾充、荀勖等人不同意伐吴，坚持他们的意见，武帝大怒，贾充立即脱帽认罪。山涛退朝回来和别人说：“古人云，‘只有圣人能做到内外无患，假如不是圣人，外部安宁了就必然有内部的忧患。’以晋目前的情况来看，放着吴作外部威胁，难道不是良计吗？”
精论武备
太康初年，迁任尚书右仆射，加光禄大夫、侍中
，掌选职如前。山涛因年老身病坚决要求辞职，武帝亲手写诏说：“您的道德为世人楷模，况先帝已识您的高远之志。我将依靠您以使风俗淳厚，您为何要舍弃朝政以求高名呢！我的至诚之心还不足以使您明白吗？为何上表的言论是那样恳切。应当及时自勉，以慰我深切之望。您不改变引退之志，我将卧不安席。”山涛又上表坚意辞让，武帝不许。
吴国灭亡，天下一统之后，武帝下诏罢除天下兵役，表示海内平安无事，州郡都解散军队，大郡设置武吏一百人，小郡设五十人。武帝曾在宣武场讲武，山涛当时有疾病。武帝下诏乘坐人拉的辇车跟从。山涛当时与卢钦讨论用兵之本（卢钦已于平吴前去世，或许是记载错误，武帝于咸宁年间也曾在宣武场讲武）。认为不应该废除州郡武备，他的论点很精湛。
时人都认为山涛虽然不学孙武、吴起的兵法，但其论兵暗与兵法合，武帝称赞道：“真是天下之名言啊！”但不能采用。在惠帝永宁年间后，多次发生事变，盗贼蜂起，各郡国都因无军备而不能制止，于是导致天下大乱，果如山涛所言。
