羊祜不失时机的上疏请求伐吴，奏疏说：“先帝顺应天意人心，西平巴蜀，南和孙吴，海内百姓得以休养生息，人心安乐。而吴背信弃约，使边境又生战事，国家气数虽是天定，而功业必靠人为，不灭东吴，则士卒百姓无安宁之日。完成统一大业，也是光大先帝功勋，实现无为而治的举措。尧伐丹水，舜征三苗，都是以使宇内安宁，停止兵乱，民众和睦为目的的。当年平蜀之时，天下人都以为应当一并灭吴，而蜀灭至今已十三年，这算一个周期，灭吴的日子应在今天了。而议论此事者常说吴楚在盛世最后被征服，在乱世最先强盛，这是诸侯纷争的时候，当今天下一统，不得与古时并论。有些说法只适用于大道理而不知权变，所以出谋略的人很多，而可以作为决策的就少了。凡是凭险阻而得生存的国家，是指它的实力与敌国相差不多，有力量固守。如地位轻重不同，强弱相差很大，那智士的计谋也不能救它。险阻的地势也不能保它。蜀国地势不是不险要，高山上接云霓，深谷不见日月，关隘险道，束马悬车方能通过，有一夫操戈，千人莫挡之势。然而灭蜀进军时，蜀国好像连一道篱笆都没有，我军斩将夺旗，斩杀敌军数万，乘胜席卷蜀地，直捣成都城下，汉中一带的蜀兵，像鸟栖于巢一样不敢出动。这也并非蜀人不愿战，实在是力量不足与我军抗衡。到刘禅投降时，蜀地各营垒官兵便悄然四散。目前江淮的难渡不会超过剑阁，山川的险要不会超过岷山汉水，孙皓的暴虐超过刘禅，吴人的贫困甚于巴蜀，而大晋的军队多于前世，军饷兵械多于往日。不趁此机会平吴，而屯兵据险相守，使士兵役夫日夜辛苦于战争徭役，旷日持久。这种状况不能维持长久，应当及时定夺，统一四海。如果率领梁、益两州军队水陆并进而东下，荆楚军队进逼江陵，平南、豫州军队进攻夏口，徐、扬、青、兖等州军队进军秣陵，击鼓摇旗作为疑军，多方齐进，使敌军虚实难辨，以东南一角的吴国，抵挡天下大军必然兵力分散，人心慌乱，各种军需紧急难备。这时巴、汉军队顺流而下，直捣空虚腹地，一处陷落则全境震动。吴国国土沿江，没有前线后方之分，东西数千里，处处设防，战场广大，不能安息养精。孙皓肆意妄为，与下属互相猜忌，名臣重将失去信心，所以像孙秀这类人都害怕威胁而来投降。将帅疑于朝廷，士卒困顿于战场，没有保国安民之计，人心散乱，平时即有叛离之意，一旦兵临城下，必然有人响应而来降，他们最后不会齐心拼死尽忠是可以预见的。吴人做事急速而不能持久，弓弩戟盾等又不如中原，只有水战于他们有利，但我军一入吴境，长江就不是吴军专有，吴军回头保守城池，则是去其长而有其短。晋军深入敌国，远离后方，必有死战的决心;吴人在本土作战，会有败则退而守城的念头。这样看来，平吴之战是很快可以取胜的。”此疏就是历史上有名的《请伐吴疏》。

奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。

恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“东吴平定，则胡人自然安定，，当前只应迅速完成灭吴的大业啊。”但还是遭到大部分人的反对，羊祜叹道：“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾！”

公元277年（咸宁三年）七月，又以都督豫州诸军事王浑为都督扬州诸军事，以镇南大将军司马亮为都督豫州诸军事，左将军胡奋为都督江北诸军事。

公元277年（咸宁三年），晋武帝下诏封羊祜为南城侯，设置相的官职，与郡公同级。羊祜辞让说：“昔日张良辞让三万户的封地，只接受留这个地方的一万户，汉高祖满足了他的愿望。臣在先帝时接受了钜平这块封地，岂能再接受更重的封爵而遭来官场的非议。”坚意不接受这次加封，晋武帝也就答应了。

羊祜每次被晋武帝提拔封赏，常持恬淡退让态度，至诚之心世人皆知，他的德操志趣，往往不在官职的行列等次上。所以英名美德传播远近，朝野上下有目共睹，朝中大臣议论，羊祜应居宰相之位。但晋武帝正在考虑灭吴之计，将东南军政要务托付给羊祜，也就把大臣的意见搁置一边了。

羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询，而争权求利的事却与他无关。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。凡是他所荐拔的人，都不知荐拔人是谁。有人认为羊祜这样谨慎守密太过分了，羊祜解释说：“话怎能这样说呢，现在一般人在你跟前促膝谈心，像是很亲近，一出门就说假话坏话，所谓君臣之间不守密的训诫，我怕自己还没做到呢?身居要位而不荐拔贤才奇人，岂不在知人问题上有愧吗？况且，被荐举的人在朝廷受职，而却到荐拔者私门谢恩，这是我不愿意做的。”羊祜的女婿劝羊祜说：“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”羊祜当时没有答话，事后告诉子女们说：“这种说法是知其一不知其二。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们应记住我这些话。”

羊祜曾经给从弟羊琇写信道：“东吴平定之后，我当戴上隐士的角巾，东回故里，经营一个能容棺材的坟墓。一个贫寒之士而至身居重位，怎能不因势盛气满而受指责呢?汉朝弃官归农的疏广就是我的榜样。”

羊祜喜游山水，风景美好的日子，一定到襄阳城南的岘山游乐，饮酒赋诗，终日不倦。有次，羊祜慨然叹息，对从事中郎邹湛等人说：“自从有了宇宙便有此山，自古以来的贤达高士，像我和你们一样，登上此山眺望游乐的不知有多少，但都淹没无闻了，想来令人悲伤。如死后有知，我的魂魄仍会登此山的。”邹湛说：“您老德冠四海，道接前哲，美好的业绩和名望一定和岘山一样永存于世，至于我等之人，才像您说的会淹没无闻啊！”羊祜讨伐孙吴有功，应当增封爵位与封地，于是请求皇帝将自己应增的爵位封地赐给舅父的儿子蔡袭，于是晋武帝下诏封蔡袭为关内侯，食邑三百户。

同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。羊祜说：“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢?让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”使者也无法责问羊祜了。

公元278年（咸宁四年）八月，羊祜染病，请求入朝。返回洛阳正逢景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。晋武帝下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向晋武帝陈述了伐吴的主张。

公元278年（咸宁四年）十一月，羊祜去世，晋武帝依羊祜生前所荐，以杜预继任征南大将军、都督荆州诸军事。

孙吴方面，面对晋军进攻的严重威胁。一些大臣深感忧虑。他们认为吴国虽有长江天险，但“长江之限，不可久恃”因此向孙皓建议，在政治上“省息百役，罢去苛扰”，“养民丰财”，以加强内部的安定和经济实力；在军事上，为防晋军从上游顺流而下，加强建平（郡治在今湖北秭归）、西陵（今湖北宜昌东南西陵峡口）的防务。东吴名将陆抗指出：“西陵、建平，国之蕃表（屏障）”，“如其有虞，当倾国争之。”，因此，他担任乐乡都督后，请求庄西陵屯精兵三万人。公元272年（泰始八年），王濬在巴蜀造战船，大量碎木顺流而下，建平太守吾彦见后，知晋将发兵顺流而下，请求增强建平守备。公元274年（泰始十年），陆抗再次上疏，陈述加强建平、西陵防守的重要性。他说。“若其不然。深可忧也。”但是，这些有重要战略价值的建议，都没有被采纳。吴主孙皓认为晋无力攻吴，且吴有长江天险，难以攻破。因此他不修内政。暴虐如故。在军事上不重军备。放松长江上游的防务，当然更谈不上通盘的战略考虑和进行全面的防御准备了。