羊祜的老岳父夏侯霸投奔蜀国以后，一家老小却仍然留在首都洛阳，很多亲属怕受牵连，都和昔日这一家子断绝了来往。这个时候，羊祜顶起了老岳父的家，对这一家人更加照顾。在这种平平淡淡的日子里，羊祜的妈妈和大哥羊发都相继离开了羊祜，羊祜成为了羊家新一代的带头人。

在妈妈和大哥死后，羊祜完全按照儒家的标准，结结实实的为他们守了十几年的丧，穿了十几年的孝服，吃了十几年的素餐，住了十几年的草房，睡了十几年的草席，当然，在这十几年中，他应该连女人都没碰。我绝对相信羊祜对家人有着深深的感情，也绝对相信羊祜守了十几年丧不是装出来的，不过，他的守孝，也是一种躲避政治风险的借口，因为这个时候，司马家族和忠于曹魏帝国皇室的各种势力仍在激烈斗争，在羊祜不能确定到底鹿死谁手的情况下，他的隐居生活，还要一直继续下去。就在守丧的时间里，羊祜也就从一个青年，渐渐成为一个心思细密、思虑深远的壮年男人了。

在羊祜34岁那年，也就是公元255年2月5日，司马炎的老爸司马昭正式接手司马师留下的霸业，成为曹魏帝国的大将军、实际掌权人。在司马昭上台以后，他立刻派人去找羊祜，想让他到自己的大将军府做事，但是直到这个时候羊祜还没有答应，还是不想直接和司马昭扯上关系。直到司马昭用曹魏皇帝的名义召他做曹魏帝国的正式官员，羊祜才开始步入政坛。

由于本身就和司马家族沾着亲，同时和曹魏帝国皇室也保持着面子上的温情，所以司马家和曹家两方都看好的羊祜，仕途自然是一路绿灯，他先担任了中书侍郎（皇帝办公室委员委员），后来又调到皇帝曹髦身边当了给事中（皇帝中级顾问）、黄门郎（皇帝秘书侍从）。曹髦被杀以后，曹奂继续当傀儡皇帝，羊祜认为给这个比囚犯还不如的皇帝做事，根本不会有出息，就想办法转任了中央图书馆馆长（秘书监），也就是在这个时候，已经步入中年的羊祜义无反顾的离开了曹魏皇室，成为了司马家族的干将。

在司马昭时代，同样是大士族出身的钟会正在得宠，可以说是司马昭的第一高参，很多人为了争取一个好的前途，都争着抢着和他结交，可是羊祜却对钟会敬而远之。要说羊祜的眼光，确实不是吹的，他好像料定了钟会这种人不会长久似的。后来，钟会果真就因为叛乱被杀，司马昭从此改变重用士族的做法，提拔了一大批亲戚和出身并不太显赫的亲信进入中枢，而羊祜作为司马家族的亲戚，自然得到特别重用，在司马昭身边担任了从事中郎（秘书长），和另一个亲信荀勖一起负责中枢机要。不久，羊祜再被任命为中领军（中央禁卫军司令），统领宫城、皇城及首都内外的所有禁卫军，负责监视曹魏皇帝，保卫司马昭的安全。司马昭建立五等爵位以后，羊祜被封为巨平子爵。

司马炎登基后，对所有忠于自己的下属们，都给予了升迁，劳苦功高的羊祜也在本职位上升任中军将军，同时加授皇帝骑马侍从官（散骑常侍），封为巨平公爵，享受三千户人家的赋税。羊祜这个时候，才刚刚44岁，当时司马家族的第一重臣贾充，也才是公爵而已，可见司马炎对羊祜的器重。羊祜怕引起贾充这些人的妒嫉，坚决不接受公爵，司马炎也明白了羊祜的一番苦心，同意了他的要求，只让他升为巨平侯爵，但是封他的妻子做了诰命夫人。

司马炎为爸爸守丧的时候，坚持要按照几百年前最古老的儒家传统要求，穿三年孝服、吃三年素食。羊祜知道以后，劝司马炎干脆恢复全部老传统，让所有老百姓跟着司马炎一起穿三年孝服、吃三年素食。当时就有人反驳他，说这样干过于劳民伤财，况且那种过于理想的守丧制度，过于死板，根本行不通，于是羊祜才不再提出让天下恢复古制的话。从这件事上，人们更加了解到羊祜对于儒家伦理道德是多么执着，很多人虽然不认同他过于虔诚的做法，但对他的精神都心存敬佩。

不久，司马炎就特别颁布了一道诏书，把羊祜晋升为卫将军，同时兼任左仆射（国务院副总理），还赐给他一个警卫卫队。当时，和羊祜岁数不相上下的核心重臣，还有贾充、裴秀，论资历、势力和能力，羊祜比他们哪一个都不差，但是羊祜却非常小心谨慎，从来不让自己的官位和爵位比他们高。

公元269年，司马炎对未来的灭吴工作做出重大部署，羊祜离开洛阳，都督荆州军事（湖北军区司令），被授予皇帝三级符节——假节，驻扎在襄阳，以前的官职照旧兼任。

羊祜到任以后，对辖区事务做出一系列重大改革。他到了荆州，最先办的一件事儿就是开设学校，当然，这种学校肯定主要教的是儒家经典，同时积极的安抚百姓，很快，整个荆州的社会风气焕然一新，人们谦和礼让，社会矛盾也日渐减少。

镇守一方，最重要的当然是治理，而治理工作当中最重要的，当然是治理手下的官员。当时荆州官场流行一种风气，官员如果死在任上，下一任官员为了躲避晦气，都要把办公大楼重新装修一遍，有的甚至就干脆拆掉重盖。当时的荆州，不算州一级的长官，光郡太守就有七个，至于县令就更多了，有六十多个，这么多的人，只要有一个死在任上，就要重新搞一栋楼，既造成了巨大的浪费，也让老百姓满口怨言，羊祜到任以后，严令杜绝了这种现象。这样，光每年官府的装修费、建筑费，就能省出一大笔钱。

羊祜深知，打仗就是打粮和打钱，他刚刚到任的时候，军队的存粮还不够一百天，而且东吴经常来骚扰，既缺粮又不能专心种粮，荆州省会襄阳以南的地区，粮食几乎绝收。为了搞到充足的后勤保障，为今后大规模的战斗做准备，羊祜让一些士兵离开驻防任务，专门从事农田的种植工作，一下子就开垦了八百多顷农田，等十年之后他离任的时候，荆州已经拥有了十年的存粮，这些粮食，为后来平定东吴做出了巨大贡献。

羊祜对自己的士兵，也是非常信任和爱护，他在军营里，经常穿着便服，很少披挂铠甲，周围的侍卫也不过十几人，即使这样，也从来没有发生对于羊祜的刺杀事件。要说人非圣贤，羊祜难免也有些爱好，比如说打猎钓鱼、游山玩水，也常常因此荒废公务。有一天晚上，他临时兴起就想出营，结果被司马（军事总监）徐胤拿着武器拦在大营门外。徐胤严肃的对羊祜说：“将军你重任在肩，怎么这么不小心！您的安全，关系着国家的安危！今天除非我死，否则您别想出这个门！”羊祜一样子意识到自己随心所欲的严重性，马上严肃起来向徐胤道歉，从此就很少外出了。

荆州在羊祜的治理下焕然一新，所有这一切，自然会有很多人通过各种渠道汇报给司马炎。司马炎看到羊祜的政绩当然非常高兴，在公元272年，羊祜再被晋升到车骑将军，开府仪同三司，成为了一品大员。然而就在当年，一场西陵之战，让西晋王朝包括羊祜所做的种种努力，全部成为泡影。被降了职的羊祜意识到，东吴帝国还不可能马上就被消灭，因为它的顶梁柱还没有塌，它的守护神还没有死。以陆抗为代表的东吴士族，对孙皓还是非常忠心耿耿的，它还没有到最后崩盘的地步。

第一次和陆抗交锋，就使羊祜深深体会了这个对手的可怕。既然靠枪杆子打不过陆抗，羊祜就换了一种策略：以德服人，温火炖熊掌，让东吴军民自己反水。

当时在西晋和东吴边界，东吴筑了一座要塞，叫做石城（湖北钟祥），这个地方三面被汉江包围，而且背靠大山，绝对是个易守难攻的军事要塞。而且，石城离襄阳才一百多公里，东吴军队一天之内就能打一个往返，只要这个堡垒存在，羊祜就不能安心的种田，为了防止东吴骚扰自己的种田计划，羊祜想办法让东吴军队自己放弃了石城，然后自己占据了这里，一连修建了五个军事要塞，牢牢卡住了这个东吴从荆州进攻的咽喉要道。从此以后，石城以西再也见不到东吴军队，羊祜成功的压制了东吴帝国的攻势，挽回了西陵大败的颜面，同时也让更多的东吴人意识到，西晋虽然失败过一次，但是它的实力仍然是压倒性的，它输得起。

在绝对优势的震慑下，羊祜开始大肆收买东吴人心。凡是他的部队经过边境的时候，只要在吴国境内割了吴国百姓的粮食，全都记下数量，然后按照当时的市价，折合成丝绸布匹再送给东吴。羊祜每次与部下在边境打猎，从来不超过边境线，有时候碰到东吴军队也在边境打猎，有的猎物被吴军射伤跑到西晋地界的，羊祜都要把猎物还给东吴。羊祜每次与吴国交战，都要约定日期才开战，不搞突然袭击。部下有劝羊祜偷袭吴军的，羊祜也不表示反对，就请他来喝酒，把提议偷袭的人灌醉，让他说不出话来。

羊祜这样的以德服人，完全征服了东吴百姓官员的心，相对于最喜欢杀人的孙皓，羊祜所代表的西晋简直就是正义的化身，以至于东吴的官兵和百姓在称呼羊祜的时候，都不说他的名字，而是尊称他为“羊公”。荆州军区在羊祜的领导下，虽然有过一次西陵战败，但是经过多年的积累，仍然是兵强马壮、后勤充足，这样的功绩，自然会被司马炎看在眼里，所以在276年，被任命为征南大将军、开府仪同三司，重新享受一品大臣的待遇。

自从羊祜专心以德服人以后，在己方已经赢得过一次胜利的情况下，东吴帝国的将领还是一波一波的前来投降。公元274年7月，东吴平虏将军孟泰、偏将军王嗣投降；公元276年8月，又一个东吴皇族、京下督孙楷也来投降。羊祜对投奔的东吴官员，也都给予充分的信任，从来不控制他们的人身自由，如果这些人想回东吴，羊祜也丝毫不加阻拦。

有一次，吴将陈尚、潘景来进攻羊祜，被羊祜击退，在追击中被杀死，羊祜敬佩他们的忠诚，为他们举行了隆重的葬礼，并且陈尚、潘景的家属来奔丧的时候，羊祜十分尊敬的对待他们，让他们带着陈尚、潘景的遗体回到东吴，使得陈家和潘家人感激的五体投地。

又有一次，吴国将领邓香领兵进攻夏口（汉口），对夏口进行了大规模的掠夺，使得夏口遭受重创。羊祜对邓香的行为十分气愤，悬赏把他从吴国给绑架了过来，抓来后，羊祜只把邓香教训了一顿，就又叫士兵把他放回东吴。邓香感激羊祜不记前仇，最后率领部队投降。又有一次，羊祜的部下在边界抓到两个吴军将领的孩子，羊祜知道后，马上命令将孩子送回东吴。277年5月，吴将夏详、邵颉（杰）率七千多人来投奔羊祜，当初被放回的那两个孩子的爸爸也率领部队，跟着一起来投降。

看着这么多的东吴将领来归顺，羊祜知道自己的方法已经见效，但它知道，给东吴最后一击，还要彻底征服那个人的心，这个人就是东吴的守护神陆抗。

接下来的，就是西晋和东吴两位最杰出统率意志的较量。