公元前119年，机会来了。这一年，朝廷又一次大发兵征讨匈奴，霍去病率军出代郡北伐，沿途经过河东郡。此时霍去病已是皇帝身边红得发紫的大红人，其势头已超过大将军卫青，再加上此行是帝国最重要的军事行为，地方官自然不敢怠慢。河东太守亲自郊迎，到了平阳传舍，霍去病派人去迎接父亲霍仲儒。也就在这个时候，霍去病才知道自己还有个弟弟。他为父亲买了田宅，以及佣人，就出征了.凯旋归来,他又一次跟父亲见面，并且带着霍光去了京城。这个时候，霍光还是个孩子，只有十几岁。因为哥哥的原因，霍光被任命为郎官，成为宫中侍卫，后来他一步步做了侍中、奉车都尉、光禄大夫。

武帝任命霍光为辅政大臣，看中的是他的稳重谨慎，中规中矩。霍光每次进入殿中，一直站在固定的地方，服侍武帝的二十多年里，始终没有变过。这事情传出去，大家都觉得不可思议。这么点小事都这么注意？不会是真的吧！有些人暗地里观察，发现的确是这样，丝毫不差。武帝知道了，也大为吃惊。正因为如此，武帝对霍光才会刮目相看。

其实霍光也是运气好，如果在汉武帝前期，正值国家多事、以建功为立业之际，他的这种性格是不会受欢迎的。比较起来，他跟汉朝著名的万石君石奋、石庆父子很像。石奋一辈子以谨慎著称，老来退休在家，有时候皇帝赐食给他，他就慌忙跪下，匍匐着将饭菜吃完，就好像皇帝在跟前监督一样，他的子孙当了官，来看望他，他就穿上朝服，仿佛见同僚一样，很正规，言不及私。他的儿子石庆也是如此，但是这样的人——说老实话，到底有什么用呢？用司马光的观点来分析，虽然历史学家给他们立了传，但他们这些人只能说得上有德，而谈不上什么才能。武帝也持这样的观点，在他励精图治时期，石庆担任丞相一职，位极人臣，不过这个丞相只是个摆设，武帝每次有大的动作，觉得石庆在场，也是个累赘，就给他放假，让他回家休息，将事情交给御史大夫张汤处理。石庆觉得自己窝囊，有一次终于鼓足勇气给武帝上书言事，结果还被武帝罚了款。他并不受武帝待见。

但是武帝后期，情况不同了。社会的发展就是这样，总是呈现出一种规律的状态。大乱之后，最重要的就是不要扰民，让社会生态自己恢复，这个时候，无为而治就显示出了重要性。但随着社会的发展，物质的丰富，人们生活方式的转变，社会就开始滋生出一些乱象，这个时候就需要用严厉的法律来治理百姓，有手段、有想法的官员就派上用场。乱，治，乱，治，历史就在这样的交替变化中不断前进。而武帝末期，其实就处在大乱之后亟待修养的时期。几十年的用兵，耗尽了国库的积蓄，民间资本也损耗殆尽，无数老百姓逃进深山做了盗贼，他们渴望过上安居乐业的生活，渴望日出而作日入而息，凿井而饮,耕田而食。所以武帝末期休养生息的政策也正是迎合百姓的这一愿望。霍光的性格，执行既定政策，再好不过。

武帝去世后，霍光遵照武帝的遗诏，恪尽职守，辅佐幼主。因为皇帝年幼，霍光让皇帝的姐姐鄂邑公主入宫照顾小皇帝。这本是好意，却留下了后患。

鄂邑公主已经嫁给盖侯，但是在入宫的日子里，她跟一个叫丁外人的河间人私通，这事情弄得举朝皆知，霍光因为皇帝的原因，也并未追究，但这其实等于变相的纵容了鄂邑公主。后来公主跟丁外人的关系逐渐公开化，一些官员求上进，都求到丁外人那里去。甚至连霍光的助手上官桀等人也求他办事。

上官桀年轻时候是个猛人，曾经跟随贰师将军出征大宛。上官桀奉命攻打郁成，郁成王逃往康居，上官桀一路追到康居，尽显英雄本色。康居听说大宛已经被攻破，赶紧交出了郁成王。上官桀让四个骑士带着郁成王去见贰师将军。因为军功，上官桀被提拔到了朝廷，后来又做了太仆，成为九卿之一。武帝去世前，提拔他为左将军，也成为顾命大臣之一。

上官桀跟霍光关系很好，做了儿女亲家。霍光休假的时候，就将政务交给上官桀处理，两人一直相安无事。上官桀的儿子上官安有个女儿，年方五岁，上官桀一直希望能将孙女送入宫中。他跟霍光提起过这事，其实他的孙女也就是霍光的外孙女，但是霍光觉得孩子太小，皇帝也小，还不到娶亲的时候，就没答应。上官安跟丁外人关系好，求丁外人向鄂邑公主请求，他对丁外人说：“我女儿相貌出众，如果能因为公主而进入宫中做了皇后，我们父子有了这层关系，在朝廷那就有磐石之坚了。本朝的规矩，只有列侯才能娶公主，你还担心封不了侯吗？”丁外人曾经为这事让公主跟霍光说，霍光没答应，如果有上官桀父子帮助，事情成功的把握就很大了，于是他赶紧跑去跟公主说情，公主也很高兴，将上官安的女儿召进宫中封为婕妤，几个月后又册封为皇后，上官安被提拔为骑都尉。

丁外人对上官安的承诺做到了，该到上官安实现对丁外人的承诺了。上官安跟父亲上官桀去求霍光，本朝规矩是列侯娶公主，丁外人跟公主都住在一起了，而且也得到了朝野的默许，不如就成全他们吧。但是霍光认为公主跟丁外人这事不合法，公主本身已经嫁给盖侯，如果封丁外人为列侯，可谓名不正言不顺，天下人会怎么看？既然不封侯，那封个光禄大夫也行啊，至少公主就有了正当的理由召见丁外人了。

这个提议也被霍光拒绝了。

丁外人的事儿泡汤了，公主对霍光非常恼火，而上官桀父子答应了人家，现在又做不到，也觉得没脸见人。尤其上官桀。在武帝时期，他就已经是九卿，地位在霍光之上，现在又是皇后的爷爷，虽然霍光也是爷爷，但外的不如家的亲，自己家跟皇家，其实就是一家，霍光你一个外人，凭什么这么嚣张！

他对霍光也开始不满，打算争夺权力。对霍光不满的不止这几个人，还有几股势力。其一便是燕王刘旦，他的继承人身份不被许可，后来还被削去了三个县，心里很恼火。武帝去世，昭帝即位，他就意欲掀起风浪。他派人寿西长、孙纵之、王孺等人到京城探听消息，问执金吾广意：“皇帝得什么病死的？立的又是谁家的孩子？今年多大？”气势比较嚣张。

霍光为了安抚他，赐给他三千万钱，益封一万三千户，但是他并不满足，他的野心很大，意在为帝，跟一些人勾结，一心希望推翻朝廷，建立新秩序。

还有一个人对霍光也不满——大名鼎鼎的桑弘羊。桑弘羊是武帝时期红极一时的财政大臣，靠着他的帮助，武帝得以有足够的资金，顺利完成征讨大事，所以临死前武帝封桑弘羊为御史大夫，朝廷职位的第三把手。武帝去世后，朝政全由霍光这几个人处理，桑弘羊一下子没事可做了，他再也感受不到自己的重要性，再也没有万众瞩目的感觉了，感觉似乎要被这个时代抛弃，所以趁着还有点儿权的时候，打算给家族谋点儿福利，请求霍光提拔他的子弟。

他的想法是，自己给国家给朝廷做了这么多事情，这点儿请求应该不过分吧，何况自己还是御史大夫呢！没想到这一招在霍光这里无效，霍光曾经将昭帝的请求都给驳回了，鄂邑公主跟亲家的请求也都给驳回了，更别说什么御史大夫了。

桑弘羊没达到目的，也对霍光怀恨在心。

从藩王到朝廷重臣，这些人都想要除掉霍光，霍光的处境一下子危险了，但是霍光自己并没有觉察到，所以该上班时就上班，该休假时就休假。天还是跟昨天一样蓝，空气还是跟昨天一样新鲜，大臣们的笑脸也跟昨天一样灿烂，一切似乎都很正常。他放心地休假去了，临走的时候，照例将朝政交给上官桀处理。

就在他休假这一天，出事儿了。

上官桀、桑弘羊等人跟燕王刘旦同谋，趁着霍光休假不在朝廷，让人以燕王的名义上书告状，说霍光出行用的是皇帝的规则，而且他任人唯亲，苏武在北海放了十八年的羊，又是吃羊毛又是喝雪水的，回来只给了个小小的典属国做，而杨敞任何功劳都没有，只因为是霍光的人，就提拔他做搜粟都尉。霍光还私自调动幕府校尉，可能是要图谋不轨。不如让我赶紧入宫宿卫，保护皇帝。