此时公孙述已经在蜀地成帝，而刘秀也已经在洛阳即位，隗嚣自知西州荒弊，无法偏安一隅，得有所归属。但是究竟归蜀还是归汉，他心里一直在犹豫。为了了解两地的情况，隗嚣派马援前去打探。马援首先去见公孙述，这是有私人原因的，他跟公孙述是老相识，私交一直非常好。

当马援站在了公孙述的皇宫外边的时候，公孙述正在里面摆威风。他传令召马援觐见。马援进去了，只见两边侍卫林立，戒备森严，每个人都用警惕的目光看着他。从这些戟阵枪林中间走过，马援感到一阵心寒。他并非贪生怕死，他心寒的是，曾经的故友，如今却是以这样的方式见面。他以为公孙述会拍着手笑着出来迎接，以为公孙述会拥抱着他说：“好兄弟，现在正是用人之际，希望你能跟隗将军说一下，来帮我。”可是没想到却是这样。命运总会捉弄人。

这还不算什么，进了大殿，只见公孙述高高地坐在大殿之上，神情肃穆，完全一派帝王作风，似乎根本不认识马援。递交了书信，公孙述传令让马援到驿馆休息，然后派人给马援送来衣服，请他在宗庙中相见，百官陪位，马援站在旧交之位，。公孙述坐着舆车，前面鸣銮开道，两边山呼万岁。只见他面容冷峻，煞有介事，就连那些官员，一个个也是公事公办的样子。看来虽然只有短短的时间，但是公孙述已经完全融入了皇帝这个角色，这里的小朝廷已经有模有样了。虽然刚刚坐定蜀地，公孙述已经开始睥睨天下了。马援看着这些人的表演，笑着直摇头。公孙述终于表了态，他要给马援封侯，拜马援为大将军。

眼前的排场，公孙述的承诺，让马援带来的宾客都非常动心，他们个个劝马援留下来，但是马援早就看穿了公孙述，他对大家说：“现在天下未定，得人才者得天下。有国士来归，公孙述不知道握发吐哺以迎，反而修饰这些礼节，他不是个成大器的人。”他没有留在成都，他想到洛阳那边去看看。

建武四年，马援带着隗嚣的书信来到洛阳。汉帝刘秀在宣德殿召见了他。一见面，刘秀就笑着说：“先生遨游于两帝间，今天见到先生，让人心生愧疚啊！”马援马上说道：“当今之世，并非只是君择臣，臣子也要选择明君。我跟公孙述是故交好友，过去关系非常好，但是我到成都的时候，他戒备森严。我来到这里，陛下却简易如此，陛下难道不担心我是刺客吗？”

刘秀笑着说：“先生不是刺客，只不过是说客罢了。”

短短数语，汉帝的气度，他的谈吐，给马援留下了非常深刻的印象，他由衷地说道：“帝王将相，果然有真。”从洛阳回到天水，马援一再建议隗嚣，一心奉汉，共谋天下。于是隗嚣将儿子隗恂送往洛阳，向汉称臣。马援随隗恂一同来到洛阳。

之后不久，隗嚣听信部将王元等人的建议，对汉态度开始模棱两可。马援多次写信责备他，同时上书朝廷，希望能够争取隗嚣归顺。光武帝配给马援五千骑兵，让他游说隗嚣的部将，瓦解西州。

对于马援的责备，隗嚣非常恼火。在他看来，他对马援推心置腹，甚至比亲人有过之而无不及，他时常跟马援抵足而眠，共论天下大势，不是亲信，岂能如此？但是马援，居然背叛了他！但是马援有不同想法。皇帝自有命，明者见机而作，何必学公孙述做井底之蛙！他认定光武帝是真龙天子，就会忠于光武帝。他是个重情重义之人，当然希望朋友们能够长久在一起，但这是私人感情，如果公私有冲突，他还是会选择忠于朝廷。所以后来他多次帮助光武帝，最终击败隗嚣，平定了凉州。

但他的功业不是在凉州，而是在西羌。

西羌是一个古老的民族，起自三苗，到春秋战国时期逐渐强大。西羌无君王，分为很多种系，每一个种系有豪酋。几千年来不事农业，以放牧为生，追逐水草，居无定所。直到西汉时期，才在陇西一代定居下来。后来武帝扩边，羌人被赶过湟水，赶到西海、盐池一代。这些地方土地贫瘠，水草缺乏，所以羌人对湟中非常思慕，求着争着要回到湟中去。王莽末年，羌人趁中国正乱，趁机侵犯金城、陇西。此时隗嚣虽然拥兵十万，但他并没有对羌人采取强硬措施，而是以安抚为主，借羌人抵抗汉军。隗嚣败亡后，朝廷设置了护羌校尉，建武十年，羌人趁校尉牛邯去世之际侵犯边境，被来歙击败。十一年夏，先零羌再次侵犯临洮。

陇西危急，此时来歙正率领盖延马成等人讨伐公孙述，无法抽身平定西羌，于是他推荐马援率军平叛。他上书光武帝，羌人之乱，非马援不能平定。朝廷拜马援为陇西太守，给兵三千人前去。马援率军赶到临洮，斩首几百，截获马牛羊上万头，招降几千羌人。又与扬武将军马成联军，打败羌人，斩首上千级。这一战，马援受了伤，弓箭射穿了他的小腿。

虽然平叛取得胜利，但是朝中此时却陷入争论之中。很多大臣认为破羌县以西路途遥远，实在不值浪费国家人力财力。这种声音渐渐占了上风，朝廷大有放弃金城以西的意思。马援亲临其地，他知道一个地方的价值，并不只在经济和政治上，还要有战略上的考量。如果放弃破羌以西，那么羌人将会对边境成蚕食之势。他上书朝廷：“亢吾以西，数十里一城，城皆完坚。旧制置塞，因山阻海，其蹊径辄有候尉，故虏不得妄动。即弃亢吾，以西北为殖养虏根，内自迫促。宜及兵威，疾往除之。金城诸县，皆田地肥美，溉灌流通，自有本民，易还充实，诚不宜有所断弃。若二郡平定，流民还本业，不复为国家忧。”

有的人，他站在高山，看到的或许只是脚下的方寸之地，因为他要时时刻刻防备不会摔下去；，有的人，纵然是站在一个小山头，却仍然可以看尽天下，因为天下一直就在他胸中。这不仅仅是立足点的问题，更是思想境界的问题。

马援的心中，装着天下，棋局就在心中，他知道该怎么走。这些东西不是他从书上学来的，而是在他几十年的生活经历中参悟出来的。书上的知识来自生活，但这知识是死的，在生活中得到的东西才是最鲜活的。所以光武帝非常喜欢跟马援聊天，大事小事，天南海北，尤其喜欢聊军事，光武帝算得上东汉最优秀的军事家之一，跟马援聊到高兴处，他总是兴奋地说：“伏波论兵，与我意合”。皇太子、诸侯王他们更喜欢听马援聊三辅旧事，人情轶闻。马援眉目如画，苍颜白发，在他们眼中，这个老者如同神仙一般，无所不知无所不晓。正如后世曹雪芹所言，世事洞明皆学问，人情练达即文章。

马援镇抚西羌近十年，先后平定维汜、徵侧等人的叛乱，上奏朝廷，重新分划诸县，所过之处，为郡县修缮城郭、大兴水利，为百姓提供良好的生活条件。让百姓安居乐业，这才是安抚人心最好的办法。

建武二十年，西羌平定，凯旋而归。很多故友跑来迎接，见了面纷纷称贺。平陵人孟冀也来恭喜。马援说：“方今匈奴、乌桓尚扰北边，欲自请击之。男儿要当死于边野，以马革裹尸还葬耳，何能卧床在儿女子手中邪！”老当益壮，五十八岁的老将军马援用自己的一生为自己的豪言做出了最好的注解。这次回来，除了捷报，他还带回来一尊铜马。他素来爱马，也喜欢研究相马之术。在平定叛乱的过程中，他得到骆越铜鼓，便铸成铜马，以为相马之式，并献表朝廷：“水火欲分明（水火在鼻两孔间也。）上唇欲急而方，口中欲红而有光，此马千里。颔下欲深，下唇欲缓。牙欲前向。牙去齿一寸则四百里，牙剑锋则千里。日欲满而泽。腹欲充，兼欲小，肋欲长，悬薄欲厚而缓（悬薄，股也）。胁堂欲平满，汗沟欲深长，而膝本欲起，肘腋欲开，膝欲方，蹄欲厚三寸，坚如石，鬃欲戴，中骨主三寸（鬃，中骨也），颊欲开，而膺下欲广一尺以上，能久走。欲方（颈前），胸欲直而出（髋骨前面）。凫间欲开，望视之如双凫。”天下万事，他似乎真的无所不能。

但是在另一个问题上，马援犯错误了。这一错，葬送了他一生的英明。他的侄子马严、马敦好褒贬人物，结交侠客。身在交趾的马援写信规劝他们：“吾欲汝曹闻人过失，如闻父母之名，耳可得闻，而口不可得言也。好论议人长短，妄是非正法，此吾所大恶也，宁死不愿闻子孙有此行也。汝曹知吾恶之甚矣，所以复言者，施衿结衤离，申父母之戒，欲使汝曹不忘之耳。龙伯高敦厚周慎，口无择言，谦约节俭，廉公有威，吾爱之重之，愿汝曹效之。杜季良豪侠好义，忧人之忧，乐人之乐，清浊无所失，父丧致客，数郡毕至，吾爱之重之，不愿汝儿也。效伯高不得，犹为谨敕之士，所谓刻鹄不成尚类鹜者也。效季良不得，陷为天下轻薄子，所谓画虎不成反类狗者也。讫今季良尚未可知，郡将下车辄切齿，州郡以为言，吾常为寒心，是以不愿子孙效也。”