在马超败退汉中后，凉州还存在着韩遂、宋建等反叛势力，但后来他们被夏侯渊逐一平定击败，之后韩遂病死，凉州再无人能对抗夏侯渊，遂平。
据《魏略》记载，曹操将韩遂在京师的子孙全部诛杀之后，亲自写了信给阎行，说明了阎行的父亲正被关押，并威胁阎行。韩遂听说阎行的父亲还活着，想要让他一同遇害，以此来坚定阎行的意志，于是强行把自己的小女儿嫁给阎行，阎行不得已而娶韩遂女。曹操果然因此怀疑阎行，但最终还是没有加害阎行的父亲。
于是夏侯渊留下负责监查的部将守卫辎重，自己亲率精锐步骑突袭焚毁长离羌屯，斩首颇多。听闻消息的韩遂军中羌兵纷纷回援各自的部落，韩遂不得已，果然率军来救，而与夏侯渊对阵。诸部将眼看韩遂军力庞大，非常头痛，准备扎营挖堑做持久战。夏侯渊又鼓励大家说：“我军转战千里，如果当时就扎营挖沟，那么士卒们就会士气低落无法坚持作战，敌人虽然军力庞大，但很容易对付。”于是击鼓进兵，大破韩遂军，得到了其帅旗等一干物品。
回到略阳，再次出兵围攻兴国，氐王投奔了马超，其余人皆降。转而进攻高平、屠各，那里的守军纷纷逃走，夏侯渊尽收那里的军用物资。此战后，以战功卓越，夏侯渊获假节。
据《魏略》记载，当时兴国氐王阿贵、百项氐王千万各有部落万余，建安十六年（211），他们随从马超作乱。马超被打败之后，阿贵为夏侯渊所攻灭，千万西南入蜀，其余没能去的部落则皆降。
宋建在王国活着的时候就已经于凉州掀起叛乱，他自称河首平汉王，聚集部下于枹罕，改元，置百官，长达三十余年。
建安十九年（214），曹操命夏侯渊率张郃、张既等讨伐宋建，夏侯渊遂自兴国出兵，迅速进军并围攻枹罕，以弱势兵力仅一月余，就大破拥有数万彪悍兵马、几度为朝廷讨伐而未果的宋建，并且宋建起如丞相等所置官员一概斩首。
此外，夏侯渊又派张郃等人率兵平定河关，渡河深入小湟中，河西诸羌部全部相继投降，自此，长期为祸的陇右被平定。而夏侯渊因此大功，为曹操褒奖，当时曹操感慨地说：“宋建制造****，违逆犯上三十余年，夏侯渊一举消灭了他，并像猛虎般威武地纵横于关右，所向无敌。就像仲尼曾说的：‘我不如你啊！’”
建安十九年（214）末，阎行背叛韩遂，韩遂因此事极受打击，遂准备入蜀，但在成公英的劝说下最终放弃。
据《魏略》记载，成公英，复姓成公，名英。东汉末金城（治今甘肃永靖西北）人。中平末，从韩遂为其心腹。建安中，韩遂兵败华阴还湟中，部众散去，唯他相随。
据《典略》记载，当时韩遂在湟中，其女婿阎行纠集他的部曲欲杀韩遂投降，响应夏侯渊，乘夜攻击韩遂不下。韩遂因此极为失意，向成公英表示自己打算从羌中撤退至蜀地，依附刘备。成公英反对，认为韩遂兴军数十年，如今虽然失败了。但是不应该丢弃自己在西州建立的威信而转投他地，向韩遂献计先躲入羌氐部落中重新招揽部众，等待机会卷土重来。韩遂从计，连同数千名追随者退走羌中，由于韩遂曾经有恩于羌人，所以得到羌人的保护。
建安二十年（215年），夏侯渊回汉中，留下阎行，韩遂结集羌胡数万兵众攻破阎行。不久，韩遂便病死，田乐、阳逵、麴演、蒋石等于是斩下韩遂头颅送于曹操（一说被部下所杀害），享年七十余岁。
关于韩遂的死因有两种说法，一说其被部下所杀，一说其病死，其中关于其被杀的资料较多，包括《三国志.武帝纪》、《三国志董卓传》、《后汉书董卓列传》和《续汉书》均有记载。
《三国志.武帝纪》（建安二十年）三月，公西征张鲁，至陈仓，将自武都入氐；氐人塞道，先遣张郃、朱灵等攻破之。夏四月，公自陈仓以出散关，至河池。氐王窦茂众万余人，恃险不服，五月，公攻屠之。西平、金城诸将麴演、蒋石等共斩送韩遂首。
《三国志董卓传》十六年，超与关中诸将及遂等反，太祖征破之。语在《武纪》。遂奔金城，为其将所杀。
《后汉书董卓列传》十九年，天水人杨阜破超，超奔汉中，降刘备。韩遂走金城羌中，为其帐下所杀。
《续汉书》曹公遣偏将击凉州。十九年，获宋建，韩遂逃于羌中，被杀。
而关于韩遂病死的记载只有《魏略》上有，具体如下：
郭宪字幼简，西平人，为其郡右姓。建安中为郡功曹，州辟不就，以仁笃为一郡所归。至十七年，韩约失众，从羌中还，依宪。众人多欲取约以徼功，而宪皆责怒之，言：「人穷来归我，云何欲危之？」遂拥护厚遇之。其后约病死，而田乐、阳逵等就斩约头。
当送之，逵等欲条疏宪名，宪不肯在名中，言我尚不忍生图之，岂忍取死人以要功乎？逵等乃止。时太祖方攻汉中，在武都，而逵等送约首到。太祖宿闻宪名，及视条疏，怪不在中，以问逵等，逵具以情对。太祖叹其志义，乃并表列与逵等并赐爵关内侯，由是名震陇右。黄初元年病亡。正始初，国家追嘉其事，复赐其子爵关内侯。
简单来看《魏略》的记载是一个孤证，但事实上，关于韩遂之死只有《魏略》的记载是最详细的，而田乐、阳逵等人向曹操邀功的时候，就算韩遂是病死的，他们也不可能说韩遂是病死之后才被斩下头颅后，他们明面上绝对会说韩遂是他们杀的，而曹操就算知道韩遂是病死的，也会假装不知道，这样以来官方上韩遂就是被他人所杀，而不是病死的了，所以说历史上韩遂晚年病死的可能性并不小。
韩遂死后，其部下成公英归顺朝廷，关中、关西最强的马、韩两大诸侯就此均退出了历史舞台。
