王家烈送张学良登机，张得知王未坐过飞机，便邀他一起。不料刚起飞，张就拿出解除王兵权的命令，王瞬间脸色大变：我上当了！
1935年3月24日，蒋介石僧夫人宋美龄及顾问端纳、陈诚由重庆飞抵贵阳。蒋介石一到贵阳，就提出要去贵阳及25军看看。从25军出来，蒋又提出到王家烈公馆去坐。王家烈以最为隆重的礼仪接待蒋。蒋与宋美龄在王公馆里谈笑风生。宋美龄还答应万淑芬，第二天到贵阳的名胜螺丝山王阳明祠游览。
蒋夫妇一离开王公馆，万淑芬马上着手安排第二天蒋夫人的游览活动。万想利用这个机会，好好巴结一下蒋夫人。
次日下午，螺丝山戒备森严，省府的眷，一个个浓妆艳抹，花枝招展，坐着大小轿子，向螺丝山飞奔而来。她们久闻宋美龄大名，也都想瞧瞧蒋夫人的尊容。
这一大堆夫人，兴致勃勃地站在螺丝山上，等着蒋夫人惠临。哪知一等不来，二等不来，万淑芬也急了，派人去请。结果，蒋夫人传话：“今天身体不舒服，不能来了。”
万淑芬听后，犹如三九天一盆冷水当头淋下。那些官眷也一个个垂头丧气而归。这次的脸丢得大，回来的路上，万淑芬难过地流下了眼泪。
蒋此行，名为看看，实为解决王家烈的问题。据说到达贵阳的当天，陈诚即提要出杀掉王家烈，老蒋没有同意。他说：“王绍武个大心直，本人并不坏，坏在他的左右。”蒋担心，此时杀掉王，他手下25军几万人会造反。
到贵阳的第三天，蒋找王家烈谈话，明确告诉他：在省政和二十五军军长两职中选一项。在省府就不能当军长，当军长就不能在省府。
王家烈一听此言，冷汗即从脖子上流了下来。他问蒋：“能不能容我回去与部下商量一下？”蒋表示同意。
回去后，王家烈召集部下开会，商定取舍。文职官主张留任贵阳，让出军长。理由是不在省府，就失去了在贵州立足的根基，军就会无着，最后军长的位子坐不稳。武将们意见相反。理由是没有军权，在省府也干不了几天，垮的会更快。
王家烈经过权衡，最后决定保留军长一职。3月30日，蒋介石下令免除王家烈在省府的一切职务，
广西的李宗仁听说王家烈的遭遇后，想联络他共同反蒋，他在白绸布上写了一封信，缝在二十五军驻粤办事处处长王节之西服里，并派专车送他回贵州，面交王家烈。
李宗仁这封信的大意是：你已交出省政，下一步老蒋可能以军饷来卡你，逼你交出部队。我们决定向你每月接济30万元军饷，以及所需的枪弹。你可将部队集中在黔南一带，与我们加强联络，蒋如果进逼，就与他翻脸，我们共同反对他。
王家烈看完信后，丢在茶几上，淡淡地说：“算了，猴子上得了树，狗是上不了树的，我不想干了。”
果然没过多久，蒋就以军饷进一步卡王家烈，逼他自动交出25军。蒋下令王家烈所部2个师、5 个旅、15 个团，缩编为2个师6个团。王家烈的部队驻在各县，非常分散，蒋又不让他集中部队。不集中部队便无法整编，而不整编就不发饷。
后来老蒋又忽然告诉王家烈要发饷给他，王家烈喜出望外，正纳闷老蒋怎么突然转性了，接下来的通知却让他大失所望，原来老蒋虽然愿意发饷，但是但规定部队未经南京点编前，只发给每月伙食费10万元。
要知道王家烈的部队有两万多人，这点钱连吃饭都不够，更谈不上其他开支了。就是这 10万元，老蒋也是开的空头支票，实际分文未给这样一来，王家烈的处境十分不妙。
接着，蒋又让人煽动王家烈的部下闹饷。同时，用重金收买了王的两个师长何知重与柏辉章反王。一次，何知重的第三团开到军部驻地，王家烈前往看望，该团士兵当着他的面叫骂开了“军长吞扣我们的军饷！”“军长不发饷！”更让人惊奇的是，士兵们在叫骂的时候，竟没有一个长官出来制止，明眼人都知道，王家烈怕是管不动这个团了，这个情况迅速在25军传开，士兵们越发觉得跟着王家烈干，没有前途，顿时间，军内人心惶惶。
王家烈再不济，也看得出一二，他知道，这背后都是老蒋在挖他的墙角，但此时他已经无权无势了，很难在与他斗。回到军部后，王家烈躺在床上，自言自语道：“这样的兵还能带吗？！”渐渐地，王家烈的去意愈发萌生。
就在王家烈萌生去意之时，蒋介石已想好了赶走王家烈的办法。4月初，张学良由武汉坐飞机到贵阳来见蒋介石，在与蒋一道吃过中饭以后，张学良起身回武汉，王家烈等人到机场送行。临上飞机时，张学良忽然问王家烈：“你坐过飞机没有？”
王家烈笑着说：“不怕你见笑，我还没有坐过呢。”张学良说：“那你上我的飞机，在贵阳上空绕一个圈子如何？”于是，王家烈兴高采烈地上了张学良的飞机，飞机在贵阳市上空飞行一周后，忽然向东北飞去。
王家烈看到飞机老不降落，正在着急和怀疑时，张学良从口袋里取出蒋的命令给王家烈看。这命令的大意是免去王家烈二十五军军长职务，调去武汉做参议，即往武汉服务。王家烈看了命令以后，知道是上了当，但已无可奈何。王家烈只得接受安排，结束了自己在贵州短暂的统治。
王家烈被迫下野后，黔军被改编为五个师，并被编入各个中央军。从此，黔军名存实亡。抗日战争爆发后，王家烈被任命为第二十军团副军团长，不久调任军事参议院中将参议。这两个职位都是闲职，并没有实际的指挥权力。此后直到解放战争结束，王家烈始终没有再次指挥军队作战。
解放战争结束后的1949年，王家烈并没有随蒋介石退守台湾，而是被共产党中央任命为西南军政委员和贵州省人大代表。1955年，王家烈当选贵州省的政协副主席。在工作期间他写成了大量宝贵的历史文章和回忆录，为后世研究贵州历史留下了珍贵的第一手资料。
在“大跃进”运动中，王家烈关心民生，对这一不顾经济规律的政策运动做出了中肯的批判。但他的建议并没有受到中央的重视，反而因此被划为“右派”，受到批判。1966年，末代“贵州王”王家烈病逝。