自古以来，权臣想要篡权，有一个很硬性的标准，就是要把皇帝彻底的架空，最为基本的就是掌握兵权，掌握兵权之后还要把大臣都笼络到自己的旗下。只有争取到了士大夫阶级的支持，权臣才算是有篡位的资格了。
像王莽、司马昭等人，他们当年废掉皇帝的时候，周围的大臣都是支持他们的，就连后来杀皇帝，也没多少人反对，毕竟大汉和大魏都只是靠惯性才勉强活着的，群臣们心里清楚的很，刘氏和曹氏早就该下台了。
反观霍光呢？他就差远了。汉室未衰，群臣都向汉，只不过因为皇帝还小，需要一个大臣辅政而已。在这种情况下，霍光要是敢篡位，很可能要面临全国各地的讨伐，京城也会发生。霍光权势最隆的时候，就是废刘贺为昌邑王的时候，其实他的支持者并不多，主要就是大司农田延年、车骑将军张安世两人。
大将军光与车骑将军张安世谋欲废王更立。议既定，使大司农田延年报敞。敞惊惧，不知所言，汗出洽背，徒唯唯而已。延年起至，敞夫人遽从东箱谓敞曰：“此国大事，今大将军议已定，使九卿来报君侯。君侯不疾应，与大将军同心，犹与无决，先事诛矣。”延年从还，敞、夫人与延年参语许诺，请奉大将军教令，遂共废昌邑王，立宣帝。——《汉书.杨敞传》
田延年去找丞相杨敞商量，杨敞当场懵了，不敢表态，还是她老婆提醒他，你还是赶紧答应吧，这种大事不能留活口的，霍光既然告诉了你，你就已经没有回头路，不答应只有死路一条！于是，杨敞最终只能很不情愿地同意了。刘贺被废黜之后，很多人都认为霍光的权势增加了。但实际上恰恰相反，霍光因为拿刀逼着大臣支持他，这导致很多官员都对他投了不信任票，当宣帝登基后，相当多的大臣站在了宣帝一边，帮宣帝压制霍光。
所以实际上，因为权势的不牢固，霍光的废立之举反而让自己的权势降低了，侍御史严延年甚至敢公然向霍光发难，他废皇帝一事。这种事，在王莽和司马昭面前是绝不会发生的，如果发生了，严延年不是杀头就流放，可在霍光那个时代，他却一点事都没有，好多官员还很钦佩他。
面对群臣的质疑，霍光也是没办法，只得表示归政于宣帝，以示清白。宣帝对此自然是不敢接受，表示我还是信任你的，朝廷事务也不能离了你。于是，这件事情才算是稍微平息了一点点。不久之后，霍光想跟宣帝拉近关系，可是宣帝利用群臣又整了霍光一次，搞得霍光在众人面前很没面子，这次事件就是立皇后。
霍光想让汉宣帝娶自己女儿，这样可以让他从权臣变成外戚，给皇帝当岳父。但是汉宣帝坚决不同意，最后在群臣的支持下，立了自己的糟糠之妻许平君。随着时间的推移，宣帝的年纪越来越大，支持他的大臣也越来越多，而霍光，权势也是越来越小。霍光的左膀右臂都被废了，田延年因贪污死，张安世退居二线，霍光连自己的心腹都保不住，更别提篡位了。