爵位，当年一门五侯，到后来只剩下了卫青一个。到公元前一○六年，赋閒了十年的卫青也去世，卫伉又不能袭爵，卫氏陷入绝境。后来虽然由于平阳公主，卫伉还是袭了爵位，但卫子夫和刘据的命运急转直下，巫蛊之案爆发后，刘据身死，卫子夫自缢，卫伉也在这起事件中受牵连而死，整个卫氏家族毁于一旦。

霍去病死得早，也许也是一种幸运，他避免了他大多数亲戚和同僚们最后悲惨的下场：族灭、宫刑、失侯、弃市。霍去病因自己的早逝而画上了一个遗憾却又完美的句号。

霍光则眼看著卫家的覆灭一动不动，他深知此时如他襄助卫家，那他也必定会受到连累。在韬光养晦数十年后，他终于成为汉武帝的心腹。日磾在霍光的帮助下，鼗马养得特别肥壮，引起了汉武帝的注意，召入宫中，赐他姓金，遂成金日磾，也是武帝重臣。他与霍光联手，后来又将曾经谋害霍去病的李延年宗族诛灭。