更始帝刘玄迁都长安后（今陕西省西安市境内），封卢芳为骑都尉，令他镇守安定以西。得到了圣旨的卢芳，迅速向西扩张，在扫灭了诸多小势力后，其势力和窦融、隗嚣接壤。由于窦融、隗嚣都是明面上归顺更始帝刘玄，卢芳也不能攻打二人，只好停止扩张。
后来赤眉军消灭了更始政权，卢芳帐下众将一商量，认为卢芳既然是汉氏后裔，如今汉朝已亡，那卢芳当继承宗庙，于是拥立卢芳为上将军、西平王。
恰逢邓禹大军在西线，邓禹得知有人在他眼皮底下称王，便率军攻打卢芳。由于卢芳起兵没多久，又夹在窦融和隗嚣之间，地盘无法扩张，所以也并没有多少兵力，被邓禹轻松击败。
卢芳带领部队逃入匈奴境内，并向匈奴单于献上重金，以求庇佑。
匈奴单于说：“匈奴和汉朝自从汉高祖时期便结为兄弟亲家，世代交好。后来汉武帝时期，匈奴衰弱、势微，呼韩邪单于便降了汉朝，世世称臣。如今汉朝的国祚也断了，刘氏既然来归附我，那我也自当立他为汉帝，让汉朝也向我大匈奴称臣。”
于是在匈奴的帮助下，卢芳再次返回安定（今宁夏回族自治区固原市境内）。邓禹得知卢芳返回，便欲再次兴兵攻打，恰逢刘嘉丢了汉中（今陕西省汉中市境内），率军北上筹粮。邓禹不知刘嘉是敌是友，便将攻打卢芳之事暂时搁置。
后来邓禹杀了刘嘉部下李宝，导致李宝的弟弟李玉反叛，将邓禹击败，于是卢芳之事就暂且搁置，这一搁置就是数年。
后来刘秀兴兵讨伐隗嚣，卢芳见汉陇两军打的火热，蠢蠢欲动，却先后被冯异、耿弇击败，于是再次龟缩不出。
隗嚣败亡后，刘秀专注攻打公孙述，令杜茂防御卢芳。杜茂一边屯田，一边修建防御工事，卢芳多次攻打杜茂，却始终无法占到便宜。
后来杜茂因为部将犯罪遭到牵连，由刘歆接替了位置。卢芳看准机会率兵出击，攻占汉朝两城。随后刘秀命吴汉北上，坚壁清野防御卢芳。卢芳率军攻打吴汉，被吴汉击败，后遭部将叛变逃入匈奴。
在刘秀的重金利诱下，匈奴单于将卢芳驱离出境，卢芳不得已向刘秀投降。刘秀念在卢芳是汉室宗亲的份上，封其为代王。
可卢芳却是心中有鬼，再次反叛刘秀，被旧部攻打，兵败逃入匈奴，并于十多年后在匈奴病亡。
卢芳，本也应是一代枭雄，可因生不逢时，被两个更强大的势力窦融、隗嚣夹在中间，导致其势力一直难以扩大。兵败后本以得了刘秀的原谅，却因猜忌葬送了自己大好前程。倘若他能有窦融一半的智慧，主动辞去王位，降为侯爵，姑且不论是否能得到刘秀的信任，可至少能够衣食无忧，福及子孙。可权力的诱惑，又岂是每个人都能看得透呢？
天下大定，刘秀决定散兵还民，裁去军中老弱，分给他们田地，令其耕种为生。经过裁撤，汉军已不足百万。
刘秀于宫中设宴，宴请一众武将。
喝到高兴处，刘秀对众将说：“各位爱卿，你们想一想，若不是遇到朕，你们估摸着自己，能做什么官啊？”
邓禹说：“臣如果不是遇到陛下，大概可以做一个文学博士，在太学中教书。”
刘秀哈哈大笑说：“仲华太过自谦了，以你的学问和品德，难道做不了太中大夫吗？”
吴汉说：“臣若如果没有遇到陛下，大概可做到中郎将。”
刘秀说：“大司马对自己的评价还是很中肯的嘛，不过运气好的话，你能做个杂号将军也未可知啊。”
马武说：“臣凭借着这身功夫，运气好的话能混个都尉，运气不好的话，也能混个亭长，缉拿盗匪。”
刘秀听后调侃道：“子张你忘记自己是绿林出身了？你莫说做个亭长缉拿盗匪，你不被亭长缉拿就是万幸了。”
刘秀说完，君臣哈哈大笑，一堂祥和。
数日后的一天夜里。
阴丽华对刘秀说：“陛下，臣妾的弟弟阴兴为陛下侍中（皇帝的近臣，负责安排皇帝日常起居用度），十多年来勤勤恳恳，兢兢业业，从未出过什么差错，这没有功劳也有苦劳，陛下是否应予以嘉奖？”
刘秀翌日便想封阴兴为关内侯。
阴兴对刘秀说：“陛下，臣自从跟随陛下，仅仅是在陛下身边伺候，从未有过先登陷阵之功。臣一家在陛下的恩泽下，已是无尽的荣华富贵，臣能每日在陛下身边，聆听教诲，已是陛下和夫人的隆恩厚爱，不可再有任何奢求，还请陛下收回成命。”
刘秀听后，对阴兴大加赞许，不再提封侯之事。
阴丽华不解，将阴兴宣入宫中问其缘故。
阴兴说：“姐姐平日不读书吗？身处高位之人，更要戒骄戒躁。虽然姐姐是夫人，可比起郭皇后更受陛下宠爱，而且臣弟能看得出来，陛下对郭皇后的刁蛮任性越来越不满意了，这皇后之位早晚是姐姐的。此时我们要做的就是为人低调，不去贪恋荣华，那荣华自然会找上我们。可如果我们奢求一时的小利，那么多眼睛盯着我们，必会遭来灾祸。此时，不争便是争。再退一万步来说，如今我吃喝不愁，文武百官也都会因为我是外戚的身份对我礼遇有加，我又有什么不知足的呢？”
阴丽华听后，豁然开朗，至此再也没有为家族之人求过官爵，也因此更受到刘秀的亲近，从而加速了郭圣通的失势。
此时的刘秀共有十一个孩子。
郭皇后生五子：刘强、刘辅、刘康、刘延、刘焉。
阴夫人生五子：刘阳、刘苍、刘荆、刘衡、刘京。
许美人生一子：刘英。
除了太子刘强，其余皇子并无爵位。
吴汉和朱佑联名上奏，请求刘秀分封众皇子爵位。