曾国藩因徽州失守，请求降罪，同时决心参劾李元度。李鸿章的意思是，即使李元度过错严重也应讲点情面，而曾国藩主张严参李元度。理由在于，李元度不仅不听劝告，对部下一味放纵，致使兵勇纪律松弛，指挥不灵，还要夸夸其谈，过头话说得太多，用兵无方却自以为是。所以他要治一治李元度的傲气、锐气、书生气，同时也为自己驻军祁门之误做点掩饰，好向朝廷作个交代。然而，李元度对曾国藩给予他的警告并没有过分介意，在向湘军粮台索还欠饷后，不经请示即回到老家平江，招募8000人取名为“安越军”，先在湘北、鄂南、赣东北等地抗拒太平军。1861年春，浙江巡抚王有龄、杭州将军瑞昌奏调李元度援浙，廷旨准为所请。是年6月，李元度因率部于义宁等处作战有功，被胡林翼、官文奏请赏还按察使原衔。不久又因攻克奉新、瑞州等地而经江西巡抚毓科奏请赏加布政使衔。10月，李元度领兵入浙，接受奉命节制援浙诸军的左宗棠指挥。此时，太平军李世贤、李秀成都已先后撤离赣东北和鄂南，分兵进入浙江，于是月27日占领萧山，11月1日占领绍兴，5日合围杭州。在杭州岌岌可危之时，江西局势也十分紧张。曾国藩特意嘱咐左宗棠“舍浙保赣”以求根本、再图发展，李元度的“安越军”也就始终游离于浙赣边境未及开赴杭州前线。结果，呼救无援的王有龄兵败自杀，杭州于29日被太平军攻占。可能是因为前次对李元度未能严劾而耿耿于怀，更因李我行我素，没有把曾国藩对他的警告放在心上，转而向浙江巡抚王有龄靠拢，曾国藩于是借杭州失败之机于1862年3月下旬对李元度狠狠地参了一折。其理由：一是认为李元度本系革职拿问之员，应当老老实实立功赎罪，但他“并不静候审讯，擅自回籍，与候补道邓辅纶往返函商，求巡抚王有龄奏调赴浙”。进而，不经请示允准，“即行募勇赴浙，名曰‘安越军’”。二是李元度的“安越军”前在湖北、江西打仗，多系“昌禀邀功”，并无实在胜迹。三是李元度自率新勇于7月到达江西后“节节逗留”，于10月才抵达衢州，任凭王有龄“羽檄飞催，书函哀恳、不一赴杭救援”。四是李元度治军“一味宽纵，多用亲族子弟，平日文理尚优，带勇非其所长”。

    从而，他指控李元度“前既负臣，后又负王有龄。法有难宽，情亦难恕”，要求朝廷革去李元度在是年春由左宗棠先后奏准所受盐运使兼布政使、按察使职务，且将“安越军”尽数遣散。此折递上三个来月，曾国藩觉得余恨未消，于6月中旬又将李元度与陈由立、郑魁士一起再次加以密参。重申李元度自“徽州获咎以后，王有龄锐意招之赴浙。李元度不候讯结，轻于去就。厥后迁延数月，卒不能救浙江之危”。进而，将李与陈、郑共同的罪过归结为：“私行远扬”、“朝秦暮楚”、“予智自雄，见异思迁”，实际上又“背于此并不能忠于彼”、“叛于本国，断难忠于他帮。”这些罪过，等于在政治上把李元度判了死刑。

    幸有左宗棠、李鸿章上奏为李元度斡旋，清廷才在谕旨中没有将李元度一棍子打死，只是给了“着即行革职，加恩免其治罪，仍交左宗棠差遣，以观后效”的处分。随后，又因彭玉麟、李续宜、鲍超、沈葆桢等为其担保说情，李元度才得以赦免回籍，正式结束了他长达八年的军幕生涯。

    1862年李元度罢职归里后，朋友们均为他受到严参而愤愤不平，但他不为自身荣辱、处境难易所影响，僻居山村潜心做学问，不分白天黑夜、寒暑冷热，执著追求不止。常人因丢官而耿耿于怀，忧郁不乐，但李元度却因做学问有了寄托，且甚感有此难得的机会侍奉老母、督教儿孙，心满意足，不复他求了。