袁甲三遭擒，咸丰又惊又怒，任命张芾为通政使、左副都御史、陕豫团练大臣、陕豫皖三省军务督办，以穆腾阿、伊兴额、刘成功、游敬堂及已故陕西巡抚谭廷襄部汉中镇总兵李辉武、西安镇总兵严树森部残兵为基础，命新任河南巡抚庆廉、总兵承惠新招兵勇，日夕操练，又向乡绅大户索捐十万两，向胡林翼的阜康钱庄借银五万两，东拼西凑购了些洋枪、洋庄炮、劈山炮、鸟绳枪、抬枪、火药、弓弩、刀矛等，连同原来残存的武器，总算恢复了一些战斗力。张芾原定1860年3月亲率主力从巴州取汉中府，以穆腾阿率伊兴额、庆廉、承惠攻毫州牵制河南太平军。结果，1860年1月陈玉成大军三路并进，张乐行、龚得树率捻军参战，与湘军展开太湖、潜山决战，多隆阿请调承惠部支援。1860年2月，太平天国忠王李秀成按计划率大军从安徽南部进入浙江，在清军毫无防备的情况下，昼伏夜行，以迅雷不及掩耳之势，突然攻占浙江省会杭州，使清廷震恐不安，正在围困天京的清军江南大营，不得不分兵增援杭州，无法调配物资支持张芾。1860年2月，英、法两国政府分别再度任命额尔金和葛罗为全权代表，率领英军一万五千余人，法军约七千人，扩大侵华战争，僧格林沁奏请咸丰急调穆腾阿、伊兴额马队赴京。1860年，李、蓝率昭通农民军攻占自贡盐场，大批盐工加入，声势大振，此后二人以川南 为根据地，在岷江西岸活动，与清军周旋、作战，先后攻取井研、丹棱、峨眉、天全等州县，兵锋逼近离成都不远的新津、灌县，引起成都官场的震恐，四川总督曾望颜、将军崇实等慑于农军威势，不敢出城迎击，而是闭城坚守，四川也无法调兵勇及物资配合支援张芾，还请张芾派兵支援，张芾处四川巴州，人、财、物半数要靠四川接济，只得派汉中镇总兵李辉武、候补陕西巡抚刘成功领兵援川。等到1860年3月，张芾兵粮皆缺，无法按原计划进攻陕西汉中府。张芾拨兵给巴州知州李廷瑞、游击向启文将巴州各汛、塘所在冲要俱加乡勇、团丁驻守，巴州城上铜炮两尊、十二尊威远炮、五门劈山炮均于州城五门架设妥当，自率中军、巴州绿营兵及团练兵5000人驻巴州城内，游敬堂的团练兵6000人在巴州城外筑营垒十多座驻扎，西安镇总兵严树森部3000人驻镇龙关，在烟墩垭、秋波梁两处设置营垒，副将岳云鹏带本部800余人驻烟墩桠，参将耿忠带一营300余人驻秋波梁。
张芾的情形，早有太平军探子报到魏宣武处，魏宣武就令古大力夺取巴州，以为汉中府屏障。古大力接令急请陕西刺史贾臻，总教黄得功、副师帅马聚奎、师参军长习和应、师教务长娄敬前来商议。马聚奎首先站起来发言：“我军训练有素，兵精粮足，取一小小巴州易如反掌，我愿提一旅兵前往取之。”贾臻道：“张小浦自1852年典兵以来，胜少败多，为人胆小坚韧，现老母病亡也未返乡奔丧，深得咸丰信任，目今兵力单薄，定会依托巴州城池坚固、地势险峻固守，重炮难以运到，此战恐非易事。”总教黄得功道：“攻坚确实不易，但得引其出来野战，取之殊易。”参军长习和应道：“我有一姑表兄弟，名龚俊，在巴州营游击向启文手下做中军守备，前年入了天道教，巴州布防情况就是他提供的，他手下有十多人，可做内应。”贾臻想了想道：“龚俊管粮饷，可从运粮队入手。”黄得功笑说：“可着巴州天道教传教王明与龚俊联络，精选教徒扮着运粮队，我这里派探子营前去，里应外合，先袭了烟墩垭、秋波梁两处，再攻镇龙关，引清兵来援，派一卒兵及探子营乘夜从小道绕关后埋伏，打援兵一个措手不及。”古大力听了道：“此计甚妙。”当下几人又对细节详细推敲一番，就分头布署去了。
1860年3月，王明亲自带着三十名艺高精细之人，或扮清兵，或扮民夫，拿着巴州中军守备的凭证，一路往烟墩垭而来，在烟墩垭交割了粮食，又把余粮往秋波梁运去。到秋波梁时，天色已晚，耿忠留王明等人住下。天将明时，探子营早摸上来，在王明等配合下，干调哨卫，直入耿忠军帐，把耿忠活捉了，让他命兵丁放下武器投了降。然后，杜新华的第四旅占了秋波梁。王明等人马上押空粮车返回烟墩垭，探子营紧随其后。清兵见是运粮队，开了营门，王明等人使用手枪、宣武枪、矛、刀、剑等武器就营门口动起手来，夺了营门，伏在后边的探子营起身飞一般地冲入营垒，副将岳云鹏忙指挥士兵抵抗，太平军大队随后杀到，岳云鹏抵挡不住，带着败兵向镇龙关退去。杜新华率第四旅直扑镇龙关，鸣枪放炮，攻打甚急，一面却让王明带着第一卒和探子营以当地天道教徒做向导，轻装从小路偷过镇龙关。严树森见连失两处隘口，太平军人多，火器凶猛，忙派人飞报张芾求援。
张芾接报，急令游敬堂带3000团练兵支援严树森，游敬堂将到镇龙关时，山道两旁山岭上喊声大起，枪弹乱飞，滚石擂木雨点般落下，堵塞了前后路，山道上埋的火药也着了，连炸带烧，打得清兵鬼哭狼嚎，溃不成军，游敬堂大声喝止不住，正慌乱间，一粒子弹飞来，正中前额，当场毙命，清兵伤亡1000多人，被俘1000多人，无一漏网。严树森听道关后枪声大作，又望见清兵旗帜凌乱，暗叫不好，忙带一队人马急来接应，却被太平军阻住。关上清兵见援兵遇伏军心涣散，恰逢杜新华炮兵齐射，一阵大乱，杜新华趁势率第四旅发起总攻，夺了镇龙关。严树森前边遇阻，后边又失了青龙关，没奈何下马束手就擒。杜新华就带第四旅杀到巴州城外安营挖壕方止。双方在巴州城外打了五天，游敬堂在城外的团练兵已知游敬堂战死，兵无斗志，均四外逃散，营垒皆失。这时，没了关隘阻挡，古大力的炮兵旅在辎重旅的帮助下一路畅通无阻地来到巴州城下，一百多门大小炮齐轰，巴州城上清兵大乱，太平军趁势发起猛攻，龚俊也带人袭击了巴州游击署，活捉了巴州营游击向启文，又发绿营兵军械与天道教徒，攻下并打开东门，太平军一涌而入，张芾带着残兵败将夺路而逃，前往仪陇，太平军急赶，直取仪陇县城，张芾立脚不住，只好逃往成都。
太平军夺了巴州、仪陇，建立军政组织机构及地方部队，另以杜新华第四旅驻巴州，寻机夺取保宁府、顺庆府。张芾因损兵、折将、失地，先以失机自劾，被革职留军听命，后复自请治罪，清廷遂命他把军务交陕西巡抚刘成功，并允准他回原籍补服母丧。