韦俊在安徽芜湖隐居，河南统制古隆贤知道了韦俊下落，给其去信，邀其重新出山共创大业，韦俊回信，称降清虽为陈玉成、杨辅清两将所迫不得已而为之，但是确实对昔日战友造成杀戮，大节有亏，愧对天国，因此没脸重新出仕天国，希望天国大业一帆风顺。古隆贤见状，向魏宣武告假，欲亲自登门去请韦俊出山。魏宣武也知韦俊过往，觉得三军易得一将难求，当下同意古隆贤的请求。古隆贤到了芜湖，找到韦俊，把魏宣武的书信和一本天道教书送给韦俊，对韦俊说：“过去的就让他过去吧，新的天道教不是拜上帝教，你细看看，教主觉得像你这种人才不为国家出力可惜了。”古隆贤在韦俊家住了半月，天天给他讲天道教和太平军的各兵种操典，给他描绘一个平等自由的天国世界。逐渐，韦俊对天道教和太平天国燃起了新的希望，韦俊给魏宣武写了回信，表明如圣教主能给机会重新为天国效力，赎自己过往罪过，情愿到广西，召聚流散，建立太平军夺取两广。魏宣武览信慨然应允，任命韦俊为广西省统制，罗昌龄为广西教导营营官，带一个教导营四百人三十二人晓伏夜行，专走小路、僻路，避过清军哨卡到广西百色，与广西省总教向青松汇合，将带来枪支弹药分了一半给向青松。韦俊与广西壮族人蒙泉镜、黄金华取得联系，带教导营回到了桂平县，组织壮族人入天道教。又与李文彩取得联系，引李文彩部入广西。李文彩部在湖南道州接受太平军改编，编为太平天国广西省刺第一辖，李文彩任提辖，武修林任教士，林广文任副提辖，全部按太平军地方部队配备武器弹药，另配一个二十磅野炮营、一个四十磅攻城炮营和一个辎重营。李文彩部于1869年6月12日进入广西，连克广西灌阳、兴安，兵锋直指严关。桂林府城临桂县，巡抚李福泰与广西提督冯子材商议，由冯子材亲率清军三十营至严关与李文彩对峙。趁此机会，韦俊集合蒙泉镜、黄金华壮族三千多人在浔州府起事，与桂平县天道教徒里应外合攻取了桂平县，队伍扩大到二万多人，很快攻下思恩府、庆远府，包围了柳州府。广西总教向青松领天道教徒七千多人一起在广西百色起事，很快攻占了泗城府，队伍扩大到三万多人，但是广西左江镇总兵胡时鹏反应极快，率三十营骑兵连夜袭击太平军，向青松猝不及防，右臂受伤，损折了六、七千人，仓皇败入泗城府城，凭城坚守，幸好胡时鹏骑兵攻城能力平平，得以相持。韦俊猛攻柳州府城，周盛传带清军盛字营二十营凭城抵抗，刘三金带三千人来援，以城内眼线蓝生翠等作内应，夜里偷开了南门，韦俊得以率部杀入城内，清军溃散，周盛传被击毙，广西右江兵备道戴恩溥逃跑不成被生俘。韦俊入了柳州府城，让刘三金为柳州府提辖，黄恭多为柳州府总教，李玉成为柳州府太守组建地方各级政权机构和地方部队。韦俊自领二万余人攻击胡时鹏，胡时鹏马队居多，韦俊以排枪应对，胡时鹏亲自带队冲锋，怎奈韦俊部队有一百多支三代宣武步枪和几门野炮，排列起来，一拨拨弹雨倾泻而出，骑兵成片倒下，一些兵冲到近前，太平军长矛手涌出，乱刺乱捅，牌刀手专砍马腿和落地清兵。韦俊又带兵从侧翼绕击清兵，向青松也从城中杀出，清兵大败，胡时鹏带伤而走，太平军趁势攻取了太平府、南宁府，清左江道台何芷舠吞金自尽，太平军包围胡时鹏于镇安府城天保县，五日后胡时鹏开城降了太平军。韦俊留向青松巩固已占地方，自与蒙泉镜、黄金华、罗昌龄带二万余人攻桂林府。巡抚李福泰守不住桂林府城，挂冠弃城而逃，韦俊占了桂林，就令黄金华带一万二千人从背后攻击冯子材部。冯子材腹背受敌，大败，冯子材走投无路，降了李文彩。韦俊分兵四出，连取平乐府、梧州府、郁林州，戴恩溥、冯子材、胡时鹏等降将被送回开封教导营，魏宣武以留洋归国生田文秀为广西省刺史，向青松为广西总教，李文彩为广西统制。魏宣武又令人从湖南运送大批军火到广西，韦俊召广西壮族、瑶族七万余人组建第九野战师，韦俊任师帅，罗昌龄任总教，于1869年8月9日进入广东。
同治时期的两广总督瑞麟，是这样一号“目不识丁”的人物。有一年，广州米价大涨。瑞麟问属员是怎么回事。属员或是有意，或是无意，说了四个字：“市侩居奇。”“居奇”两个字，瑞麟听懂了；可“市侩”两个字就不知道了，惊奇地问：“四怪是什么玩意儿？”这个段子立即在广州官场流传开来，成为官员们茶余饭后的保留笑话。韦俊带兵入广东，广东陆路提督碣石总兵李杨升、与潮州镇总兵方耀、南韶连镇总兵郑绍忠商议，清廷两宫太后及同治帝均被虏，且同治已下诏退位，清廷已亡，太平军兵锋正锐，很难抵挡，不如举兵降了太平军。于是三人举兵降了韦俊，两广总督兼广州将军瑞麟见势不妙避入广东水路提督吴元猷军中，时瑞麟刚为广东水师购入六艘蒸汽火炮舰船，兵威颇盛。韦俊接受了降兵，将李杨升、方耀、郑绍忠等清千总以上官员均送回开封教导营，魏宣武又派留洋归国生蔡林任广东省刺史，广东总教为蒋鼎盛，统制为李容发，三人一起组建广东各级政权机构和地方部队，推行天国各项政策。韦俊带兵包围清琼州镇，总兵吴启爵自杀身亡。1869年10月，广东水师副将赖镇边纠合一批中下级将领，发起兵变，逮捕瑞麟及吴元猷，带广东水师归降了韦俊。广东乃定。