杨玄感决定起事后，通知了自己的弟弟们，以及信得过的几位故交。
不久，四弟杨玄挺、五弟杨积善带着家仆数十人来到黎阳县。
杨玄感召集李密、王伯仲、杨玄挺、杨积善开会，让他们四人一起负责筹建军队。并等待二弟杨玄纵、三弟杨万石到来。
相对于李密、王伯仲等人，杨玄纵、杨万石经历过两次东征战火洗礼，且是现任骁果军高级将领，带兵经验更丰富。
5月中，二弟杨玄纵回到了黎阳。
只不过，他的样子非常狼狈，且带回一个不幸消息：杨家老三杨万石被涿郡留守薛世雄的人抓捕了。
原来，杨玄纵、杨万石兄弟俩接到大哥信件后，立即去找暂代兵部尚书的斛斯政帮忙。
在后者协助下，二人颇为顺利离开了辽东队伍。
他们带着送信人和十几个同族亲随，来到榆关门下，叩叫守将赵元淑。
赵元淑已经收到杨玄感书信，知道该咋办。
他不顾军规，亲自下楼打开关门，领着他们穿越榆关防区，送他们出境。
十几人向西进入涿郡防区后，杨玄纵和杨万石合计：涿郡留守薛世雄是杨广亲信，杨家人若是被他逮到，一定凶多吉少。
二人决定分头行动，各带几人，潜行越过涿郡辖区。
后来，杨万石那帮人全部被涿郡官兵抓获。杨玄纵这股也几次遭到追捕，被抓走大半，只回来三人。
杨玄感忍住悲痛，安排医师给杨玄纵三人治伤。
杨玄纵伤好后，成为新组建的黎阳起义军大将军，队伍3万人。
5月份开始，杨玄感已经停止向涿郡发运粮草。
涿郡留守薛世雄多次派人送来严厉质询函。
杨玄感已派人与山东、河北几处起义军取得联系。
在杨玄感授意下，山东乱民王薄、张金称、孟让等，河北窦建德、孙安祖、高世达等，对黎阳运粮船进行了多次伏击，“抢走”了几批粮草。
杨玄感便以反贼四起、漕运安全无法保障为由搪塞薛世雄。
5月20日，薛世雄的军信使送来皇帝杨广通牒诏书：6月初一若不见黎阳督运使部运粮船抵达涿郡，则以谋反罪论处杨玄感等人。
眼看准备工作也差不多了，杨玄感、李密、杨玄纵、王伯仲、赵怀义、杨玄挺、杨积善七人开会，决定于6月初3起事。
起事的理由是右翊卫大将军来护儿在东莱谋反、杨玄感奉皇上口谕率军平叛。
大业九年（公元613年）6月初3，杨玄感在黎阳县督运使部阅兵誓师，宣布奉诏平叛：驻扎东莱海域的楼船军水师大将军来护儿，故意拖延时间不出兵配合皇帝东征。黎阳督运使杨玄感奉诏担任河东大总管，讨伐来护儿叛军。
杨玄感同时宣布：即日起，汲郡、河内郡全域戒严。
所谓的来护儿谋反，自然是杨玄感编造的幌子。
李子雄在东莱军中试探来护儿后，认为拉来护儿入伙没有可能。他一边派人暗地里给杨玄感报了信，同时自己也脱离东莱水师，带着少量亲信正在赶来黎阳的途中。
所谓率军东去平叛，也只是借口。
阅兵誓师之后，黎阳军队分成几部，由水陆两路向南行军。
杨玄感、李密、杨玄纵等人的真正目的地是首都洛阳城。