趁兵力集中在遼東城，趁機攻打洛陽，皇帝楊廣很快就知道了，得知楊玄感的身份顯貴，起兵反叛必將引起天下大亂。不再攻打遼東城速速班師回朝，并給左右大將宇文述，來護兒發(fā)話
“楊玄感一呼，也者十萬，益知天下人人不欲多，多即相聚為盜，不盡加誅，無以懲后！”
皇帝恐懼楊玄感的反叛，如果不把他滅了便無法震懾其它有異心之人，其他人便人人效仿反叛自己，這是絕對不允許的，但殊不知民間已早就民不聊生，怨氣沖天，反叛聲從四面八方傳出，就差一支響亮的大旗。
洛陽還是有兵力守衛(wèi)楊玄感攻打不下選擇了去潼關(guān)，追殺的兵力已經(jīng)向他方趕來，直取他的首級，3萬人被殲滅，6千余人被解散。
楊玄感見煬帝率隋軍主力遠在遼東前線，致使后方兵力空虛。有機可乘，于是乃與虎賁郎將王仲伯、汲郡贊治趙懷義等人策劃起兵。
他們故意遲滯漕運，不按時發(fā)運軍資，并派人暗中召回隨煬帝到遼東的其弟楊玄縱、楊石和在長安的好友蒲山公李密秘密會商，到了六月初三，楊玄感詐稱在東萊(今山東掖縣)?？诘挠因斝l(wèi)大將軍來護兒謀反，領(lǐng)兵占據(jù)黎陽，關(guān)閉城門，大索男夫。并向附近各郡發(fā)送文書，以討伐來護兒為名，命各郡發(fā)兵會集黎陽。
楊玄感任命趙懷義為衛(wèi)州刺史、東光縣尉元務(wù)本為黎州刺史，河內(nèi)郡主為懷州刺史。并選精壯運夫五千余人，船夫三千余人，殺三牲誓師，起兵反隋。
該來的總會來，李道容上次機緣巧合下免于上前線，可這次是自己對自己上級發(fā)起的戰(zhàn)事不得不面對，軍隊的訓(xùn)練也緊鑼密鼓起來，
后來李密趕到，向楊玄感獻上、中、下三計：但楊玄感卻決定用下計，錯誤地認為打下東都，才能大長士氣，并可以抓獲文武百官的家屬作為人質(zhì)，遂盡焚屯于黎陽的龍舟，率兵向東都洛陽進發(fā)。同時，命其弟楊玄挺率一千人進攻河內(nèi)，唐偉(原響應(yīng)楊玄感，此時已背叛楊玄感)憑借堅城據(jù)守，楊玄挺軍久攻不克。隋廷留守東都的越王楊侗和民部尚書樊子蓋接到楊玄感起兵的消息，立即加強東都的防御。
修武縣(今河南武陟)民也幫助隋軍據(jù)守臨清關(guān)(在今河南新鄉(xiāng)東北)，使楊玄感軍無法過關(guān)，不得不從汲郡(治衛(wèi)縣，今河南淇縣東)南渡黃河，繼續(xù)向東都前進。叛軍未遇任何抵抗，很快到達偃師(今河南偃師東)。楊玄感乃命其弟楊積善率兵三千從偃師以南沿洛水西進，楊玄挺自白司馬坂(即白馬山，在今河南洛陽北邙山北麓)越過邙山從南面向東都發(fā)起進攻，楊玄感率三千余人馬緊隨其后。東都方面派河南令達奚善意率精兵5000抵擋楊積善，將作監(jiān)及河南贊治裴弘策率八千人迎戰(zhàn)楊玄挺。
當時，楊玄感的士卒多為沒受過正規(guī)訓(xùn)練的民夫，手執(zhí)單刀柳盾，也沒有弓箭鎧甲，但士氣高昂。
校場中
“天下已經(jīng)大亂，昏君無道，氣數(shù)已盡，只要你們英勇無敵，立下赫赫戰(zhàn)功，功成名就，封官加爵指日可待！”
“成功～！成功～！”
“怕死嗎？誰怕死我就當場把他打死，免得拖住本軍后退，誰消極我就讓他當人肉盾！誰敢擾亂軍心者，軍法處置！”
“不怕～！不怕～！”
而隋軍士兵雖裝備精良卻士氣低落，故達奚善意軍不戰(zhàn)自潰，裴弘策軍五戰(zhàn)五敗，只帶十余騎逃回城中。十四日，楊玄挺直抵太陽門，將東都包圍。楊玄感屯上春門(洛陽北門)，每次向眾人發(fā)誓都說：“我身為上柱國，家累鉅萬金，至于富貴，無所求也，今者不顧破家滅族者，但為天下解倒懸之急，救黎元之命耳?！北娊愿袏^，每日投營報效者有數(shù)千人。
楊玄感收編隋軍降眾，招募百姓，得五萬余人，很多達官貴族子弟也紛紛投奔他。乃分兵五千占據(jù)慈硐道(在今河南洛陽西)，五千人把守伊闕道(在今河南洛陽南)，派開國元勛韓擒虎之子韓世萼率三千人包圍滎陽(在今河南滎陽東北)，顧覺率五千人攻取虎牢(在今河南滎陽西北汜水鎮(zhèn)西)。楊玄感親率主力攻打東都，樊子蓋隨機拒守。楊玄感一時無法攻破城池。
鎮(zhèn)守長安的代王楊侑派刑部尚書衛(wèi)文升統(tǒng)兵四萬救援東都。衛(wèi)文升軍經(jīng)崤(在今河南洛寧西北)、澠池(今河南澠池東)，在東都城北和楊玄感軍交鋒，衛(wèi)文升部且戰(zhàn)且走，至金谷(今河南洛陽市東北)與楊玄感軍形成對峙之勢。楊玄感軍屢敗衛(wèi)文升軍，使其實力大損。衛(wèi)文升遂孤注一擲，在邙山南與楊玄感軍決戰(zhàn)，一日之內(nèi)雙方交戰(zhàn)十余次。眼看衛(wèi)文升軍難以支持，恰巧楊玄挺被流箭射死，楊玄感軍才不得不暫時退卻。
這時，遠在遼東的隋煬帝已率隋軍主力回師，命虎賁郎將陳棱進攻據(jù)守黎陽的元務(wù)本，左翊衛(wèi)大將軍宇文述、右侯衛(wèi)將軍屈突通馳援東都。在東萊的來護兒也停止進攻高麗，還師西進，對包圍洛陽的楊玄感形成反包圍態(tài)勢。楊玄感軍處于四面受敵的不利局面。七月二十日，楊玄感接受李子雄、李密的建議，解除了對東都的包圍，率軍西進，準備奪取關(guān)中。