後來，石從雲被提升為排長。1904年入保定姜堰學堂受訓，次年畢業，任北洋軍第五鎮隊官。1905團的成立，標誌著新的革命高潮的到來。這年6月，石的母親去世，他到家鄉吊唁，再壹次目睹了下層人民的疾苦，更加堅定了他推翻滿清封建統治的決心。他剪掉辮子，寫道:“從此父母歸凈土，我頭可造山河！”誓言表達了他投身反清革命鬥爭的誌向。
就在史辦完喪事準備回家的時候，又傳來消息，說是他的同鄉要在京炸北洋五大臣。他被這個消息深深感動了，並欽佩吳越的國家節氣。回到部隊後，石四處活動，積極聯系各界進步人士和戰士。1910年春，他與王金明、馮玉祥等人發起並組織了“武術研究會”，以研究軍事、學習為名，在士兵中秘密宣傳反清革命。
同年9月，石並入第二十鎮，遷至奉天新民府。從隊官、隊監晉升到第79標段二營管理帶。當時軍營裏很多官兵來自山東，還有壹些團員。為了便於活動，他們在士兵中秘密組織了“山東會”，並聘請了壹位鎮上的反動將軍擔任會長，以掩人耳目。石雖然不是山東人，但也被吸收為名譽會員，擔任邊書記，成為協會負責組織和宣傳的重要成員。他抓住這個機會，利用同盟會成員之間的聯系和社會各階層的聯系，廣泛開展革命活動。