卫立煌出生于安徽合肥卫杨村[1]:554。卫立煌的家庭出生是负责田赋登记管理的地方官吏，父亡于1905年，家计靠著其兄长卫立炯在县城的职务糊口，幼年接受私塾教育，有基础识字知识。武昌起义时，卫立煌应募到安徽庐州军政分府当兵[1]:554。辛亥革命后的1912年，卫立煌与其兄长一同至和州（今安徽和县）加入军队，卫立炯任安徽和县军事训练班主任，和县在二次革命时参与革命军，后兵败，逃离部队返乡。讨袁时卫立煌随侍吴忠信入粤军[1]:554。1914年卫立煌在考入湖北陆军学兵营，再度入伍，在1年的训练后逃离部队至上海，后参加肇和号巡洋舰起事失败，南下广州加入由广东省省长朱庆澜成立的广东省军，为粤军第二军班长（军长许崇智）。

由于朱庆澜立场偏向孙中山，因此他成立的部队也与孙中山关系密切。1917年孙中山南下护法，卫被荐当大元帅府卫士[1]:554。不久卫立煌因负伤调许崇智部当排长[1]:554。1918年调回粤军第二军第二支队。后屡建战功逐级陞到团长[1]:554，1920年升任粤军第二军参谋长。卫立煌的军事资历初期均在粤军第二军缔造，包括东征、广州商团事件与对抗陈炯明等初期作战。1924年6月第一军第四师第七旅补充旅旅长。1925年孙中山病逝后，因为许崇智被蒋中正排挤离开广州，粤军第二军也被收编整并。1925年粤军被编入国民革命军第一军，蒋中正任军长，卫立煌任补助旅旅长[1]:554。卫立煌任职的补充旅被缩编为国民革命军第一军第三师第九团，卫任少将团长。国民革命军北伐时，卫与刘峙、顾祝同、蒋鼎文、陈诚都是第一军的团长，后来都陞师、军长、总司令，号称五虎将[1]:554。1926年，第一军由何应钦率领对抗周荫人在福建的部队，由于第一军屡战皆胜，松口战斗后卫升任第十四师师长。1927年8月，孙传芳第七次渡江反扑，第一军在何应钦军长统率下以寡敌众苦战一周，龙潭之役击溃孙军精锐肃清江南[1]:555。第一军、第七军、第十九军共同阻止安国军对南京的攻势。因此战功，14师师长卫立煌在1927年10月升任国民革命军第九军副军长兼南京卫戍副司令。1928年，卫立煌保送陆军大学将官特别班第一期深造，补足因由行伍出生而缺少的学历。