一九一一年，任吉林巡警总办。
一九一二年四月，被浙江省议会选为临时参议员。五月，参加共和党，被选为理事。一九一三年，当选为第一届参议院议员、国会宪法起草委员会委员，继任参议院议长。
同年五月，参加进步党，任党务部部长。
一九一四年五月，为袁世凯时期参政院参政、副议长，制宪委员会委员、总统选举委员会主席。
一九一六年八月，国会恢复，仍任参议院议长兼宪法会议议长。是年冬，与梁启超等组成宪法研究会。次年初，出任河南中福矿务公司督办。
一九一八年，参加发起“和平期成会”。
此人善口辩，登台演讲，议论滔滔，切中时弊，语惊满座。
为人正直，任议长期间屡拒军阀巨款贿赂，曾设法营救过被卢永祥设计陷害至死地的徐锡麟之弟徐锡麒(叔荪)、
段祺瑞此次组阁后，一直没有到总统府去看过冯国璋。
有人提醒他，冯目前仍然还是总统，总理应该去见见总统。段当时表面上虽然不以为然，但还是记在了心里。
总要给自己找个借口，找个由头。
五月三十一日，段到总统府见冯，报告中日交涉已告一段落，并且说今后仍当随时报告。态度谦卑，倒使冯受宠若惊。
六月七日，一直住在天津的徐世昌突然到北京来。他抵京后，倡议冯段合作，同时主张在北洋派内取消内争，直系皖系的界限应该同时消除。
过去人们都说徐世昌是活曹操，冯段交恶时，大家认为徐世昌应该站出来调和，而徐却躲在天津不肯见人。
梁士诒由北京到天津时，也曾力促徐入京当调解人，徐向梁士诒说：“过去黎时代，府院是明争，我尚能调解，如今是暗斗，我无能为力，实在心有余而力不足。”
因此，当徐到北京大倡调和冯段之争时，大家都猜想北京政局在酝酿新的变化，否则徐不会贸然到北京来的。
徐世昌当然不会无缘无故地到北京来。
这时，皖系又筹划召开军事会议，会议主题不仅讨论军事，还有选举总统的问题。曹锟主张这个会议仍在天津召开。
对于总统问题，段祺瑞在会上摊了牌：提议推举徐世昌为下届总统，他自己则表示不做副总统，倘若冯国璋愿意退为副总统，他可以支持。否则，他愿意和冯国璋同时下野。
段说他这样做，没有私心，也没有个人恩怨。只有一个目的，就是为了团结北洋派。徐世昌是北洋的元老，众望所归，在很多人看来是北洋人中，可以把各方团结起来的不二人选。
督军团们在天津公推张怀芝为代表，于六月十五日到北京，面谒冯国璋。询问冯能不能退而为副总统？
冯马上表示“不为”。
因冯段两人都让出了副总统的位子，这一来，曹锟就有希望出任副总统了。
六月十九日天津会议正式举行，除督军团各督军和督军代表外，还加了个龙济光。
会议一致决定通过徐世昌为下届总统，并通过继续对南方进行军事行动。
曹锟是因为副总统已是指日可得，所以马上由主和转而主战。
张怀芝厌战是因为想回山东老巢。不料他回到山东后，代理山东督军张树元不肯交还督军位子。于是只好到南方找地盘，因此他便也由主和转为主战。
张怀芝愿意赴南指挥军事，正好符合当时的需要。因为曹锟既然要当副总统，自然不愿赴南方，其他的主战的大将如张作霖、倪嗣冲等都不愿离开他的地盘。张怀芝在北洋派中资格颇老，而他已“无家可归”，正好成为段对南第五期作战统帅的人选。
虽然张不是能征善战的良将，但总比派不知名或资格浅的人来得妥当，于是张怀芝便顺理成章地成为南征主帅。
张怀芝虽然余勇可佳，愿意担任征南统