1927年的8月，胡适还被应聘为私立光华大学教授。但是课程并不重，如他给友人的信中说：“我现在教六点钟书，维持生活费，余力则编书。”
对胡适来说，在上海的日子总的说来是较为轻松的，除了教授很少的课程外，主要从事研究著述。除了在原来《国语文学史》讲义的基础上改写《白话文学史》外，还写了几篇关于禅宗和《红楼梦》的文章，为亚东图书馆标点本《官场现形记》作序，在上海同文书院作《几个反理学的思想家》的演讲，后整理成文。《新月》月刊创刊，此后胡适在《新月》上发表了不少文字。
1928年4月，胡适还带儿子祖望与朋友沈崑三、高梦旦等到庐山游玩一周，回到上海后写有《庐山游记》一文。
但是，这种轻松自在的日子很快被打破了。
1928年春天，胡适的母校中国公学爆发学.潮，学校董事会先后推举于右任、蔡元培出任校长，都被学生拒绝。理由是“于、蔡二人道德学问虽好，可惜兼职太多，恐不能专心办学”。
无奈之下，关心公学命运的王云五、朱经农等人找到胡适，请他出山，以解危难。
在朋友劝说下，胡适勉强答应维持两个月，到本学期结束后就辞职。答应后，很快又有点后悔。
他在1928年4月26日的日记中写道：“今天套上一件镣铐，答应了去做中国公学的校长。近来中国公学有风潮，校长何鲁不能回去，校董会中一班旧同学但怒刚、朱经农、丁觳音、刘南陔诸君，与云五等都来逼我。今天云五邀我吃饭，与怒刚诸人劝我，我一时高兴，遂允为维持两个月。此事殊不智，事后思之甚懊悔。”
作为中国公学的校友和校董，看到母校危机，虽不是很情愿，但还是勉为其难。
4月30日，胡适到中国公学正式就任校长之职，与他一同上任的还有新任总务长但懋辛、秘书长丁觳音。
中国公学全体师生召开大会欢迎胡适。
大会由中国公学第一任总教习马君武主持，他在致词中说：“一九○六年胡先生考进中公时，我就认定已替中公取了一位好学生；不但成绩好，品行好，风采也很好。果然，二十年后的今天，这位当年的好学生已经成为国际著名的学者了。现在由他回到母校来做校长，是我们中国公学最光荣的事，也是我感到生平最高兴的事。”
胡适也发表了就职致辞，他回顾了中国公学创办的历史，并特别发挥中国公学“公”字的意义，以此作为品格教育的最高目标。
就职典礼后，胡适仔细考察了中国公学的情况。看到的情况实在是困难重重，此时已经没有退堂鼓可打，胡适越发感到了自己肩上责任的重大。
他在当天的日记中写道：“与但怒刚同到中国公学。虽然受了很热烈的欢迎，但我细看校中情况，很难有办法。最难的是经济方面，熊、但诸君虽任此事，然他们都不是很有手腕的财政家，况在这各方面都穷困的时期呢?”
5月3日，胡适到中国公学办公，发现学校连一本校规都没有，于是决定从组织和法律方面入手，整顿学校。
5月5日，胡适到校召集校务会议，通过了三个议案：(1)校务会议组织大纲；(2)教务会议组织大纲；(3)学校章程起草委员会。
此外，由于之前中国公学校董名额随时增加，没有定额，导致分散在各省的校董总计不下百人，胡适认为这样的后果是“召集既甚困难，组织又不合现行制度”。因此改组校董会也成为当务之急。
在胡适的建议下，中国公学校董会于6月10日在上海开会。会议根据大学院颁布的私立学校校董会规程，通过了校董会章程，决定校董名额为15人，每两年改选三分之一的校董。接着由校董会投票选举蔡元培、于右任、熊克武、胡适、杨铨、王云五、但懋辛、马君武、丁觳音等1