1922年5月，冯玉祥主政河南，为改变河南贫穷落后、闭塞愚昧的面貌，他决定创建大学，培养人才。11月，河南省政府任命张鸿烈为校长，在河南留学欧美预备学校基础上创办中州大学。留学欧美预备学校创建于1912年。1923年3月，中州大学正式挂牌成立。草创之初，师资奇缺，他们向留学海外的河南籍学生发出聘请，冯友兰先生名列其中。冯友兰先生是用河南公费到美国留学的，留学前，也是用河南公费在上海中国公学读书。这样，在公在私，于情于理，冯友兰先生是不能推辞的，也就愉快地接受聘请。1923年暑假，冯友兰先生学成归国，践约受聘于中州大学，同时受聘的还有他的弟弟冯景兰先生。

初来乍到，学校很器重冯友兰先生，对他委以重任。除担任哲学系教授外，他还兼任哲学系系主任、文科主任、校评议会成员、图书馆委员会委员等职。冯友兰先生初出茅庐，雄心勃勃，想干一番事业。上任伊始即展现管理大学之干才。他发现中州大学文科存在三大弊病：一是师资不足；二是冗员较多；三是学风不好。于是就大刀阔斧进行整顿。首先，要各系按最低需要拟具职员名额，减少非教员编制，一改过去冗员过多、喧宾夺主、办事推诿的弊病。其次，不惜重金延请名师。一时间，著名学者如郭绍虞、董作宾、马非百、王显汉、仇春生、汪敬熙、余家菊和李廉方等前来任教，师资阵容大为改观。最后，下大力气整顿校风和学风。调动教师研究学术、撰写著作的积极性，指导学生组织各种社团，从事丰富多彩的课外活动。这些措施实施后，中州大学人文学科学术地位陡然提升，学术风气焕然一新。在从事学校管理的同时，冯友兰先生一直服务在教学第一线。当时中州大学哲学系开了很多课程，冯友兰同时讲授几门主要课程。据河南大学校史记载，冯友兰先生“讲课深刻、自然，广征博引，贯通古今中外，受到同学们的欢迎”。他还亲自指导学生进行英译汉的练习，以培养学生学习外语的兴趣，并受聘为学生社团文艺研究会名誉会长。在此期间，冯友兰先生出版了《一种人生观》及A Comparative Study of Life Ideals（《人生理想之比较研究》），前者是对当时科玄论战作出的回应，也是对梁漱溟的直觉说的批评；后者是其博士学位论文，该书出版后，冯友兰先生获哥伦比亚大学哲学博士学位。

冯友兰先生是教育家，不是教书匠，他有自己的办学理念和办学方法。1925年，他在《现代评论》上发表《怎样办现在中国的大学？》一文。在该文中，冯友兰先生强调学术发展对于中国的重要意义，认为要发展学术，必须办好大学。他指出，当时中国面临的情况是：一、必须充分地输入新学术，并彻底地整理旧东西；二、必须力求学术上的独立；三、出版界可怜异常，有许多人想看书而无书可看；四、对西洋学术有较深的研究之人甚少；五、更无人在世界学术界中可称为“大师”。要办好大学，应先设像样的本科，就要“以请中国人做教员为原则”，且所请教员“要有继续研究他所学之学问之兴趣与能力”，“大学要给他继续研究他所学之学问之机会”。