1148年（皇统八年）农历正月十九日，丘处机生于山东登州栖霞。自幼失去双亲，尝遍人间辛苦。从童年时就向往修炼成“仙”，少年时栖身村北的公山，过着“顶戴松花吃松子，松溪和月饮松风”的生活。传说，他为了磨炼意志，曾一次次将铜钱从石崖上扔进灌木丛，直到找到为止。年十九出家宁海昆嵛山。1167年开始学道。1168年拜全真道祖师王重阳为师，王重阳为他取名处机，字通密，号长春子。
大定九年，王重阳携弟子4人西游，途中得道飞升于汴梁城，嘱咐：“处机所学，一任丹阳。”自此，丘处机在马丹阳教诲下，知识和道业迅速长进。和其他师兄弟合称“全真七子”他们是：丹阳子马钰、长真子谭处端、长生子刘处玄、长春子丘处机、玉阳子王处一、广宁子郝大通、清静散人孙不二（马钰之妻）。全真七子随王重阳一起弘扬道教全真派，丘处机在王重阳仙化后入磻溪穴居，历时六年，行携蓑笠，人称“蓑笠先生”。后又赴饶州龙门山隐居潜修七年，成为全真龙门派创始人之一。大定八至十年丘处机跟随王重阳在山东和河南传教。十年春，王重阳在河南汴梁升天后，丘处机跟随同门马钰、谭处端和刘处玄到陕西终南山拜会王重阳的朋友，及后于1172年将王重阳灵骨迁葬终南山。大定十四年8月，丘处机隐居磻溪潜修7年，又到陇州龙门山潜修6年。这期间，他“烟火俱无，箪瓢不置”，“破衲重披，寒空独坐”，生活极为清苦，但“静思忘念，密考丹经”，潜心于养生学和道学的研究，并广交当地文人学士，获得了丰富的历史、文化知识。大定二十八年三月，丘处机应金世宗召，从王重阳故居赴燕京，奉旨塑王重阳、马丹阳（时已去世）像于官观，并职“高功”，主持了“万春节”醮事。对皇帝作出了“持盈守成”的告诫。此时丘处机已名声大振。明昌二年秋，丘处机东归故里，修建了一处修道之所，金章宗赐匾额“太虚观”，即后来的太虚宫。因该宫地处滨都里村，栖霞人俗称之滨都宫。丘处机多次到访崂山，开创了全真道教的“龙门派”。《太清宫志》载：“宋庆元元年乙卯，真人丘长春……七真来崂山。止于本宫，讲道传玄，宏阐教义，道众大悟，各受戒律。”太清宫三皇殿之后巨石上刻有他的石刻十首。
泰和八年，他到莱西永真观后又来崂山，较长时间在这里修道，今白龙洞有他的石刻20首。他认为“牢山”名不好，山如同一座大鳌伏于海畔，命名为鳌山，因而明代在山畔建“卫城”的时候叫“鳌山卫”，海畔叫“鳌山湾”，是青岛蓝色硅谷主要“一极”。后又来青岛，在上清宫有题“词”和“诗”。崂山有许多丘长春的题词、词、诗的刻石，多为丘长春所写，后人上石刻字，如上清宫旁的丘长春词《青玉案》：“长春真人于大安己巳年胶西醮罢，道众邀请来此山，上至南天门，命黄冠士奏空洞步虚毕，乃作词一首，名曰《青玉案》。”白龙洞刻诗20首，是崂山最大的一片石刻。
泰和三年，刘处玄去世，丘处机任全真道第五任掌教。丘处机掌教时间长达二十四年，期间他在政治和社会上积极发挥自己的影响，使全真道乃至整个道教的发展都进入了兴盛时期。在泰和三年至兴定三年间，他在山东蓬莱、芝阳、掖县、北海和胶西等地传教；贞祐二年山东发生杨安儿起义，金朝驸马都尉仆散朝恩请丘处机协助招抚乱民，凭借丘处机的声望，登州和莱州等地很快恢复平静。贞祐四年金宣宗下诏派东平军王庭玉召丘处机赴汴梁，但丘处机认为金朝皇帝有“不仁之恶”，推辞未前往。至1219年（金兴定三年，宋嘉定十二年），宋宁宗派遣将领李全、彭义斌持诏书敦请丘处机赴临安，丘处机认为南宋皇帝有“失政之罪”，也推辞未前往。
兴定三年五月，成吉思汗派使者刘仲禄等人携带诏书前往山东邀请丘处机前往蒙古帝国相见，十二月，刘仲禄