1583年9月10日，利玛窦与罗明坚进入中国，求得知府王泮的允许，在崇禧塔旁修建了一座带有教堂的小房子，在肇庆建立了第一个传教驻地，利玛窦出版了第一份中文世界地图，并用中文和罗明坚起草了第一部《祖传天主十诫》。经过了几次尝试，利玛窦和罗明坚没能建立起新的驻地，罗明坚被教皇召回罗马安排教皇使节去见中国皇帝，而利玛窦和麦安东神父继续留在肇庆。
1584年利玛窦获准与罗明坚神父入居广东肇庆。他们对中国官员自称来自“天竺”，致使中国人以为他们是佛教徒。利玛窦解释来中国的原因：“我们是从遥远的西方而来的教士，因为仰慕中国，希望可以留下，至死在这里侍奉天主。”他不敢直接回答传教的目的，否则他可能会被驱逐。为了传教，他们从西方带来了许多用品，比如圣母像、地图、星盘和三棱镜等。其中还有欧几里德《几何原本》。利玛窦带来的各种西方的新事物，吸引了众多好奇的中国人。特别是他带来的地图，令中国人眼界大开。
进入了中国的利玛窦对中国文明非常称赞：除了还没有沐浴“我们神圣的天主教信仰”之外，“中国的伟大乃是举世无双的”“中国不仅是一个王国，中国其实就是一个世界。”他感叹“柏拉图在《共和国》中作为理论叙述的理想，在中国已被付诸实践。”而且他还发现中国人非常博学，“医学、自然科学、数学、天文学都十分精通。”但是他也发现“在中国人之间科学不大成为研究对象。”
1584年8月，利玛窦在肇庆建立了“仙花寺”，开始传教工作。起初传教十分低调。神父们行事小心谨慎，主要精力都在学习汉语和中国的礼节习俗，以博得中国人尤其是官员们的信任。他们身穿佛教僧侣的服饰，认为这样能够博得人们的好感，而且他们也觉得这与天主教神父的装束相差不大。这也使中国人更加相信他们是远道而来的僧人。他们在这里挂上了圣母玛利亚的画像，许多士人官吏，甚至僧人都来跪拜，他们感到非常兴奋。但是从中国人的角度来讲这更多是出于礼节性的，而没有宗教意义。也有记述说，他们担心中国人看到玛利亚的画像会误认为他们的神是女性的，而改挂了基督像。
1584年利玛窦制作并印行《山海舆地全图》，这是中国人首次接触到了近代地理学知识。利玛窦利用解释各种西方事物的机会，同时介绍了他们的天主教信仰。他们翻译了《十诫》、《主的祈祷》、《圣母赞歌》和《教理问答书》。并派发罗明坚撰写的《天主实录》，以中文解释天主教的教义。利玛窦在肇庆居住六年，除带来了欧洲文艺复兴的成果外，系统地学习了中国传统文化，期间传入的现代数学、几何、世界地图、西洋乐等西方文明。
1589年夏天，即万历十七年，广东新任总督把传教士驱逐出肇庆。1590年，利玛窦奉范礼安之命起草一封以教宗名义致大明皇帝的信札，其中亦称教宗西师都五世(1585-1590)乃居住在“天竺国”的“都僧皇”，因期盼能传“天主正教”，“推广慈悲，普济世人”，特遣“博雅儒僧”四出扬教，并派“德行颇优，儒文宏博”的“上僧”等四人入华，希望明帝能对此四僧“给有札牒，沿途迎送，以华其行”。经过多方努力，利玛窦得以被派往韶州，在那儿他建立了第二个传教驻地。在韶州的时候，利玛窦遇到了一次意外。他们遇上了强盗打劫，虽然利玛窦受了一点伤，但是幸好他们吓退了强盗，而且很快这些强盗就被逮捕归案。在韶州期间，另外一个不幸是利玛窦的两名部下相继逝世。
1591年麦安东神父逝世。1592年初春，利玛窦前往南雄拜访瞿汝夔（瞿太素），瞿氏即力劝利氏蓄须留发，且脱去僧服改穿儒服，他更透过其人脉网络，努力将利玛窦引介入士大夫的交游圈中。
1593年石方西神父也辞世了。而另