胡适家的房屋，是他父亲当官以后新盖的二层楼房。正面墙上有腾飞的门檐，门檐下两扇黑漆大门，门上贴着“僧道无缘”的大红纸条。这是旧日理学家庭的典型标记。胡适的叔父兼老师胡介如家，门上也贴有“僧道无缘”的纸条。他们都笃信程朱理学，不言怪力乱神，不信道家佛家，也不布施和尚道士。贴有这“僧道无缘”的条子，和尚道士就不好登门化缘了。
但是，胡家的女眷却深信神明菩萨。胡传死后，大门上“僧道无缘”的纸条由红变白，后来竟完全剥落，无影无踪了。女眷们便诚心而自由地求神拜佛。家里人有个三灾两病，便念经许愿，求神佛保佑；甚至恭请和尚到家里来，放焰口，超度冤魂。
胡适说，“星五伯娘几乎是这个大家庭的‘母’，辈分高，德望重，晚年更是吃了长斋，拜佛念经是她主要功课。四叔与受过新教育、颇有新思想的三哥都不能劝阻她。三哥嗣过继与星五伯娘的小儿子守瑜，称星五伯娘为‘祖母’。由于他从小得肺痨，星五伯娘就常为他的病拜佛求神，设蘸许愿，甚而招集和尚来家中放焰口超度冤魂。嗣只能坚持自已不行拜，绝不敢公开反对‘祖母’的善行。”
每当这种场合星五伯娘就叫胡适去替代嗣跪拜行礼。胡适从小本来就身体弱，病痛不断，对于胡适加入拜佛求神的行列，他母亲不仅十分赞同，而且还时常请星五伯娘带胡适外出烧香拜佛。每当她自带胡适回娘家中屯，十里路上所过庙宇神亭，凡有神像位的，她总要领着胡适拜揖，并郑重教导胡适拜神拜佛时必须诚心敬礼，不能敷衍了事。
童年的胡适不知不觉中也成了这个拜佛阵营中的一员。这个阵营中还有一个重要骨干：胡适一个哥哥的丈母娘，她不仅是那位星五伯娘吃斋念佛的最好搭档，而且知书识字，有理论武器。她常来胡适家中寄住，随身也带来了许多拜佛文化的典籍，如(玉历钞传)、妙庄王经)等“善书”，并常常与小辈讲述目莲救母游地府、妙庄王的公主(观音)出家修行的故事。
胡适本来在戏台上已看过《观音娘娘出家》全本连台戏，小小脑子里已有”地狱”的初步印象，等读了哪些“善书”典籍之后，对神佛那一套迷信的东西了解加深了。在这样的家庭环境气氛中，小小的胡适自然也就跟着她们一帮信徒拜佛行礼。
胡适说：“我11岁时，一日温习朱子的《小学》，这部书我能背诵却不甚了了。我念到这位理学家引那位历史学家司马光攻击天堂地狱一般信仰的话。这段话说：‘形既朽灭，神亦飘散，虽有剉烧舂磨，亦无所施。’这话好像很有道理，我开始怀疑死后审判的观念。”
他细细体味了“形既朽灭，神亦飘散，虽有锉烧春磨，亦无所施”几句话，忽然高兴得直跳了起来，《目莲救母》、《玉历钞传》等书里的地狱惨状、放焰口的和尚陈设在祭坛上的十殿阎王的画像，一一都呈现在眼前，但胡适已经不感觉到害怕了。他再三念叨着这几句话，心里很高兴，“真像地藏王菩萨把锡杖一指，打开地狱门了”。
同在那一段时间内，小胡适又发现了范缜的反因果轮回说，使他的思想受到了更加激烈震荡。从此便成了范缜和司马光的一个信徒。
他不止一次地说过：“司马光的神灭论教我不怕地狱；他（范缜）的无因果论教我不怕轮回。我喜欢他们的话，因为他们教我不怕。我信服他们的话，因为他们教我不怕。”
范缜在《神灭论》中写道：“形者神之质，神者形之用，是则形称其质，神言其用，形之与神，不得相异也。名殊而体一也。”译成白话：形体是精神的实质，精神是形体的作用，所以形体是从实体方面讲的，精神是从作用方面讲的，形体和精神是不能相互分割的。名称不同，本体还是一个。对于范缜“形者神之质”这三十五个字的理论，胡适十分信服，后几十年里时常提及，还专门写过