胡祖望是胡适先生的长子，高寿，在美国活到了86岁，较之其弟胡思杜多活了整整50年。胡祖望的夫人曾淑昭在胡适百岁诞辰之时写过一篇怀念文章，谈及她眼中的“家翁”胡适先生，曾淑昭平时是不大写文章的，因其一个人的百岁纪念，“这日子一世纪仅只一次，很特殊，很难逢”，所以，她要以其一瓣心香来恭祭先生的冥灵，“着重在家庭生活中生活点滴”，这种心情十分自然也很真实，可让人看见胡适先生在日常生活中最普通的一面。

1949年，大陆易帜后，胡祖望一家人暂居曼谷，四年之后定居台北。1958年，胡适先生从美国返台接掌“中研院”，胡祖望一家“每逢周日必至南港陪同午饭”，听先生畅谈掌故、时事及朋友间的趣闻。这时胡适的孙子胡复才三四岁，胡适用大部分时间陪孙儿嬉玩，“他喜欢折一大堆纸工艺，如乌纱帽、猪头、衣裳、飞鸟等，排放在长桌上，两人一起欣赏”。彼时，留在大陆的次子胡思杜已在反右运动中不幸自杀，胡适好像并不知道这件事，他与孙儿嬉戏玩耍，甚至相与笑乐，而大陆那边的悲剧却已然发生，现在说起来，这种“欢乐”的背后，颇有点残酷，胡适万万没有想到胡思杜会是这种结局!

胡适回台湾后的生活十分简朴，也就是一个书生学者的标准，“但求屋瓦不漏，衣着和暖，食堪温饱”。白天他忙着见客、开会、演讲，只有到了晚上11时过后，夜静更深，“才开始阅读、写作、处理公务，常至凌晨三四时，生活秩序有些本末倒置”。如果说胡适对生活还有那么一点点奢侈的话，那就是“他穿的鞋子必须用上好的皮革订制”。胡适不喜欢在室内脱鞋子，“即使走在日式榻榻米上也坚持不脱”，这一点，不像殷海光。殷海光平日里总是不系鞋带，认为这样进入日式房屋便于脱鞋。从性格上看，胡适较之殷海光要严谨有序得多，但在鞋子问题上却比殷海光固执得多，所以，曾淑昭认为，“尽管家公受西洋教育，赞同西化，骨子里很传统”。

胡适在国外生活期间，在精神上一直感到很痛苦。最终回台北南港接掌“中研院”，原本是想利用史语所(历史语言研究所)有的藏书，以完成中国思想史这一夙愿。开始时，他并不想让当局给自己置屋，只想在南港租一小块地，自己出钱建一所小屋即行。后来蒋中正指示有关部门为胡适建筑了“一栋现代化设备平房”，这就是当年胡适在“中研院”的旧居，即今天的胡适纪念馆。尽管蒋对胡适在生活待遇上多有照拂，但并不影响胡适对其威权思维的批评。应当说，胡适后来之所以同情狱中的雷震先生，实际上是对那个体制的不满，胡适并没有隐瞒这一点，所以雷震一直对胡适先生有所感怀，不是没有道理的。

在胡适家人看来，虽然先生秉性温和，从不在人面前假以颜色，“他嫌恶暴力，不赞成罢工、罢课，更反对用武力镇压，总希望一切问题能循和平途径解决”，却又认为一个人要坚持说真话，即便崇尚自由，“却不以妨害他人为原则”，这就是胡适先生晚年所提倡的“容忍比自由更重要”的一个观念缘起。因为他始终相信“容忍是一切自由的根本”。但同时，胡适又认为“人人都有说话的自由，个个皆是平等之身，王公贵胄固我友，贩夫走卒亦我友”，从胡适先生一生的经历来看，他的确是一位“言行一致”的人物。

不过，胡适晚年在台湾主长“中研院”，也并非事事如意。他把更多的时间放在了院方行政工作上，“特别是推行国家长期发展科学计划”，本人则没有更多的时间来进行自己的学术研究，“只能写些散篇文章，再也没有充分时间投入大著作中”。对胡适来说，这无疑是一件憾事，虽然“中研院”院长一职并非真正意义上的“政府官员”，但面对繁多的行政工作却耗尽了胡适先生晚年的时光，这从他人的回忆文章中亦尽可知道，而事实上，胡适先生可能亦并非是一个十分称职的院长(至少在行政能力上不如朱家骅)，许多麻烦琐事，后来干脆就不予过问，如近史所郭廷以争取来的一大笔“福特基金”，胡适当时就“表示不愿介入，近史所自己管理即可……”(参见《走过忧患的岁月》，“中研院”近史所1995年初版，页101)。

胡适家人说胡适平生有三大喜好：读书，写作、交友，这一概括无不道理，我们从胡适日记中即可得到确认。胡适先生的藏书颇丰，这是他留下的一笔精神遗产。有一年，好友查良钊陪同熊希龄遗孀毛彦文女士往南港参观先生的书房，胡适指着书架，幽默地对他们说，我的太太以前对人家说：适之造的房子，给活人住的少，给死人住的多。这些书，都是死人遗留下来的东西……然而，“就在这些死人中，他埋头整理国故，文学、哲学、宗教、历史、地理、都是好材料”。胡适一生清廉，身无长物，除了这些藏书之外，可说是“上无片瓦，下无寸土”，但“他的书籍、他的朋友、他的著作，都是巨大财富，天下立言者众，得人心者寡，若说他生平最大成就，恐怕该是‘广结人缘’了”。尽管世事多变，“他这条路走得很漫长，很辛苦”，却始终能有良好的人缘交往，与其说这由于他的温和秉性，还不如说是他对待人生的基本态度。正因为如此，当“一切知遇、曲解、绚烂、沧桑都成过去”，惟“我的朋友胡适之”这句话，在朋友们的记忆中一直流传至今。