母親生產之後，因為思念她的養母，且首飾都在娘家，情緒不佳，而沒有足夠的奶水，就配「米奶」（加糖或蜜）、麵茶或糕餅餵我。小時候，由於我長得很矮小，人家叫我「矮仔旂」；又因我走路喜歡用跳的，父母暱稱我為「雀鳥仔」（麻雀）。小時候我白天睡覺，晚上常起來哭，往往吵到鄰居。三叔便哄我，敲打抽屜的把環發出響聲，我聽了就不哭了。

　　我出生之後第二年（一九二一年），母親和娘家也開始往來了。母親的養母「大麵阿嬤」很疼我，常私下抱我去她家玩；她看我長得可愛，對於母親當年離家私逃之事，也就逐漸釋然。每當母親要打我時，我就躲到她背後，久而久之，兩家便恢復往來了。我五、六歲時，大麵阿嬤搬到三重埔，要賣房子，我將此事告訴父親，父親就以較高的價錢買下來。父親還告訴母親，這是為了報答他們對母親的養育之恩，大麵阿嬤知道後，心裡更是十分感動。父親買下的房子就是「廣和堂」（在今迪化街），在此開設「廣和堂藥舖」。

　　我母親的生父後來續了絃，因此我又多了一個祖母：「米糕阿嬤」；她喜歡喝酒，父親也常和她一起飲酒。加上內祖母和大麵阿嬤，我總共有三個阿嬤來疼惜。父親很孝順外祖父，有趣的是，他對外祖父從來不曾有正式的稱呼，只是親暱地叫他「臭耳仔」或「米糕公」。外祖父家住大龍峒，後來我在曹秋圃先生位於大橋頭的學堂讀書時，課室在二樓，外祖父到永樂市場門口賣完粽子，就會買些肉丸或餅來給我，有時也會給我幾毛錢。他經過課室時，叫一聲「矮仔旂」，我就會很開心地跑下來。

　　當時，辜顯榮、李仔春等人是我們的鄰居，常來我家的藥店裡看報、喝茶、聊天。辜顯榮喜歡抱我，搖了幾下，又放我下來；也曾帶我去他家。據說，我滿周歲時，他送了金製的帽仔花、金手鐲，還有粉紅色外衣。

　　我小時候在家，常看夥計們洗藥、切藥、炒藥、烘藥、煎藥；日子久了，也懂得一些藥名。五歲半時，父親帶我去參加元宵節的燈謎大會，並讓我騎坐在他的肩上看。有一道謎題是：「甕中藏鱉」，打一藥名。我用手敲一下父親的腦袋，說「炙耆」，得了一個金牌。後來又有一道謎題是「乞丐在路邊參詳（商議）」，打一藥名。我雖然知道謎底是「蘆薈」，但看到一旁有白鬍鬚的老阿公都沒猜，就不好意思再猜了。這也是我的性格，我不喜歡和人競爭，只想去做人家不會或是不能做的事。