《童年往事》是侯孝賢半自傳式電影，藉著男主角阿孝之口，訴說自己祖孫一家三代，在戰後從中國移民至台灣的故事。
祖母老想著回中國老家，以為跨過一條橋就到了，不只顯示她的空間認知錯亂，也暗示她無法接受離散的事實。來自外省的父母親，並未想在台灣終老，但在兩岸隔絕的情境下，台灣成了兩老的葬身之地。
阿孝自己雖是外省小孩，但從小在台灣長大，在家與家人說客語，在校與老師說國語，在外與朋友說台語，已經是個道地的台灣人。阿孝在電影最後，提及曾經與祖母一同回中國老家，結果在路上摘了一堆芭樂後回到台灣家中的記憶，正表明回鄉已經不再可能，而台灣土生土長的芭樂，已經成為阿孝在台灣落地生根的隱喻。
一家三代的春秋代謝
《童年往事》刻畫了阿孝一家三代的輾轉流離與興衰起落，點出同一塊土地由不同的世代與族群所銘刻的不同意涵，除了反映台灣特殊的歷史文化經驗，更以普世性的角度，呈現每個人必然經歷生老病死與成住壞空的命運。
電影一開頭，便以侯孝賢的聲音述說自己一家如何從中國來到台灣，一邊以鏡頭呈現空無一人的房間內部，再聚焦一只空無一人的藤椅，接著出現坐在藤椅上寫字的父親、在屋子裡玩耍追逐的小孩、在院子中削蘿蔔的姐姐與在廚房裡做飯的母親。
當角色一一在這些空間出現的同時，觀眾已經意識到這些角色不久將一一從這些空間消失；或者因為出外求學，或者因為嫁作人婦，但最後的消失狀態是不可避免的死亡。如父親生前常坐著看書的藤椅，在他死後仍然留在屋內，對照出已非的人事，並創造出滄海桑田的效果。
電影的開展主要環繞著三個死亡事件：父親、母親與祖母，如同英文片名「A Time to Live, A Time to Die」明確指出電影的主題即是春秋代謝、生死交替。老一輩的逐漸生病、死亡，而年輕一輩成長、茁壯。
生與死的相互凝視
其中父親過世一幕，全家人聚集在床榻前守靈。阿孝先被姐姐叫去浴室盥洗，後因其他人的哭喊而突然回頭，直視床榻上的父親遺體。侯孝賢刻意用阿孝的觀點，以中遠景拍攝整個場面，一方面因為距離而有去戲劇化的效果，另一方面以深度空間創造出多重凝視：此時阿孝不但凝視著死亡的父親與痛哭失聲的母親，也凝視著其他無聲凝視著父母的兄弟姐妹。
下一個鏡頭則跳到已是青少年的阿孝，在明亮的戶外，夥同著友伴啃食甘蔗。時間的省略造成「跳切」（jump cut）的效果，視覺化了阿孝宛如一夕之間長大成人的錯覺，而這正是成長小說的主題：凝視第一個親人的死亡，往往是孩童成長的關鍵。
電影另一幕裡與生病的母親面對面的鏡頭，先以正反拍的手法，呈現阿孝在書桌旁看著母親，而牆壁上掛著父親的遺照。接著攝影機切九十度，呈現母親一邊低頭寫信，一邊與阿孝對話的情境。其中的正拍鏡頭刻意在父親的遺照上疊映了母親的倒影，暗示母親不久將隨父親到另一個世界。
而阿孝則不斷成長（開始夢遺）、男子氣概不斷增強（打架、當老大、鍛煉身體）、對異性發生興趣（甚至去嫖妓以得到性經驗）。當阿孝面對得了絕症、不久人世的母親，成長與衰老的對比尖銳地凸顯出來；兩人的對話十分簡單，但呈現生與死的相互凝視，也注定新的一代終將取代舊的一代。
不停邁向死亡終站
至於最疼阿孝的祖母，在電影前半部其實頗有行動力，多次拿著包袱，準備走回中國的老家，但在後半部則因為生病只能靜臥在榻榻米上。有一組鏡頭先拍攝窗外雨下不停，接著移到桌上的紙錢被風吹動，再切到躺在地上的祖母。
祖母之前的「動」與之後的「靜」是一個層次的對比，而窗外持續不停的落雨正是無止息的時間之流，對照出生病的祖母的靜，終於被不斷成長的孫子遺忘。當阿孝最後發現她一動也不動時，祖母早已死去多時。祖母生前不斷製作銀錢，要帶到死後的世界使用，已經預期了自己的死亡，明確告訴身為旁觀者的觀眾：生命是一種時間性的存在，不停地邁向死亡的終站。
一言以蔽之，侯孝賢所謂的「童年往事」，其實也就是每個人必然經歷的「生老病死」。
