然而，不幸很快就降临到孔子和他母亲身上。在小圣人三岁的时候，叔梁纥去世了。孔家成为施氏的天下，施氏为人心术不正，孟皮生母已在叔梁纥去世前一年被施氏虐待而死，现在，又对征在母子抛白眼，欺负他们；村妇顽童骂孔子是野种。他们尝够了这种寄人篱下、受人欺凌的生活。最后，年轻坚强的母亲颜征在不得已带着儿子到城里生活。好在颜家是鲁国大户，外公既有地位又有学问，能够关照他的女儿和外孙。小孔子跟外公学习文化和为人处世之道。

    史书上说，孔子幼年，“为儿嬉戏，常陈俎豆，设礼容”。住在都城阙里街的小孔子在学习之余，喜欢和小伙伴们做祭礼的游戏，捏制各式各样的礼器。有时，还搞些恶作剧，学大人哭丧。饱读诗书的外公和开明的母亲，从小就向孔子灌输了周公礼制、《鲁春秋》、《尚书》、《易》、《诗》、《乐》等知识。孔子天赋极高，看书过目不忘，领悟力超群，往往能闻一知十，触类旁通，举一反三，象个小大人。他特爱发问，问那么多的为什么？喜欢沉思默想。小小年纪，抱负颇大，他说，要做一个象周公那样伟大的人。当然，孔家的古代光荣也给他极大激励。

    孔子的父母之邦——鲁国为周公旦之子伯禽封地，对周代文物典籍保存完好，素有“礼乐之邦”之称。鲁襄公二十九年（前544年），吴公子季札观乐于鲁，叹为观止。鲁昭公二年（前540年），晋大夫韩宣子访鲁，观书后赞叹“周礼尽在鲁矣！”鲁国文化传统与当时学术下移的形势对日后孔子思想的形成有很大影响。

    在孔子8岁的时候，为欢迎吴国使者、著名学者季札的来访，鲁君举办了一场盛大的乐舞表演会。爬树偷看的小孔子因惊扰圣驾差点被处死，而他的聪明机智、与其年龄不相衬的满腹才学和他的彬彬有礼不仅救其一命，还获鲁襄公特许，可以入官学读书，进太庙习礼，随太史读上古典籍。

    没有父亲的孔子是不幸的，为缓解一点家庭困境，读书之余，小孔子给人家的红白喜事当吹鼓手。他有极高的音乐天赋，唢呐吹的很棒。从此，音乐伴其一生，有时，达到痴迷的程度，“闻韶乐，三月不知肉味”，后来，成为一个杰出的文艺理论家、作曲家和演奏家。曾创作《将归操》、《猗兰操》、《龟山操》等音乐作品。提出了“成于乐，游于艺”，“尽善尽美”、“乐而不淫、哀而不伤”，“兴观群怨”等文艺理论。音乐不仅是其紧张学术和政治生活的调剂品，情感表达的工具之一，也是他教育学生和民众的一种武器。他还为人放牛牧羊，看管仓库，作为谋生手段。《孟子？万章下》：“孔子尝为乘田矣，曰，‘牛羊茁壮长而已矣。’”就是讲的此事。对于射箭、驾车等他也十分在行。不管做什么事，事无大小，均能做到近乎完美。孔子后来回忆说，吾少也贱，故多能鄙事（《论语？子罕》）。