小摩根出生的這一年，正是美國有史以來遭受最嚴重的經濟危機的一年。全國銀行業正處于絕境之中，幾乎全部銀行都拒絕以金銀來承兌貨幣或期票。

在紐約，銀行業已全部癱瘓，許多銀行倒閉。

衰退雖然對摩根家族的財產并沒有構成嚴重威脅，但他們所擁有的一些產業也受到了一定程度的影響。

朱尼爾斯在兒子出生兩周后，就被迫離家到美國南部去出差，做一次長期的和原本要推遲的旅行。

因為他擔當合伙人的公司經營從南方運來的棉花，因沒有硬通貨、外匯或外國銀行的信用證而無力支付貨款，無法從南部籌集貨源。

朱尼爾斯一出門，朱麗葉就帶了孩子回到波士頓的娘家，幾乎整個夏天她都是在娘家度過的。

這一時期，摩根家和皮爾龐特家經常來往。

約瑟夫多次出差到波士頓來，每次必定要來看看小摩根的外祖父和外祖母，當然也是來看望他的小孫子。

他會很虔誠地聆聽皮爾龐特牧師所做的講演，傾聽他敘述他在君士坦丁堡的見聞。

6月底，朱尼爾斯回到哈特福德，他在4天內迅速向其合伙人匯報了出差情況，然后便趕快趕到了波士頓他丈人家中，看望他的妻子和孩子。

7月初，按照嚴格的基督教公理會的禮儀，他們為約翰·皮爾龐特·摩根舉行了洗禮和命名儀式。然后，他把他們母子接回了哈特福德俄塞勒姆街的家中。

1838年，朱尼爾斯把他自己的小家搬到了教堂街。

1839年，他又在勞德山法明頓大街開始修建自己的大房子和谷倉。

然而，這一年對摩根家來說，卻是一個困難時期。

那一年的洪水沖走了康涅狄格河上一座約60米長的大橋，而約瑟夫·摩根在修建該橋時投資了股份。這一年大風雪、火災和其他災禍使得伊特納保險公司僅在下半年就虧損12.8萬美元。

約瑟夫哀嘆伊特納保險公司的悲慘境地，而他卻給為他兒子蓋房子的建筑工豐厚的工資，希望房子能盡早建成。盡管如此，朱尼爾斯為建造新家采購的東西也因為惡劣的天氣而無法按時拉回來。

朱尼爾斯搭乘輪船，準備把在紐約為新家選購的壁爐架等運回去。

該船預定開到康涅狄格州，但是船員們因害怕河中的冰塊，輪船中途返到了紐黑文，并把貨物都卸在那兒，這使朱尼爾斯極為惱火。

在他們第二個孩子、女兒薩拉·斯賓塞·摩根出生時，房子才建造了一半。

但很快摩根家就度過了困難時期，1840年朱尼爾斯成為紐黑文和哈特福德鐵路局董事。

3歲的小摩根也第一次乘坐了火車。

19世紀40年代的摩根一家在哈特福德是異常活躍的。

這一時期，約瑟夫為推銷斯普林菲爾德和阿伯尼鐵路局的證券特別賣力。

他還和兒子朱尼爾斯不停地為他們的保險公司、銀行和鐵路局到各地出差。

摩根家的家庭生活也很溫暖，家里人經常聚會并搞些娛樂活動。

朱尼爾斯的第三和第四個孩子，女兒瑪麗和兒子小朱尼爾斯不久也相繼出生了。

孩子們的出生為這個家庭又增加了新的生機。

在朱麗葉生小瑪麗·萊曼·摩根的前后，約瑟夫就開始花很多時間用車接送孩子到農莊去玩耍。

1845年，約瑟夫又在豪和馬塞公司為兒子朱尼爾斯投資了25000美元。

朱尼爾斯還被選為哈特福德火災保險公司的董事。

這一榮譽反映了他的家族在哈特福德的地位以及他們在保險公司的投資分量。

1846年，9歲的小摩根開始了他的學習生涯。

少年時期的小摩根并不像他剛出生時那樣體格健壯，相反，他似乎繼承了他母親的病弱體質，孩提時代的他，大部分時間是疾病纏身，所以他所接受的學校教育從一開始就是斷斷續續的。

開始，他在離家很近的教區學校里待了幾個月，接著又到康涅狄格州圣公會學校里待了幾天。

開始上學的這一年，小摩根由于經常生病仍然有很多時間待在家里，雖然他的爺爺約瑟夫身體不好也常在家里，但小摩根還是感到很孤獨，他想改變自己的生活。

后來，他父親就把他從哈特福德送到柴郡小學去讀書，從此小摩根開始了寄宿學生的獨立生活。但是由于身體狀況時好時壞，他從第一年起就經常不能去柴郡上學。

1847年7月23日，約瑟夫·摩根去世，享年67歲。

在生命最后的幾周里，他開始消瘦，但仍像年輕時那樣活躍，也許他知道自己將不久于人世，他開始把產業轉讓出去。

約瑟夫去世時為兒子朱尼爾斯留下了一筆數量相當可觀的遺產。

據傳，約瑟夫·摩根為兒子留下了數百萬美元的遺產，但就所公布的數字來看，他離百萬富翁還相差甚遠。

他的委托人聲稱，他在遺囑里只提到了10.2萬美元的財產，其中92000美元是房地產，但是這僅僅是約瑟夫·摩根去世前幾個月所擁有的財產一小部分。

毫無疑問，在遺囑上統計的數字只是老人臨死時當地的房地產和在銀行里的存款。

尚未統計他在各個銀行里的股份，沒有統計他在輪船公司、運河公司、橋梁公司和至少兩家鐵路局里的股份和他在伊特納保險公司里的大量資產。

這些對40歲的朱尼爾斯來說，是一筆很大的財富。

朱尼爾斯并沒有被這筆財富沖昏頭腦，反而很好地利用這筆財富，與當時波士頓最大的零售商店（J.M&Beebe&Co）合作，從事起了干貨進出口貿易。

也因此結識了喬治·皮博迪，這個人雖然不姓摩根，但正是他的出現讓此時的摩根家族增加了至少20倍的資產，并為之后他們的金融帝國打下了堅實的基礎。

喬治·皮博迪是倫敦著名的銀行家，之所以能在被羅斯柴爾德家族稱霸的歐洲銀行界擁有一席之地，就是因為他投資了羅斯柴爾德家族看不上的美國。