小摩根出生的这一年，正是美国有史以来遭受最严重的经济危机的一年。全国银行业正处于绝境之中，几乎全部银行都拒绝以金银来承兑货币或期票。

在纽约，银行业已全部瘫痪，许多银行倒闭。

衰退虽然对摩根家族的财产并没有构成严重威胁，但他们所拥有的一些产业也受到了一定程度的影响。

朱尼尔斯在儿子出生两周后，就被迫离家到美国南部去出差，做一次长期的和原本要推迟的旅行。

因为他担当合伙人的公司经营从南方运来的棉花，因没有硬通货、外汇或外国银行的信用证而无力支付货款，无法从南部筹集货源。

朱尼尔斯一出门，朱丽叶就带了孩子回到波士顿的娘家，几乎整个夏天她都是在娘家度过的。

这一时期，摩根家和皮尔庞特家经常来往。

约瑟夫多次出差到波士顿来，每次必定要来看看小摩根的外祖父和外祖母，当然也是来看望他的小孙子。

他会很虔诚地聆听皮尔庞特牧师所做的讲演，倾听他叙述他在君士坦丁堡的见闻。

6月底，朱尼尔斯回到哈特福德，他在4天内迅速向其合伙人汇报了出差情况，然后便赶快赶到了波士顿他丈人家中，看望他的妻子和孩子。

7月初，按照严格的基督教公理会的礼仪，他们为约翰皮尔庞特摩根举行了洗礼和命名仪式。然后，他把他们母子接回了哈特福德俄塞勒姆街的家中。

18年，朱尼尔斯把他自己的小家搬到了教堂街。

19年，他又在劳德山法明顿大街开始修建自己的大房子和谷仓。

然而，这一年对摩根家来说，却是一个困难时期。

那一年的洪水冲走了康涅狄格河上一座约60米长的大桥，而约瑟夫摩根在修建该桥时投资了股份。这一年大风雪、火灾和其他灾祸使得伊特纳保险公司仅在下半年就亏损128万美元。

约瑟夫哀叹伊特纳保险公司的悲惨境地，而他却给为他儿子盖房子的建筑工丰厚的工资，希望房子能尽早建成。尽管如此，朱尼尔斯为建造新家采购的东西也因为恶劣的天气而无法按时拉回来。

朱尼尔斯搭乘轮船，准备把在纽约为新家选购的壁炉架等运回去。

该船预定开到康涅狄格州，但是船员们因害怕河中的冰块，轮船中途返到了纽黑文，并把货物都卸在那儿，这使朱尼尔斯极为恼火。

在他们第二个孩子、女儿萨拉斯宾塞摩根出生时，房子才建造了一半。

但很快摩根家就度过了困难时期，1840年朱尼尔斯成为纽黑文和哈特福德铁路局董事。

3岁的小摩根也第一次乘坐了火车。

19世纪40年代的摩根一家在哈特福德是异常活跃的。

这一时期，约瑟夫为推销斯普林菲尔德和阿伯尼铁路局的证券特别卖力。

他还和儿子朱尼尔斯不停地为他们的保险公司、银行和铁路局到各地出差。