1982年，一部分港人选择离开香港，大量房产、地产被抛售，金融市场上出现了急售港元的危机。1983年，中英双方在香港问题的谈判上陷入僵局。马上年满四十的杨受成也遭遇了人生的第一次重大挫折因为过度投资，他的上市公司、地产楼盘、钟表珠宝生意、劳斯莱斯和信用卡都被债主汇丰银行收走，他要在8年内还清3.2亿港币的债务。
汇丰没收杨受成名下的所有财产，包括上市公司好世界、地产楼盘、英皇钟表、豪华奔驰以及信用卡。他还收到了汇丰银行的一封信，称其不能再拥有奔驰，因为奔驰是成功人士的代步工具。
他还是听从了汇丰的话，这以后，他再也没坐过奔驰的车。
令人惊诧的是，汇丰银行允许杨家姐弟3人继续在公司上班，做生意还债。当时，杨受成产业主要集中在钟表珠宝和房地产，前者可以提供稳定的利润，但不够大，后者被尽数抛售。
他至今记得走出汇丰银行总部时，四周昏黄的场景，那是他一生最煎熬的时刻。除了身上一只手表、一套衣服、一副眼镜，便再也没有属于自己的东西。
杨受成深刻感受了爬得越高、跌得越惨的痛苦。此前，他是香江赫赫有名的新生代老板：12岁混迹码头兜售手表；24岁拿下欧米茄、劳力士代理权，开设英皇钟表珠宝店；29岁，打包名下地产物业，创立好世界投资并且上市；34岁，在荃湾开设了第一家金融公司
