霍英東原籍廣東省番禺縣，1923年5月10日，出生于香港一個水上人家。祖父霍達潮，曾擁有大風(fēng)帆船，來往于省港澳之間，從事貨運生意。但當(dāng)霍英東來到這個世界上的時候，家境已相當(dāng)困難，全靠父親租船駁運貨物維持生活，入息不多，生活艱辛，他們?nèi)腋F得連鞋都穿不上，無論寒冬酷暑，都是赤腳行走。有一次過舊歷年，他父親第一次穿雙新鞋上街，在小攤檔把鞋脫了，蹲在凳上吃粉，吃完雙腳落地便走?；氐酱?，才發(fā)現(xiàn)竟然沒有把鞋穿回來，因為向來沒有穿鞋的習(xí)慣。
那時沒有天氣預(yù)報，水上人家生命毫無保障?；粲|的兩個哥哥就在一次臺風(fēng)中沉船喪生，一個5歲，一個7歲。他的母親幸被叔父救起，但不久他的叔父也在風(fēng)浪中翻船淹死。大約是在霍英東7歲那年，父親患病不幸去世，年僅40多歲。因為染病時間很長，天天用中草藥治療，把本來就很有限的一點錢都花光了，死后只草草地埋在青衣島上。
父親去世以后，霍英東一家生活更加困難了。那時，他還有一個9歲的姐姐，一個5歲的妹妹，生活的重?fù)?dān)全落在他母親身上。
母親是一位頑強、刻苦、勤奮的人，在那多災(zāi)多難的日子里，她沒有被生活的重壓折服，而是挺直腰桿，辛苦操勞，把丈夫遺留下來的駁運生意繼續(xù)經(jīng)營下去。這駁運生意就是與外海的貨輪接洽，代它們把貨物用小舢舨運到岸上來。當(dāng)時接運的主要貨物是煤炭?；艏易约簺]有駁船，從輪船貨主那兒把生意接下來，然后分給舢舨客駁運，從中賺取微薄的傭金。因為霍英東父親在世時人緣很好，母親又豁達得體，多數(shù)的貨主和舢舨客都頗為同情這一家孤兒寡母，日子倒也還能勉強維持下去。
霍英東的母親雖然自己目不識丁，但希望自己的兒女知書識墨。大約在霍英東6歲那年，便由別人背著去拜師啟蒙。接著在帆船同業(yè)義學(xué)就讀，那是免費的，他家住在船上，隨處漂泊，上課很不正常，有時放學(xué)后連船也不易尋找。到第三班時，轉(zhuǎn)入敦梅小學(xué)。這間小學(xué)是要收費的，其中有一個免費班，但僅招收30人。學(xué)生要作一篇文章應(yīng)考，霍英東還是考上了，而且在錄取的名字中，第一個便是他。后來，他又轉(zhuǎn)讀皇仁書院。書院的學(xué)制是倒過來從第八班開始的，相當(dāng)于初中一年級。那時，書院的第八班，共招三個班，每班30人，但大多數(shù)是經(jīng)過老師、家長及各種關(guān)系介紹入學(xué)的，真正通過考試錄取的不足10人。應(yīng)考時也要求作一篇文章，霍英東也是第一個被錄取了。
