清光绪年间,何海霞出生于北京一个满族家庭,他的父亲叫何子元,依靠写字养家糊口。何海霞幼年时期就随父亲学习书法,后来进入私塾接受启蒙教育,学习“四书五经”等古文学,后来进入北京太仆寺街第二小学读书。早年,何海霞就曾跟随北京画家韩公典学习国画,临习唐、宋、元、明、清等各个朝代的古画,还同时学习画作装裱和鉴赏等技艺。后来入选当时在民国期间最有影响力的艺术机构中国画研究会。
1931年,何海霞和当时京城有名的京剧世家叶氏家族联姻,娶了叶家小姐叶玉珍为妻,夫妻二人时常得到叶家的资助。
何海霞和张大千的结缘要从一幅画说起,1931年,何海霞创作了《饷鸟图》,这幅作品参加了中国画学研究会第九次成绩展览,并被张大千大为欣赏。后来,何海霞就干脆拜张大千为师,跟他学画。这成为了何海霞艺术道路上的一个重要转折点。
此后,何海霞和张善子、张大千等人在天津永安饭店举行了8人联展,轰动塘沽,《齐白石、张大千、于非厂、何海霞四人联展》也在吉林长春举行。1936年,何海霞跟随老师张大千前往山东益都采风。后在北京中山公园的水榭稷园举办了《赈济西郊赤贫于非厂、张大千画展》,何海霞有两幅山水画展出,此外,他还和同门合作了《太白观瀑》、《东坡行吟》、《和靖爱海》、《渊明赏菊》等参展,作品均被收藏,所得款项全部捐赠济贫。
1937年,何海霞跟随张大千住在颐和园,这期间,何海霞突破了界画用尺子画线的绳规,凭借着扎实的功底直接作画,使得画面更加灵动和洒脱。后来,张大千前往上海,何海霞和张大千于是分别,从此天各一方,有8年未再见面。