賴少其與黃賓虹的密切關(guān)系起始于華東（上海）美協(xié)的籌備，1953年,，賴少其去杭州拜訪黃賓虹相識,；之后,，賴少其幫助他治療眼病，并為他祝壽,、授牌,。

1954年9月，在上海茂名南路“文化俱樂部”為黃賓虹舉辦第一次個人畫展“黃賓虹九十山水畫展”,；黃賓虹將理論著作《畫學(xué)篇》手稿贈予知己賴少其,。此著作對賴少其的國畫創(chuàng)作具有重要的指導(dǎo)意義。

1955年3月25日,，黃賓虹九十二歲在杭州去世時,，賴少其為他舉辦追悼會；接著精選畫展20幅作品,，安排上海人民美術(shù)出版社于12月出版新中國后黃賓虹的第一本畫冊《黃賓虹山水畫集》,，賴少其專門撰寫“前言”，高度評論了黃賓虹的為人及品質(zhì),，在當(dāng)時政治環(huán)境及人們還不了解黃賓虹情況下,，賴少其勇于肯定并評論極為難得。

1980年代中后期,，賴少其又先后撰寫了《讀黃賓虹論漸江》《黃賓虹先生的為人與作畫》《從黃賓虹先生“雁蕩紀游”想起》《憶黃賓虹先生》四篇深入研究黃賓虹藝術(shù)的學(xué)術(shù)文章,。

1981年，賴少其為黃賓虹故居鑄園題“欽治學(xué)維勤,，仰畫風(fēng)獨創(chuàng)”,；1987年,，為歙縣黃賓虹紀念館題字“人民藝術(shù)家黃賓虹”，為歙縣譚渡村黃賓虹故居題《人民畫師》,。

賴少其向薛駒,、陳安羽、王家楊等浙江省領(lǐng)導(dǎo)和省美協(xié)主席肖峰等反映并得到支持,，為黃賓虹故居的維修和恢復(fù)做了大量工作,。

1986年，賴少其積極籌備黃賓虹研究會,，他與北京李可染,、張仃、黃鑄夫,，南京的林散之,、林筱之，杭州中國美術(shù)學(xué)院的王伯敏,、洪再新,，邵觀松、上海的王康樂和王克文父子,、邵洛羊,、林曦明，武漢的張放,、張庸,，安徽的石谷風(fēng)、鮑義來,，廣州的王貴忱,，香港的錢學(xué)文等40多位黃賓虹學(xué)生、弟子,、研究者聯(lián)系,，1987年、1988年,、1989年,，先后在安徽歙縣、浙江杭州和雁蕩山,、江蘇南京組織多次年會,，活動后出版《墨海青山》《墨海煙云》《墨海波濤》三本論文集。

1993年11月15日,，在浙江省杭州市蕭山舉行黃賓虹研究會第5次年會,。會議決定王伯敏為會長，王克文為副會長兼秘書長,。此時期賴少其已病重不能出席,，去信表示祝賀,。1989年10月9日，賴少其編擬《黃賓虹先生捐獻文物保存情況匯報》文稿,，建議中共浙江省委宣傳部派人至浙江省博物館核實黃賓虹先生捐獻文物的保存情況,。在嗣后舉行的黃賓虹研究會第4次年會上，經(jīng)賴少其與研究會相關(guān)同志及黃賓虹親屬商談后,，決定以提案的形式上報全國政協(xié)。為研究和弘揚黃賓虹藝術(shù)做出重要貢獻,。