賴少其與黃賓虹的密切關(guān)系起始于華東（上海）美協(xié)的籌備,，1953年，賴少其去杭州拜訪黃賓虹相識(shí),；之后，賴少其幫助他治療眼病,，并為他祝壽,、授牌。

1954年9月,，在上海茂名南路“文化俱樂(lè)部”為黃賓虹舉辦第一次個(gè)人畫展“黃賓虹九十山水畫展”,；黃賓虹將理論著作《畫學(xué)篇》手稿贈(zèng)予知己賴少其。此著作對(duì)賴少其的國(guó)畫創(chuàng)作具有重要的指導(dǎo)意義。

1955年3月25日,，黃賓虹九十二歲在杭州去世時(shí),，賴少其為他舉辦追悼會(huì)；接著精選畫展20幅作品,，安排上海人民美術(shù)出版社于12月出版新中國(guó)后黃賓虹的第一本畫冊(cè)《黃賓虹山水畫集》,，賴少其專門撰寫“前言”，高度評(píng)論了黃賓虹的為人及品質(zhì),，在當(dāng)時(shí)政治環(huán)境及人們還不了解黃賓虹情況下,，賴少其勇于肯定并評(píng)論極為難得。

1980年代中后期,，賴少其又先后撰寫了《讀黃賓虹論漸江》《黃賓虹先生的為人與作畫》《從黃賓虹先生“雁蕩紀(jì)游”想起》《憶黃賓虹先生》四篇深入研究黃賓虹藝術(shù)的學(xué)術(shù)文章,。

1981年，賴少其為黃賓虹故居鑄園題“欽治學(xué)維勤,，仰畫風(fēng)獨(dú)創(chuàng)”,；1987年，為歙縣黃賓虹紀(jì)念館題字“人民藝術(shù)家黃賓虹”,，為歙縣譚渡村黃賓虹故居題《人民畫師》,。

賴少其向薛駒、陳安羽,、王家楊等浙江省領(lǐng)導(dǎo)和省美協(xié)主席肖峰等反映并得到支持,，為黃賓虹故居的維修和恢復(fù)做了大量工作。

1986年,，賴少其積極籌備黃賓虹研究會(huì),，他與北京李可染、張仃,、黃鑄夫,，南京的林散之、林筱之,，杭州中國(guó)美術(shù)學(xué)院的王伯敏,、洪再新，邵觀松,、上海的王康樂(lè)和王克文父子,、邵洛羊、林曦明,，武漢的張放,、張庸，安徽的石谷風(fēng),、鮑義來(lái),，廣州的王貴忱,，香港的錢學(xué)文等40多位黃賓虹學(xué)生、弟子,、研究者聯(lián)系,，1987年、1988年,、1989年,，先后在安徽歙縣、浙江杭州和雁蕩山,、江蘇南京組織多次年會(huì),，活動(dòng)后出版《墨海青山》《墨海煙云》《墨海波濤》三本論文集。

1993年11月15日,，在浙江省杭州市蕭山舉行黃賓虹研究會(huì)第5次年會(huì),。會(huì)議決定王伯敏為會(huì)長(zhǎng)，王克文為副會(huì)長(zhǎng)兼秘書長(zhǎng),。此時(shí)期賴少其已病重不能出席,，去信表示祝賀。1989年10月9日,，賴少其編擬《黃賓虹先生捐獻(xiàn)文物保存情況匯報(bào)》文稿,，建議中共浙江省委宣傳部派人至浙江省博物館核實(shí)黃賓虹先生捐獻(xiàn)文物的保存情況。在嗣后舉行的黃賓虹研究會(huì)第4次年會(huì)上,，經(jīng)賴少其與研究會(huì)相關(guān)同志及黃賓虹親屬商談后，決定以提案的形式上報(bào)全國(guó)政協(xié),。為研究和弘揚(yáng)黃賓虹藝術(shù)做出重要貢獻(xiàn),。