五十年代以后,伯驹把他一生的珍藏书画,如堪称国宝的隋·展子虔《游春图》、晋·王繤《伯远帖》、陆机《平复帖》等,都捐给故宫博物院。他家的围棋会,陈毅元帅也时往参加,康生更屈尊枉顾张宅,欣赏讨论昆曲。
为了纪念《平复帖》,伯驹晚年书画,盖有“平复堂”印。潘素自与伯驹结婚,在伯驹的指导下,作工笔山水,因多见多临古人剧迹,所以下笔便自不俗。四十年代末,伯驹家道已渐不如前,潘素典质金饰,捐助北平的地下党活动经费,很多人都景仰这位出自风尘的不凡女性。
反右时期,伯驹被遣送长春担任博物馆副馆长,“文革”动乱,因是“五类分子”,批斗之后,被消去户口,驱到东北农村劳动,夫妇二人,相依为命。但村里因张夫妇不是劳动力,穷乡村养不起这不会农业生产的两口人,张氏夫妇文艺学术造诣再高,在农村中“无所可用”,又把他赶回城里,两人无枝可依,只好回到北京变成没有户口、粮票的“黑人”,狼狈异常。
幸好不久,总算安顿下来,但伯驹已年近八旬,仍热心诗画活动,不久逝世。近年潘素受到“照顾”,被推选为全国政协委员。这位一代佳人,憔悴伶仃,很少人知道她的身世。想不到才安定了几年,柳如是式的画家潘素,又被病魔折磨,红颜岂终薄命乎!