家徒四壁的解释是家里只有四周的墙壁，形容家中十分贫穷，一无所有。

西汉时期辞赋家、文学家司马相如博学多才，以文才闻名天下，善于击剑抚琴，为人风流潇洒，许多人都愿意同他交往。汉景帝和梁孝王在世时，司马相如曾做过小官，后来他回到家乡成都，过起清闲的生活。

家乡的朋友们见司马相如回来了，都前来拜访，司马相如有也外出访友。他有位朋友叫王吉，是临邛县令。有一次他去拜访王吉，住在临邛县的一个小客店里。王吉听说司马相如来了，亲自到小客店去看望他。两位好友高谈阔论，他们的交往被城里的一些大财主得知了。

有一位大财主名叫卓王孙，见王吉如此敬重司马相如，也想结识他，就备下宴席，请王吉和司马相如来做客。可是司马相如不愿意见他，推托有病不肯前来。这可把卓王孙急坏了。卓王孙有个女儿名叫卓文君。

丈夫去世后她回到娘家居住，卓文君自幼喜爱诗赋音乐，早已听说过司马相如的大名。卓王孙请了几百名客人，央求王吉亲自去请司马相如，这才把他请来。酒宴热闹非凡，司马相如演奏了几支乐曲，博得满座宾客赞赏。

卓文君在窗外听到司马相如悦耳动听的琴声，又见他一表人才、举止大方，爱慕之情油然而生。司马相如得知此事以后，非常高兴。两人私下来往，暗订终身。卓王孙发觉后，嫌弃司马相如贫穷，不同意他俩的婚事。卓文君毅然投入司马相如的怀抱。

两人趁着黑夜偷偷离开临邛，回到成都，来到司马相如家中。卓文君一看，司马相如家徒四壁、一贫如洗，可她仍然爱着司马相如。卓王孙得知此事后十分气愤，不肯接济他们一文钱。卓文君对此毫无怨言，愿意同司马相如过艰苦的生活。

他们返回临邛，开家小酒店，卓文君亲自当垆卖酒，司马相如穿着短裤当伙计，点儿也不以为苦。卓王孙怕丢面子，给了卓文君一些钱，他们才又回到成都。后来汉武帝读了司马相如的文章，大为赞赏，把司马相如召进京城，封他为郎。