風流多情的李敖生前有2段婚姻，早年他和「臺灣第一美人」胡因夢的短暫婚姻轟動社會，1979年胡因夢26歲時和李敖第一次見面，當時44歲的李敖對胡展開追求，他邀胡因夢喝咖啡，帶她去家裡看10萬藏書，後來兩人同居試婚。但婚後爭吵不斷，1980年8月兩人離婚，這段婚姻只維持115天。最後李敖情定小他30歲的妻子王小屯，兩人婚後生下一子一女，取名李戡和李諶。
李敖和胡因夢當年堪稱才子佳人，李敖曾誇胡「又漂亮又漂泊，又迷人又迷茫，又傷感又性感，又不可理解又不可理喻的。」他追求胡因夢時，已有女友劉會雲，他拿210萬元臺幣補償劉會雲，誠意感動胡因夢媽媽，胡媽媽還宣稱「全臺灣配得上我女兒的就只有李敖一人！」
1980年5月胡因夢嫁給大她18歲的李敖，不料婚姻變調，兩人只當3個多月的夫妻就離婚，李敖曾解釋：「她是國民黨演員，國民黨說妳怎麼可以跟這個叛亂份子勾肩搭背呢？國民黨就打擊她，不許她演電影跟主持金馬獎，一在家她就跟我吵架，我哪受得了？」
但胡因夢表示，離婚是個性不合，加上李敖和蕭孟能的財產侵占官司。蕭孟能是兩人好友兼紅娘，李敖在胡因夢不知情的狀況下利用她侵占蕭孟能所有財產。後來胡因夢出庭作證，李敖敗訴入獄半年，也讓這兩個曾經最親密的人，徹底反目。
去年11月兩人的離婚協議書出現在松山文創園區沐春堂拍賣展上，內容寫道「今後有關財產問題，無任何關係，男婚女嫁各不相干」，為這段短命婚姻再添話題。記者昨致電胡因夢中國手機，無法接通，打她臺灣手機則由一名男性接起，問對方這是否是胡因夢電話？他略帶慌張地說：「不是，你打錯了。」隨即把電話掛斷，再打過去都未再接起，傳訊息也未回。
李敖現任妻子王小屯是他生命中最重要的一位女人，鮮少曝光。出身軍人世家的王小屯，父母是河北人，李敖曾稱王小屯是純種河北人，有傳統、保守、敦厚、耿直的個性。當年王小屯在公車站牌前看李敖的書，李敖見到驚為天人，尤其是王小屯修長的美腿。
王小屯原名王志慧，「小屯」是她和李敖到故宮看展覽，李敖看到一隻可愛的小豬，替她起的小名。兩人相戀曾遭王小屯父母反對，認為李敖大女兒近30歲又不安分，王小屯撂話「若不嫁給李敖，我就一輩子不嫁！」她父母才點頭，兩人在1992年3月8日結婚。
喜歡美女的李敖曾誇歌手莫文蔚是他的夢中情人，更自爆莫文蔚送過全裸海報，李敖也到莫文蔚演唱會捧場。莫文蔚跟舊情人結婚，李敖讚莫文蔚「很偉大，敢用過去追求未來。」
