興平元年公元194年， 曹操攻打徐州， 劉備與青州刺史田楷率領軍馬， 前往徐州救援陶謙。 曹操撤兵之后， 陶謙將劉備留在了徐州， 準許其帶兵馬駐扎在小沛， 并表劉備為豫州牧， 駐扎小沛這段時間， 是劉備人生中一個小有收獲的季節， 他在這里遇到了最為珍視的甘夫人。
劉備病逝白帝城時， 曾專門留遺言要與甘夫人合葬， 甘夫人的兒子劉禪也繼任蜀主大位， 事實上甘夫人確實是位不同尋常的女子。 古籍《拾遺記》記載， 甘夫人生長于小沛， 她的家境極為貧寒， 但算命先生見到幼年的她時， 就說此女身份尊貴。
劉備見到后心生喜歡， 于是納甘夫人為妾， 并讓她主持家務。 據載甘夫人膚色瑩白如玉， 每每皓月當空劉備都令甘夫人坐在紗帳里， 自己跑到室外隔窗賞心悅目。 小沛的一位豪商得知這件事后， 花重金買來一尊真人大小的白玉雕琢的“玉人”， 進獻給劉備， 劉備得之如獲至寶， 從此“夜夜不離帳”。
更加令人難以置信的是， 書中記述即便劉備與甘夫人同寢， 也一定把這“玉人”放在自己的身側。 久而久之甘夫人難以忍受， 想把這“玉人”砸毀， 但她并未敢下手， 小沛一位高人指點她告訴劉備“大業未成， 切勿玩物喪志”， 劉備聽后倍感慚愧， 才依依不舍的將這玉人搬離了自己的居所。