自西漢設立都護府以後， 面積達百萬平方公里的西域， 便開始成為中國的領土。 不過隨著西晉末年的大混亂， 西域地區一度脫離中原王朝的管轄， 陷入列國爭雄的局面中。 知道若干年後， 才由前秦大將呂光再度收復。
呂光出身于略陽氐酋世家， 從小跟隨父親呂婆樓征戰四方。 但由於年少， 一直不得重用。 直到苻堅登上前秦天王之位後， 呂光因父親有佐命之功， 才出仕任美陽縣令， 後升任鷹揚將軍。
在追隨苻堅討平並州叛軍張平的戰事中， 呂光迎來名揚天下的時刻。 此戰中， 張平派養子張蠔出戰。
建元十八年九月， 車師前部王彌窴、鄯善王休密馱赴長安朝貢。 表示願協助秦軍征服西域諸國， 苻堅大感興趣。 很快便確定了攻略西域的方針， 並任命呂光為使持節、都督西討諸軍事， 統帥重兵征伐西域。
次年正月， 呂光率大軍從長安出發， 於年底到達焉耆國， 開啟征服西域的系列戰事。
呂光為徹底征服西域， 欲先拿下龜茲， 龜茲國王便用重金像獪胡國求援。 獪胡又聯合混宿、尉頭等國起兵七十萬赴援龜茲，
次年三月， 呂光率軍快選東返， 此時也是淝水之戰後。 前秦因戰事的慘敗分崩離析， 皇帝苻堅則被後秦皇帝姚萇所害。 而涼州刺史梁熙也意圖割據自立， 所以極力阻止西征軍東返中原。 呂光揮軍奮戰， 最終攻陷涼州首府姑臧， 並擒斬梁熙。 正當呂光準備前進之時， 卻意外收到主公苻堅遇難， 國家殘破的消息。
前秦太初元年九月， 呂光下令三軍縞素為苻堅服喪。 然後改稱天王， 正式割據涼州， 創建後涼政權。
然而呂光死後， 諸子爭立， 後涼很快便陷入混戰之中。
西元403年， 後涼末主呂隆投降後秦。 至此， 盛極一時的北涼滅亡， 存續只有17年的時間。