據史書所載，樂府的最初作品，似乎是漢高祖唐山夫人的房中樂�；莸蹠r使樂府令夏侯寬，備其簫管，更名安世樂。由此可見房中樂到惠帝時便正式入樂，樂府這個名稱也是從惠帝時開始的，但當時只是一個官名。樂府機構的設立，是從漢武帝劉徹時開始的。

漢初，統(tǒng)治階級在恢復和健全國家機器、加強地主階級專政、重建賦稅徭役制度、恢復地主的爵位和田宅的同時，為了促進社會生產力的發(fā)展，緩和階級矛盾，采取了“與民休息”的政策，分發(fā)給復員軍吏士卒以田宅并免除其徭役，重農抑商，釋放奴隸，鼓勵人口的增殖。經過六七十年間的休養(yǎng)生息，社會經濟好轉，國家?guī)旄�充實，人民生活也稍為安定。在這種情況下，好大喜功的漢武帝，一面開疆拓土，向外伸展勢力，一面采用儒術，建立種種制度，來鞏固他的統(tǒng)治。

漢武帝發(fā)動了幾次征服匈奴的戰(zhàn)爭，解除了匈奴對中原的威脅。在征服匈奴戰(zhàn)爭的過程中，西北少數民族的音樂有機會傳到中原來，并引起了皇帝和貴人們對“新聲”的濃厚興趣。與此同時，政治思想上對儒術的尊崇，制札作樂便成為應有的設施，樂府之制便隨之而設。

班固《兩都賦序》說：

大漢初定，日不暇給。至宣武之世，乃崇禮官，考文章。內設金馬石渠之署，外興樂府協律之事。

《漢書·禮樂志》說：

至武帝定郊把之札，乃立樂府，采詩夜誦。有趙代秦楚之謳。以李延年為協律都尉。多舉司馬相如等數十人造為詩賦，略論律呂，以合八音之調，作十九章之歌。

《漢書·藝文志》說：

自孝武立樂府而未歌謠，于是有趙代之謳，秦楚之風，皆感于哀樂，緣事而上；亦可以觀風俗，知薄厚云。

武帝時代的樂府，據稱備員有８２９人，并沒有令、音監(jiān)、游檄等各級官吏。樂府的設置，一方面是為了制作宗廟的樂章，以歌功頌德，點綴升平：一方面是為了收集民間歌謠，了解民間對統(tǒng)治階級的意見，以便采取統(tǒng)治的對策。不管當時統(tǒng)治階級采詩的目的如何，是供娛樂也好，供政治借鑒也好，在客觀上它起了收集和保存民歌的作用，使當時四散于民間僅靠口頭流傳的許多作品得以集中和記錄下來，這在文學史上是具有重要意義的。

武帝時樂府采集的詩歌并不限于趙、代、秦、楚四地，而是北起燕、代，南至淮南，南郡，東起齊、鄭，西至隴西，也就是說遍及黃河流域和長江流域，其采集地域之大，規(guī)模之大，是繼周代《詩經》以后，又一次收集民間詩歌的壯舉。漢樂府采集到的各地民歌有：吳、楚、汝南詩歌１５篇；燕、代謳、雁門、云中隴西詩歌９篇；邯鄲、河間詩歌４篇；齊、鄭詩歌４篇，淮南詩歌４篇；左馮翎、秦詩歌３篇；京兆尹、秦詩歌５篇；河東、蒲及詩歌１篇：洛陽詩歌４篇；河南周詩歌７篇；周謠詩歌７５篇；周詩歌２篇；南郡詩歌５篇。采集的總數計１３８篇，可惜的是這些作品并沒有全部流傳下來，現代我們看到的漢代樂府民歌，多是后來收集到的東漢時期的作品。樂府雖然采集民歌，但樂府詩并不完全是民歌，其中也有一些是貴族文人的創(chuàng)作，但貴族文人的歌頌之辭，抵不過民間歌謠的流行，因此，后來留存下來的多是俗樂民歌。

樂府設立了百年左右，到哀帝劉欣時，史書所載，說他不喜歡音樂，尤其不好那些民歌俗樂，稱之為“鄭衛(wèi)之聲”。偏偏當時朝廷上下愛好這種“鄭衛(wèi)之聲”又成了風氣，貴戚外家“至與人主爭女樂”，使劉欣看著不順眼，便決心由朝廷做個榜樣，下詔把樂府里的俗樂罷去，只國下那些有關廊廟的雅樂。共裁革４４１個演奏各地俗樂的謳員。其實，哀帝罷樂府，并非他不喜歡音樂，他所不喜歡的只是民間俗樂，只是“鄭衛(wèi)之聲”可罷，留下的３３８人多是用于演奏雅樂之人員，可見統(tǒng)治階級對民間音樂詩歌的鄙視。

哀帝罷去掌管俗樂的“樂府官”，并未能阻止這種民歌勢力的向前發(fā)展，現存的樂府詩，不論是貴族的或民間的，仍多是哀帝以后的作品。東漢是吝恢復樂府機構，史無明文。但統(tǒng)治階級對樂歌相當重視。明帝把大樂分為大予樂、雅頌樂、黃門鼓吹、短簫饒歌等四部分；光武帝時制有云翹舞，育命舞；明帝時東平憲王制有大武舞；章帝元和三年，制燕射歌等等，說明樂府詩仍然向前發(fā)展。同時，統(tǒng)治階級出于種種目的，起碼是出于政治目的也曾訪聽歌謠。光武帝劉秀曾“廣求民瘼，觀納風謠”。和帝劉肇曾“分遣使者，徽眼單行，各至州縣，觀采風謠”。靈帝劉宏也曾“詔公卿以謠言舉二千石為民蠢害者”（謠言，指聽百姓風謠善惡，而黜涉之也）。那些被罷的演奏各地俗樂的謳員，本來就都是由各地民間征集來的，被罷后，他們又重新回到民間，繼續(xù)演奏俗樂民歌，并把人民口頭創(chuàng)作的新民歌記錄下來，自己也有新的創(chuàng)作，使得樂府詩繼續(xù)向前發(fā)展。

漢代以后，魏晉時代仍有樂府機關的設置，但采詩的制度卻沒有了。只是兩漢時代的樂府民間歌辭，有些還在繼續(xù)演唱、使用，因而，兩漢的一些民歌能夠流傳下來。六朝有些總集專收錄這些歌辭，沈約著《宋書》，這些樂府詩便被載入該書的《樂志》。

至東晉后的南北朝時期，統(tǒng)治階級縱情聲樂，又開始收集民歌俗曲，因此、流傳在當時南、北方的民歌，又被保存不少，僅南朝樂府流傳下來的就有４８０余篇，不僅數量多，而且與漢樂府詩也有不同的特色。