音樂到底是如何起源，那是很難有精確的答案。也許人類高興或悲傷難過時所發出的呼喊就是音樂的起源。尤以宗教儀式中的祈禱或咒語，這更是音樂的表現。至於樂器，一定是人聲再有類似打擊樂的東西，彈撥或是拉弓的絃樂器是比較之後才出現的。音樂的節奏是存在於自然現象中，例如人的步行規律或是睡眠時的呼吸。當時樂器簡陋，沒有什麼紀錄音樂的方法，所以那時音樂發展的狀況都無法非常精確。
社會學家彪黑爾（Karl Bucher）說，所有規律的身體活動，必定形成一種節奏的型式，同樣的動作反覆，可以增加工作的效率，因此人們找到可以減輕勞力的規律時，就開始唱歌了，當然，原始人的歌曲只有單音的曲調，節奏是固定的，歌詞則是即興唱出，所以節奏是音樂的基本成分，這點可以斷言。哲學家斯圖姆夫（Karl Stumpf）也主張音樂藝術起源於原始人用以表示信號的呼喚聲，不同的民族會各自創造特徵明顯的音樂。對照於現代四大教學法中達克羅斯（Jacques-Dalcros）的主張，提倡以節奏當為音樂教育的開端，是很合情合理的一種方式。
根據歷史學家的研究，世界上的文明古國，像中國、波斯、埃及、希伯萊、印度等等，都有它們自己音樂源起的傳說，我們今天雖無法考證出音樂究竟是在何時由何人所創始，但可以肯定的是，至少在數千年前，人類便已有了音樂，而且是在世界上許多不同地域、不同民族間，同時朝多元化發展。
數千年前的古典音樂由於年代過於久遠，加上所遺留下來的資料殘缺不全、考證不易，所以今天討論西洋音樂史，大多是從希臘時期（大約是西元前一千年）談起。古希臘人非常熱愛音樂，他們當時已經有了音高的概念，並且依據不同的音高制定了許多不同特性的調式。
在古代文明中，構成古代音樂文化的基礎者應該是以埃及、印度及中國的音樂為主，在遠古時期，中國早已運用聲響學的方法，制定出五音音階，我們也可以在西元前埃及的雕刻中看到豎琴和笛的合奏圖，所以希臘音樂是西方音樂最早的起源，說真的，這也只是史學家的臆測。
但是中國音樂起源很早，大約在三千多年前，歐洲音樂正渾沌初開的時候，在中國，由於先聖孔子將儒家禮樂訂為正統音樂，而開始有了完備的音樂理論及樂器出現。到了漢朝 (206 B.C. ─ A.D.220)，由朝廷設立了樂府，負責整編古曲、民謠；又因與西域有商業來往，因此胡樂如琵琶、胡琴等開始傳入，並且由當時的音樂家加以改良並演奏中國音樂。