Isidor von Sevilla, ein spanischer Musiktheoretiker aus dem 6. Jahrhundert vor Christus, glaubte nicht an die Möglichkeit, Musik notieren zu können. Von ihm ist der Spruch überliefert: "Musik vergeht, sofern sie nicht vom Gedächtnis festgehalten wird, denn aufschreiben kann man sie nicht."

Etwa drei Jahrhunderte später war die Gesangskunst der Mönche in den europäischen Klöstern soweit fortgeschritten, dass es kaum mehr möglich schien, sich sämtliche Melodien zu den lateinischen Gebeten zu merken - so überlegte man sich die Möglichkeit einer Aufzeichnung und die Neumen entstanden. Man kann aus ihnen vage Tonhöhenverläufe erkennen. Die Notation war keineswegs einheitlich, sondern von Kloster zu Kloster verschieden; daneben gab es auch Versuche, an die antike Buchstabennotation anzuknüpfen.

Guido von Arezzo (gest. 1050) führte Notenlinien ein, die farbig gekennzeichnet waren, um die Tonhöhe klarer zu bestimmen. Seit dem 12. Jahrhundert verwendete man quadratische Notenköpfe, die sogenannte Quadratnotation. Auch ältere Kirchenliederbücher lehnten sich in ihrer Notenschrift noch an diese an.

Ab dem 12./13. Jahrhundert entwickelt sich zunehmend die Mehrstimmigkeit und so müssen die Tonlängen ebenfalls deutlich erkennbar gemacht werden; es entsteht die Mensuralnotation (lat. mensur=Maß).

Taktstriche wurden erst im Laufe des 17. Jahrhunderts eingeführt, Partituren (Zusammenstellung aller Stimmen eines Stücks) im 16. Jahrhundert.

Im Verlauf der Musikgeschichte kamen immer mehr Zeichen hinzu, da man bestrebt war, die kompositorischen Einfälle so genau wie möglich aufs Papier zu bringen. Damit wurde die europäische Musiknotation zu einem äußerst leistungsfähigen System von großer kultureller Bedeutung.

Im Zuge neuer Kompositionstechniken im 20. Jahrhundert suchten die Komponisten nach neuen Notationsöglichkeiten und fanden z.B. die graphische Notation, mit der man zeichnerisch ausdrücken kann, was erklingen soll. Ein Beispiel dazu ist Klaus H. Stahmers Komposition "Die Landschaft in meiner Stimme".

Neben diesen Notationssystemen gab es noch Tabulaturen für bestimmte Instrumente, vor allem für Lauten und Orgeln.

Aus anderen Kulturen kennen wir vor allem die Buchstabennotation (China) oder Ziffernnotenschrift (China, Südostasien). Viele Musikkulturen sind jedoch nach wie vor ausschließlich auf mündliche Überlieferung angewiesen.