指南针是中国古代四大发明之一。早在春秋战国时期，人们对磁现象就有了深刻的认识。古代中国人认为，磁石吸铁，有如慈母怀子，因此在先秦的许多文献中，多将“磁石”写作“慈石”。战国后期的哲学家韩非的着作中，不但有关于磁现象的记载，而且有把磁性用于辨别方位的记载。这表明，在那时人们已开始用磁石来制造最初的罗盘。
到了西汉时期，中国古代磁学有了进一步发展。东汉哲学家王充在其着作《论衡》中曾有过这样的记述：“司南之杓，投之于地，其柢指南。”这说明，作为指南针前身的司南在当时已得到较为广泛的应用。
西汉以后，古代罗盘技术的研究和应用已发展到了一个新阶段。首先，形如勺的司南已发展成为基本上具有近代形式的指南针。其次，对磁学的研究也有了进一步的发展。
北宋时期的大科学家沈括是中国古代罗盘技术与磁学知识的集大成者。在罗盘技术方面，沈括系统地总结了制作指南针的缕悬法、水浮法等四种不同的制作方法。他在《梦溪笔谈》一书中有这样的叙述：选择新的蚕丝，用蜂蜡把它粘在磁针的中央，悬吊在没有风的地方，这时磁针便指向南方。或者是把磁铁针粘在灯心草上，浮在水面，这时磁针同样可以指示南方，但稍稍偏东。
在汉、唐时代，指南针多用于迷信的“看风水”活动，励志，到11世纪，指南针才开始用在航海上。宋德宗时，曾经南航苏门答腊的朱彧留下过这样的记载：“舟师识地理，夜则观星，昼则观日，阴晦观指南针。”这说明，当时确实已把指南针用于航海。在我国指南针已经很普及的时候，欧洲还根本不知道它。12世纪，我国和阿拉伯之间的海上贸易逐渐发展起来，指南针也通过南海航路传到印度，以后又通过印度传到阿拉伯，从阿拉伯辗转传到欧洲。
在欧洲，最先仿制出指南针的是法国人古约。1205年，古约在研究中国指南针制作技术的基础上，试制出了欧洲最早的指南针。到了15世纪，由于罗盘制作技术在欧洲的普及，罗盘被广泛地用于海上探险活动。当罗盘的应用越来越广泛时，对磁学的研究也随之有了初步的发展。1492年，意大利人哥伦布在航海时发现了磁偏角。虽然哥伦布发现磁偏角的时间比中国的沈括发现磁偏角的时间晚400多年，但哥伦布是在并不知道中国人的发现的情况下独立发现磁偏角的，这说明当时欧洲人对磁现象的观察和研究有了深入和发展。
16世纪，卡尔达诺完成了关于罗盘装置，即所谓的“卡尔达诺装置”的重要发明。这项发明是由三个具有互相垂直旋转轴的同心环组成的支持装置，把罗盘固定在内环上，通过外环的轴把整个装置架设在船体上。这样，无论船体怎样摇晃，罗盘总是可以始终保持水平，准确地指示南方。
