1947年由陳宗器、顧功敘、王之卓、翁文波四位科學家發起，1947年8月3日在上海成立，中國地磁學家陳宗器為首任理事長。1948年10月在南京召開首屆年會，會議就地球物理學的研究目的和范圍進行了討論，以測地學、地震學、氣象學、地磁及地電學、火山學、海洋學、水文學、地殼構造物理學、應用地球物理學9個學科為主。設立地球物理名詞審定委員會，并確定組織學術交流和出版作為學會的主要活動。1954年2月遷址北京，1957年2月召開第一屆會員代表大會。推舉趙九章為中國地球物理學會理事長。歷任理事長依次為：陳宗器、趙九章、顧功敘、翁文波、劉光鼎、王水、陳颙和陳曉非。

中國地球物理學會作為民間社團，除為會員、地球物理工作者營造一個滿意的會員之家外，特別注重為國家發展和經濟建設獻計獻策。“中國油氣資源二次創業” “建立國際地磁子午鏈” “油儲地球物理立項” “中國加入國際海洋法組織”等建議，均受到國家和有關部門的重視。學會成立以來圍繞國家經濟建設開展了一系列活動，并建立了固體地球物理、勘探地球物理、地球物理技術、地磁與高空物理、天災預測、環境地球物理、中國大陸動力學、海洋地球物理、工程地球物理、信息技術、流體地球科學、地球電磁、國家安全地球物理、空間天氣、礦山地球物理、地熱、淺地表、巖石物理、行星物理和油氣地球物理20個專業委員會，組織、國際交流、學術交流、宣傳出版、社會服務、科普、繼續教育、科技推廣中心和學生工作9個工作委員會。截至2017年9月，單位會員73家，個人會員16 273人，其中國科學院和中國工程院院士56人。學會的學術刊物為《地球物理學報》（月刊）、《地球物理學進展》（雙月刊）、《Applied Geophysics》（季刊）和《Earth and Planet Physics》。

每年一屆的學術年會吸引了越來越多的科技人員參加，規模已經達到近2400人；每年召開的國際學術交流會也吸引了越來越多的國家地球物理專家參加。每年頒發中國地球物理科技獎、顧功敘地球物理科技發展獎、傅承義青年科技獎和陳宗器優秀論文獎。

作為學會改革的先鋒，在中國科協的支持下，1987年12月學會改革了單一掛靠體制，實行“多支持體制”。主要支持單位有：中國科學院、國土資源部、中國地震局、中國石油天然氣總公司、中國石油化工集團公司、中國海洋石油總公司、中國煤炭地質總局和中國冶金地質總局等。理事會、常務理事會、專業委員會成員實行民主選舉，學會干部實行聘任制。中國地球物理學會通過學科間的交叉、滲透和綜合，努力推動地球物理學科的發展和創新，為經濟建設服務。