1972年9月29日,中日两国签署《日本国政府和中华人民共和国政府联合声明》,实现邦交正常化,正式建立大使级外交关系。现在的日本驻华大使馆位于北京市朝阳区亮马桥东街1号。
但建交之初,日本驻华大使馆设在第一使馆区(建国门外日坛路7号)。后来,随着中日交往越来越密切,馆舍便越发紧张。2006年,日本在第三使馆区美国大使馆附近选了一块地建设新馆,新大使馆地上6层,地下1层,总建筑面积12000平方米,造价高达72亿日元(当时约合6亿元人民币,现在约合4亿人民币)。日本驻华新大使馆于2011年7月竣工,不过,因新建大使馆占地面积超过了最初的申请面积,未能通过中国有关部门的审核,所以迟迟没有启用。
另外,日本在北京开工建设新馆之后不久,中国也在日本东京麻布投标竞得了5700平方米的土地,准备用来修建驻日大使官邸,但遭到日本外务政务官滨田和幸等人的反对未获建设许可;2009年,中国准备在冲绳县建设领事馆,日本政府没有同意;2011年,中国打算扩大驻新潟和名古屋领事馆,同样遭到议会议员的阻挠而被搁置。如今日本在北京的新大使馆已经顺利完工,而中国驻日使领馆建设搬迁问题却一直毫无进展。中方希望日本方面信守承诺,根据国际法要求,多做具体的推进工作,为中国在日本的使领馆建设提供必要协助和便利
2012年1月19日,日本外务省向中国提交书面承诺表示:“日本政府将基于国际法和国内法范围,协助中国在东京建设大使官邸、在新潟等地扩建领事馆的计划”,两天之后,也就是2012年1月21日,中国外交部同意了日本驻华大使馆迁往新址。
中日自建交以来,两国关系取得了长足的发展,但也并非一帆风顺。2021年,中日在面临国际国内经济环境诸多不利因素挑战的情况下,经贸合作仍稳步发展,两国货物贸易总额达23500亿元,创造了历史新高。
由于中日经贸往来频繁,日本在我国上海、广州、沈阳、重庆、青岛和香港设有总领馆,另外在大连还设有一个领事办公室。