Salah seorang penduduk Indonesia keturunan Jepang adalah Saartje Specx, anak perempuan dari gubernur kolonial Belanda Jacques Specx yang menguasai Batavia (sekarang Jakarta) dari 1629 hingga 1632.[3] Dalam statistik pemerintah kolonial 1898 tercatat 614 orang Jepang tinggal di Hindia Belanda (166 pria, 448 wanita).[6] Sejalan dengan makin bertambahnya orang Jepang di Hindia Belanda, Konsulat Jepang dibuka di Batavia pada 1909. Namun statistik penduduk pada beberapa tahun pertama dibukanya konsulat masih agak sembarangan.[7] Laporan konsulat menunjukkan ada 782 migran Jepang yang terdaftar di Batavia pada tahun 1909 (dengan perkiraan ada 400 orang lainnya yang belum mendaftar), ditambah 278 orang (57 pria, 221 wanita) di Medan pada tahun 1910.[8] Dimulai sejak akhir tahun 1920-an, nelayan dari Okinawa mulai menetap di Sulawesi Utara. Di Manado dibuka sebuah sekolah dasar Jepang yang pada tahun 1939 memiliki 18 murid.[9] Secara keseluruhan telah ada 6.349 orang Jepang yang tinggal di Indonesia pada tahun 1938.[10] Setelah berakhirnya pendudukan Jepang di Indonesia (1942-1945), kira-kira ada 3.000 prajurit Angkatan Darat Kekaisaran Jepang memilih untuk tinggal di Indonesia dan bertempur bersama-sama rakyat setempat melawan tentara kolonial Belanda pada masa Perang Kemerdekaan. Kira-kira sepertiga dari mereka tewas (di antaranya dimakamkan di Taman Makam Pahlawan Kalibata), sementara sepertiga lainnya memilih untuk menetap di Indonesia setelah perang berakhir.[11][12] Pada tahun 1960-an Sukarno meminta pemerintah Jepang memberikan beasiswa kepada mahasiswa Indonesia untuk belajar ke Jepang sebagai bagian upaya alih teknologi serta bagian dari pampasan perang. Beberapa mahasiswa Indonesia ini kemudian menikahi orang Jepang dan menghasilkan keturunan Nikkei Indonesia. Para mahasiswa Indonesia alumni dari Jepang ini kini bergabung dalam Persada, Persatuan Alumni dari Jepang yang didirikan tahun 1963.[13]

Pada 1970-an, perusahaan Jepang terutama di sektor elektronik mulai mendirikan pabrik-pabrik di Indonesia. Perkembangan tersebut memicu terjadinya gelombang baru migrasi ekspatriat Jepang, terutama manajer dan staf teknik yang dipekerjakan oleh perusahaan-perusahaan besar Jepang.[14] Pada akhir 1990-an juga terjadi arus migrasi sebaliknya dari Indonesia ke Jepang. Sebagian dari Nikkei Indonesia dari Sulawesi mulai bermigrasi ke Jepang untuk bekerja di bidang industri pengolahan makanan laut.[15] Hingga 2004[update], diperkirakan kira-kira ada 1.200 Nikkei Indonesia menetap di kota Ōarai, Ibaraki.[16] Selain itu, ekspatriat Jepang di Indonesia mengalir keluar secara besar-besaran pada tahun 1998 akibat Kerusuhan Mei 1998 dan kekacauan politik yang menyertainya.[17] Meskipun demikian, satu dekade berikutnya, komunitas ekspatriat Jepang masih menduduki peringkat kedua terbesar di Jakarta setelah orang orang Korea di Indonesia.[14]