Devido à crescente influência dos monges budistas no governo, o imperador Kammu resolve romper de vez os laços entre o governo e o Budismo. A capital é transferida novamente, de Nara para Heian, que posteriormente vem a ser chamada de Kyoto.
Na fase inicial do período Heian, surgem os saburais, ou servidores do palácio. A estes funcionários eram dados serviços de caráter civil e, posteriormente, militar. Historiadores afirmam que aí se encontra uma das origens dos samurais, embora ainda não constituíssem uma classe.
Durante esse período, o país atravessa um período de longa paz. Com exceção da região de Honshu, ainda não pacificada, praticamente não existia a necessidade de força militar para o estabelecimento da ordem. Enquanto isso, o Budismo se difunde aos poucos, em sua forma mais esotérica, conquistando também a classe dos aristocratas.
Sob o comando do clã Fujiwara, durante o século X, a cultura nativa do Japão experimenta rápido desenvolvimento. É criado o sistema silabário de escrita japonês (kana), composto por 46 signos básicos. Assim, os japoneses não necessitariam mais do complexo sistema de escrita chinês, criando uma literatura ágil e original. Escrito por Murasaki Shikibu nesse período, O Conto de Genji (Genji Monogatari) é considerado a primeira novela do mundo.
Já na metade desse período, a administração local torna-se cada vez mais difícil, devido ao descaso dos nobres da corte pelas províncias e assuntos administrativos em geral.
Não podendo confiar no apoio do governo central, as famílias provinciais mais poderosas passam a fortalecer o próprio poder militar, recrutando camponeses como guerreiros, para prover as necessidades de polícia e segurança. Essa transferência de poder militar do governo central às várias províncias proporcionou o desenvolvimento de uma classe guerreira provincial nos séculos X e XI, que viria a tornar-se, posteriormente, a classe dos samurais.
No ano de 939 a corte se abala com a notícia de que Taira Masakado, líder guerreiro e chefe do clã dos Taira (ou Heike), havia conquistado à força oito províncias e se proclamado o novo imperador do Japão. Para deter a revolta do clã dos Taira, a corte envia o general Fujiwara Tadafumi no comando de um poderoso exército. Entretanto, ele é morto e suas forças sofrem severas baixas, devido à simpatia dos líderes locais pela atuação dos Taira.
Paralelamente a tudo isso, ascendia também o clã dos Minamoto (ou Genji), descendente de certa linhagem imperial, promovendo campanhas de conquista no norte de Honshu.
As famílias Fujiwara, da aristocracia tradicional, e os clãs Taira e Minamoto, representando a nova classe, dominam então o cenário histórico durante séculos, período marcado por sucessivos confrontos armados entre os séculos XI e XII, quando a figura do samurai passa a desempenhar importante papel na história do Japão.
Nos distúrbios de Hogen (1156) e Heiji (1159), os Taira vencem os Minamoto e conquistam o poder, sob o comando de Taira Kiyomori. Kiyomori foi o primeiro samurai a ocupar posição de liderança no governo.
Praticando atrocidades e abusando do poder, o governo Taira logo se tornou odiado por todos. Assim, seu domínio não durou mais do que duas décadas, período em que o clã Minamoto se recuperava e juntava forças, até a última guerra civil do período, que durou cinco anos e terminou com a famosa batalha naval de Dannou, no ano 1185. Nesse choque, o clã Taira é derrotado, e morrem todos os seus principais líderes. Sobe ao poder Minamoto Yoritomo, marcando o final do período.
