O WordPress é, sem sombra de dúvidas, uma das melhores plataformas para a criação de blogs que existe na atualidade.
Vários blogs (assim como este) utilizam essa ferramenta como plataforma padrão devido a sua facilidade de uso e flexibilidade para alterações e personalização.
Sua flexibilidade possibilita que se façam blogs com os recursos mais variados, e, para além disso, com as devidas alterações, podemos transformar um blog em um verdadeiro portal, da mesma forma com que faríamos em um site.
Obviamente, tal transformação requer que tudo seja devidamente testado para que não hajam problemas quando tudo for ao ar.
Todavia, testar as alterações online não é recomendável, uma vez que demandaria mais tempo devido às conexões lentas e às trocas de arquivos entre os servidores e o computador onde estamos trabalhando.
A solução nesse caso é instalar os servidores em uma máquina de produção e cuidar de toda a criação offline para só depois de pronto, enviar para o servidor.
Já fazia algum tempo que estava querendo escrever sobre o assunto e decidi abordar o tema aqui depois que o Luiz Felipe do TheNets deixou um comentário perguntando sobre os procedimentos.
Para instalar o WordPress no Ubuntu é necessário, antes de mais nada, instalar os servidores necessários para o seu funcionamento. Nesse caso, estamos falando do Apache, MySQL e PHP, sem os quais o sistema de blogs simplesmente não funcionaria.
No caso do Ubuntu, todos os componentes necessários podem ser instalados através do apt-get / synaptic, o que nos poupa um grande trabalho. Assim, vamos por partes, instalando um por um e verificando se as coisas estão correndo bem:

Instalando o Apache:

No synaptic / apt-get, procure e instale o seguinte pacote:

apache2

Não se preocupe com as dependências, pois o synaptic / apt-get irá se encarregar de instalar todas as que forem necessárias.
Depois que a instalação for concluída, vamos verificar se tudo deu certo. Abra o navegador e digite http://localhost
Se estiver tudo certo, veremos uma mensagem como esta:
Apache rodando. Vamos em frente!

Instalando o MySQL:

O WordPress trabalha com o banco de dados MySQL, assim, será necessário instalar o mesmo.
No synaptic / apt-get, procure e instale o seguinte pacote:

mysql-server

Assim como no Apache, não há necessidade de se preocupar com as dependências, pois o synaptic / apt-get cuidará delas.
Depois que os pacotes forem baixados, o instalador ira abrir uma nova janela onde devemos informar a senha do administrador do banco de dados. Informe a senha e confirme. Anote para não esquecer, pois precisaremos dessa senha mais tarde.
MySQL instalado. Vamos em frente!

Instalando o PHP:

Assim como os demais, esse não apresentará grandes dificuldades.
Para instalar o PHP, procure no synaptic / apt-get os seguintes pacotes:

php5
php5-mysql

Já disse pra não se preocupar com as dependências?
Enfim, php instalado. Vamos seguir adiante.

Instalando o phpMyAdmin:

É possível criar as tabelas no MySQL através do terminal, mas vamos usar um método gráfico para isso.
O phpMyAdmin, dentre outras coisas, permite criar, excluir e fazer backups das tabelas de seu banco de dados. Trata-se do utilitário de administração do banco de dados MySQL mais usado atualmente.
No synaptic / apt-get, procure e instale o seguinte pacote:

phpmyadmin

Ao término da instalação será necessário configurar o phpMyAdmin. Sua configuração, entretanto, é bem simples:
Na primeira janela, selecione o servidor web que estamos utilizando. Nesse caso, é o apache.
Em seguida, marque a caixa de seleção que informa sobre a configuração do pacote.
Informe a senha do usuário administrativo do banco de dados MySQL (aquela que pedi para anotar durante a instalação do MySQL).
Para finalizar, crie uma senha para acessar o phpmyadmin e confirme em seguida.
Antes de partir para o WordPress, vamos criar uma tabela em nosso banco de dados para ser usada pelo nosso blog de testes.
Abra o navegador e digite o endereço: http://localhost/phpmyadmin
Informe a senha cadastrada na instalação do phpMyAdmin para acessar sua área adminstrativa:
Vá direto para a opção "criar novo banco de dados", escreva o nome do nosso banco de dados: "wordpress" e clique em criar. Caso escreva outra coisa, anote para não esquecer, pois será necessário quando formos instalar o WordPress.
Terminamos aqui, vamos ao passo final.

Instalando o WordPress:

Já estamos chegando lá!
Apasar de ser possível instalar o WordPress através do synaptic /apt-get, tive alguns problemas com esse pacote, por isso, costumo usar o pacote do wordpress.org. Dessa forma, instalo o último pacote já traduzido para o português.
Basta fazer o download do último pacote no link acima, descompactar e criar um link simbólico da pasta "wordpress" para o diretório /var/www.
Supondo que a pasta wordpress (criada ao extrair o conteúdo do pacote baixado) esteja em seu /home, abra o terminal e digite o seguinte comando:

$ sudo ln -s /home/usuario/wordpress /var/www

Apenas substitua o "usuario" pelo seu nome de usuário no comando acima.
Com o link devidamente feito, vamos ao WordPress:
Abra o navegador e acesse o endereço http://localhost/wordpress
Se tudo estiver correto, teremos a seguinte mensagem (apenas siga adiante):
Na segunda janela seremos avisados sobre quais informações serão necessárias para instalar o WordPress. Apenas siga adiante.
Na jenela seguinte teremos que preencher as informações do nosso banco de dados, como o nome do banco (que criamos no phpMyAdmin), o nome de usuário (root, caso não tenha criado outro), a senha do MySQL (criada na instalação do MySQL) e o nome do servidor (mantenha localhost mesmo).
Se tudo estiver certo, veremos a janela seguinte, onde devemos informar o nome do nosso blog de testes e nosso email.
Clique em "instalar wordpress" para receber uma senha provisória (não esqueça de mudá-la).
Caso receba uma mensagem de erro nessa altura, informando que não foi possível criar o arquivo wp-config.php, copie o conteúdo da caixa apresentada, abra seu editor de textos, cole o conteúdo e salve como wp-config.php dentro da pasta wordpress. Em seguida, clique em "instalar wordpress" para receber a senha do passo anterior.
Depois de tudo isso o WordPress estará instalado e pronto para usar:
Agora, para acessar seu blog de testes, basta abrir o navegador e digitar o endereço
http://localhost/wordpress
Você pode instalar quantos blogs de teste quiser, basta criar os devidos links na pasta /var/www e os bancos de dados necessários com a ajuda do phpMyAdmin.
Usando esse método podemos ainda instalar outros sistemas para testes, como o phpBB (fórum), o joomla (gerenciador de sites) e outros sistemas que façam uso de php e MySQL.
Mais informações:
http://br.wordpress.org/
http://www.apache.org/
http://www.mysql.com/
http://php.net/index.php
http://www.phpmyadmin.net/