Soluções Aproximadas Para Problemas De Tomada De Decisão Seqüencial – André Da Motta Salles Barreto

Soluções Aproximadas Para Problemas De Tomada De Decisão Seqüencial – André Da Motta Salles Barreto
Acessar

Resumo:

Os problemas de tomada de decisão seqüencial envolvem uma série de escolhas sucessivas cujos efeitos podem se estender indefinidamente pelo futuro. Trata-se de um paradigma genérico que engloba desde tarefas simples do dia-a-dia até desafios enfrentados pela indústria. Uma maneira de solucionar esse tipo de problema é modelá-lo como um processo de decisão de Markov (MDP). Uma vez que um modelo formal do problema esteja disponível; pode-se recorrer à programação dinâmica ou à aprendizagem por reforço para determinar uma política de decisão ótima. No entanto; essas abordagens sofrem de uma séria questão de escalabilidade: problemas de tomada de decisão com um número razoavelmente grande de estados podem inviabilizá-las na prática; devido ao seu alto custo computacional. Uma forma de contornar essa questão é criar um modelo compacto do MDP. A abordagem apresentada neste trabalho; chamada fatoração estocástica; é uma proposta nesse sentido. A fatoração estocástica é a formalização de uma idéia bastante intuitiva: pode-se reduzir consideravelmente a dimensão de um MDP simplesmente redirecionando as suas transições para “estados arquetípicos” que representem bem a sua dinâmica. Resolvendo o problema no modelo reduzido; é possível encontrar uma política de decisão em uma pequena fração do tempo que levaria a solução do MDP original. O desempenho das políticas retornadas depende unicamente da qualidade da fatoração: em particular; uma fatoração estocástica exata leva garantidamente a uma das soluções ótimas do problema. Para demonstrar a efetividade desta abordagem na prática; os algoritmos derivados da fatoração estocástica são comparados com outras técnicas de programação dinâmica e aprendizagem por reforço em problemas de controle simples.

Detalhes:

  • Categoria: Teses e dissertações
  • Instituição: UFRJ/ENGENHARIA CIVIL
  • Área de Conhecimento: ENGENHARIA CIVIL
  • Nível: Doutorado
  • Ano da Tese: 2008
  • Tamanho: 2.61 MB
  • Fonte: Portal Domínio Público

Faça download do ebook em PDF: