auto-organização de células-tronco maíra gatti 09/10/2007
TRANSCRIPT
Auto-organização de células-tronco
Maíra Gatti09/10/2007
© LES/PUC-Rio
Agenda
• Motivação• Proposta de Trabalho• Cronograma
© LES/PUC-Rio
Motivação
Aneuploidy => Cancer
LANDIC - UFRJ
© LES/PUC-Rio
The Research Hypothesis and the MAS adequacy
• Stem cells are (Loeffler & Roeder, 2002 ):– a potentially heterogeneous population of functionally
undifferentiated cells, – composed of multi-cellular organisms.
• capable of:– homing to an appropriate growth heterogeneous environment; – proliferation; – production of a large number of differentiated progeny; – self-renewing or self-maintaining their population; – regenerating the functional tissue after injury with – flexibility and reversibility in the use of these options.
© LES/PUC-Rio
The Research Hypothesis and the MAS adequacy
• Basic agent’s concepts and capabilities (Jennings, 2000) – Autonomy– Interactivity– Adaptation– Suitable abstractions– Flexibility for modeling globally emergent behavior– Distribution and heterogeneity– Open systems– Self-organization
© LES/PUC-Rio
The Research Hypothesis and the MAS adequacy
• MAS is an effective way to understand how stem cells organize themselves, and to deal with it emergent global behavior
• The agent-based simulation – suggests how tiny changes in individual stem cell behavior
might lead to disease at the global through the emergent behavior,
– allows temporal analysis, – reduce costs and risks, and – could avoid some ethical issues.
© LES/PUC-Rio
The Stem-Cell Self-Organization Description
• The niche – a specialized cellular environment – provides stem cells with the support needed for self-renewal – contains the cells and proteins that constitute the extra cellular
environment
• The niche has regulatory mechanisms:– It saves stem cells from depletion– It protects the host from over-exuberant stem-cell proliferation
© LES/PUC-Rio
The Stem-Cell Self-Organization Description
© LES/PUC-Rio
The Cell Life Cycle Scope
© LES/PUC-Rio
The Agent-based Simulation
• The cells and the images associated to them in each phase
© LES/PUC-Rio
The Agent-based Simulation
• The cells and the images associated to them in each phase
Macro level
Cell Data Interface
Micro level
Internal Process Interface
© LES/PUC-Rio
Results
• The stem cell researchers’ collaborators were very excited with the first results
• First emergent phenomenon observed– the differentiated cells are located at the colony’s extremity
while the specialized and stem cells are located at the colony’s centre
© LES/PUC-Rio
Self-organization • Elicit and design the underlined optimized self-organization
mechanism– When does occur a symmetric/ asymmetric division?
• Activators /inhibitors• Differentiation and self-renew process optimization • Potentiality influence• Probabilistic influence
– Self-organization evaluation• Differentiation and self-renew rate optimum • Learning (?)
– Observable behavior vs. Simulation • How to identify local rules in a way that the perturbation induce a
cancer?• How to identify a cancer in the emergent behavior?
© LES/PUC-Rio
Problema de Auto-Organização e Otimização • A) Minimizar morte celular
– Processo de seleção vs. morte celular– Sabe-se empiricamente que ao adicionar um fator na cultura
• Diminui a morte celular• Mas aumenta número de células diferenciadas não desejadas
• B) Maximizar número de células diferenciadas– Tamanho e características ideais das colônias influenciam o processo de
diferenciação– Ex.: tam = x não responde a um fator, tam = 2x, responde
• C) Maximizar número de um determinado tipo de célula diferenciada– Neurônio– Células com menos cromossomos viram células neurais
• D) Minimizar probabilidade de tumor– Células com mais cromossomos viram tumor se não morrerem
TAXA DE CRESCIMENTO ÓTIMO A & B & C & D
© LES/PUC-Rio
Solução
• Aprendizado + Auto-organização
• Reinforcement Learning + Algorítmos Genéticos– Q-Learning
© LES/PUC-Rio
Aprendizado por Reforço (Reinforcement Learning)
• Sinal de reforço/ recompensa– gerado pelo ambiente em resposta a transições de estado
produzidas pelas ações executadas pelo sistema aprendiz.
• O objetivo de um aprendiz AR consiste em aprender uma política de escolha de ações, em cada estado, de forma a maximizar o reforço cumulativo no tempo
Agenteinteligente
Estado do meio externo output
Meio externoSinal de reforço
ações
© LES/PUC-Rio
Q-Learning
• Usado quando o agente não conhece o modelo de transição de estados do ambiente
• Ao invés de se considerar o valor do estado - V(o) -, considera-se o valor de escolher uma ação em um estado – Q(o,a)
• Definição Q– Significa a recompensa de escolher a ação a (não
necessariamente a melhor) no estado o e depois continuar escolhendo as ações ótimas
© LES/PUC-Rio
Exemplo SimplesO Algoritmo para calcular o valor de Q
Neste caso foi usado o modelo do ambiente!
© LES/PUC-Rio
Exemplo com SMA: Reinforcement Learning and Self-Organization
• Sherief Abdallah– Multiagent Reinforcement Learning and Self-Organization in a
Network of Agents
• Alocação de tarefa usando uma rede de agentes
© LES/PUC-Rio
Exemplo: Reinforcement Learning and Self-Organization
• Operações de reestruturação da rede– Adicionar nós– Remover nós
• Mecanismos de Auto-organização– Qual vizinho adicionar ou remover?– Quando parar de adicionar ou remover?– Como ajustar Q e após o processo de adição ou remoção?
• Mecanismo de Auto-organização usa informação de aprendizado para guiar o seu processo
© LES/PUC-Rio
Exemplo: Reinforcement Learning and Self-Organization
© LES/PUC-Rio
Algoritmos Genéticos
• Utilizam um procedimento de busca inspirado na evolução natural
• Rotinas análogas, de uma certa forma, – ao cruzamento de indivíduos, – cruzamento de cromossomos, – mutação de genes, e – seleção natural.
• Assim como na evolução natural, os algoritmos genéticos sacrificam parte da sua população em ótimos locais para que outros indivíduos consigam atingir o ótimo global.
© LES/PUC-Rio
Frameworks
• Reinforcement Learning– JReLM – Java Reinforcement Learning Module
• RL no Repast• Release com o Repast• http://www.cs.iastate.edu/~charlesg/
© LES/PUC-Rio
Cronograma
• Modelagem– 31/Outubro
• Implementação– 30/Novembro
• Monografia– 15/Dezembro
© LES/PUC-Rio
Bibliografia
• Reinforcement Learning: http://www.inf.furb.br/~jomi/robotica/slides/rl.pdf
• Q-Learning:http://people.revoledu.com/kardi/tutorial/ReinforcementLearning/Q-Learning-Algorithm.htm
FIM
Maíra [email protected]