Em aprendizado de máquina, redes neurais informadas pela física (PINNs, do inglês physics-informed neural networks), também referidas como redes neurais treinadas por teoria (TTNs, do inglês theory-trained neural networks), são um tipo de aproximador universal de funções que pode incorporar o conhecimento de quaisquer leis físicas que regem um determinado conjunto de dados no processo de aprendizado, e podem ser descritas por equações diferenciais parciais (EDPs). A baixa disponibilidade de dados para alguns problemas biológicos e de engenharia limita a robustez dos modelos convencionais de aprendizado de máquina usados para essas aplicações. O conhecimento prévio das leis físicas gerais atua no treinamento de redes neurais (RNs) como um agente de regularização que limita o espaço de soluções admissíveis, aumentando a generalizabilidade da aproximação de funções. Dessa forma, incorporar essa informação prévia em uma rede neural resulta no aumento do conteúdo informacional dos dados disponíveis, facilitando que o algoritmo de aprendizado capture a solução correta e generalize bem mesmo com uma pequena quantidade de exemplos de treinamento. Como processam coordenadas espaciais e temporais contínuas e geram soluções contínuas das EDPs, podem ser categorizadas como campos neurais.
Aproximação de funções A maioria das leis físicas que governam a dinâmica de um sistema pode ser descrita por equações diferenciais parciais. Por exemplo, as equações de Navier–Stokes são um conjunto de equações diferenciais parciais derivadas das leis de conservação (i.e., conservação de massa, momento e energia) que regem a mecânica dos fluidos. A solução das equações de Navier–Stokes com condições iniciais e de contorno apropriadas permite a quantificação da dinâmica do escoamento em uma geometria precisamente definida. No entanto, essas equações não podem ser resolvidas exatamente e, portanto, métodos numéricos devem ser usados (tais como diferenças finitas, elementos finitos e volumes finitos). Neste cenário, essas equações governantes devem ser resolvidas considerando suposições prévias, linearização e discretização adequada no tempo e no espaço. Recentemente, resolver as equações diferenciais parciais governantes de fenômenos físicos usando aprendizado profundo emergiu como um novo campo do aprendizado de máquina científico (SciML), aproveitando o teorema da aproximação universal e a alta expressividade das redes neurais. Em geral, redes neurais profundas podem aproximar qualquer função de alta dimensão, desde que dados de treinamento suficientes sejam fornecidos. No entanto, tais redes não consideram as características físicas subjacentes ao problema, e o nível de precisão da aproximação fornecido por elas ainda depende fortemente de especificações cuidadosas da geometria do problema, bem como das condições iniciais e de contorno. Sem essas informações preliminares, a solução não é única e pode perder a correção física. Para remediar isso, as Redes Neurais Informadas pela Física (PINNs) aproveitam as equações físicas governantes no treinamento da rede neural. Ou seja, as PINNs são projetadas para serem treinadas de modo a satisfazer tanto os dados de treinamento fornecidos quanto as equações governantes impostas. Dessa forma, uma rede neural pode ser guiada com conjuntos de dados de treinamento que não precisam necessariamente ser grandes ou completos. Uma solução precisa de equações diferenciais parciais pode potencialmente ser encontrada sem conhecer as condições de contorno. Portanto, com algum conhecimento sobre as características físicas do problema e alguma forma de dados de treinamento (mesmo esparsos e incompletos), as PINNs podem ser usadas para encontrar uma solução ótima com alta fidelidade. As PINNs podem ser aplicadas a uma ampla gama de problemas em ciência computacional e são uma tecnologia pioneira que leva ao desenvolvimento de novas classes de solucionadores numéricos para EDPs. As PINNs podem ser pensadas como uma alternativa livre de malha às abordagens tradicionais (por exemplo, CFD para dinâmica dos fluidos) e novas abordagens orientadas por dados para inversão de modelos e identificação de sistemas. Notavelmente, uma rede PINN treinada pode ser usada para prever valores em grades de simulação de diferentes resoluções sem necessidade de retreinamento. Além disso, as derivadas usadas nas equações diferenciais parciais podem ser computadas usando diferenciação automática (AD), que é considerada superior à numérica ou simbólica.
Modelagem e computação Uma equação diferencial parcial não linear geral pode ser escrita como:
u
t
+
N
[ u ; λ ] = 0 ,
x ∈ Ω ,
t ∈ [ 0 , T ]
{\displaystyle u_{t}+{\mathcal {N}}[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]}
onde
u ( t , x )
{\displaystyle u(t,x)}
denota a solução,
N
[ ⋅ ; λ ]
{\displaystyle {\mathcal {N}}[\cdot ;\lambda ]}
é um operador não linear parametrizado por
λ
{\displaystyle \lambda }
, e
Ω
{\displaystyle \Omega }
é um subconjunto de
R
D
{\displaystyle \mathbb {R} ^{D}}
. Esta forma geral das equações governantes resume uma ampla gama de problemas em física matemática, tais como leis conservativas, processos de difusão, sistemas de advecção-difusão e equações cinéticas. Dadas medições ruidosas de um sistema dinâmico genérico descrito pela equação acima, as PINNs podem ser projetadas para resolver duas classes de problemas:
soluções orientadas por dados de equações diferenciais parciais descoberta orientada por dados de equações diferenciais parciais
Solução orientada por dados de equações diferenciais parciais A solução orientada por dados de EDP computa o estado oculto
u ( t , x )
{\displaystyle u(t,x)}
do sistema dados dados de contorno e/ou medições
z
{\displaystyle z}
, e parâmetros do modelo fixos
λ
{\displaystyle \lambda }
. Resolvemos:
u
t
+
N
[ u ] = 0 ,
x ∈ Ω ,
t ∈ [ 0 , T ]
{\displaystyle u_{t}+{\mathcal {N}}[u]=0,\quad x\in \Omega ,\quad t\in [0,T]}
definindo o resíduo
f ( t , x )
{\displaystyle f(t,x)}
como:
f :=
u
t
+
N
[ u ]
{\displaystyle f:=u_{t}+{\mathcal {N}}[u]}
, e aproximando
u ( t , x )
{\displaystyle u(t,x)}
por uma rede neural profunda. Esta rede pode ser diferenciada usando diferenciação automática. Os parâmetros de
u ( t , x )
{\displaystyle u(t,x)}
e
f ( t , x )
{\displaystyle f(t,x)}
podem então ser aprendidos minimizando a seguinte função de perda
L
tot
{\displaystyle L_{\text{tot}}}
:
L
tot
=
L
u
+
L
f
{\displaystyle L_{\text{tot}}=L_{u}+L_{f}}
onde:
L
u
= ‖ u − z
‖
Γ
{\displaystyle L_{u}=\Vert u-z\Vert _{\Gamma }}
é o erro entre a PINN
u ( t , x )
{\displaystyle u(t,x)}
e o conjunto de condições de contorno e dados medidos no conjunto de pontos
Γ
{\displaystyle \Gamma }
onde as condições de contorno e dados estão definidos.
L
f
= ‖ f
‖
Γ
{\displaystyle L_{f}=\Vert f\Vert _{\Gamma }}
é o erro quadrático médio da função resíduo. Este segundo termo incentiva a PINN a aprender a informação estrutural expressa pela EDP durante o processo de treinamento. Esta abordagem tem sido usada para produzir modelos substitutos informados pela física computacionalmente eficientes, com aplicações na previsão de processos físicos, controle preditivo de modelos, modelagem multifísica e multi-escala, e simulação. Foi demonstrado que converge para a solução da EDP.
Descoberta orientada por dados de equações diferenciais parciais Dadas medições ruidosas e incompletas
z
{\displaystyle z}
do estado do sistema, a descoberta orientada por dados de EDPs resulta no cálculo do estado desconhecido
u ( t , x )
{\displaystyle u(t,x)}
e no aprendizado dos parâmetros do modelo
λ
{\displaystyle \lambda }
que melhor descrevem os dados observados:
u
t
+
N
[ u ; λ ] = 0 ,
x ∈ Ω ,
t ∈ [ 0 , T ]
{\displaystyle u_{t}+{\mathcal {N}}[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]}
Definindo
f ( t , x )
{\displaystyle f(t,x)}
como:
f :=
u
t
+
N
[ u ; λ ] = 0
{\displaystyle f:=u_{t}+{\mathcal {N}}[u;\lambda ]=0}
, e aproximando
u ( t , x )
{\displaystyle u(t,x)}
por uma rede neural profunda,
f ( t , x )
{\displaystyle f(t,x)}
resulta em uma PINN. Esta rede pode ser derivada usando diferenciação automática. Os parâmetros de
u ( t , x )
{\displaystyle u(t,x)}
e
f ( t , x )
{\displaystyle f(t,x)}
, juntamente com o parâmetro
λ
{\displaystyle \lambda }
do operador diferencial, podem então ser aprendidos minimizando a seguinte função de perda
L
tot
{\displaystyle L_{\text{tot}}}
:
L
tot
=
L
u
+
L
f
{\displaystyle L_{\text{tot}}=L_{u}+L_{f}}
onde:
L
u
= ‖ u − z
‖
Γ
{\displaystyle L_{u}=\Vert u-z\Vert _{\Gamma }}
, com
u
{\displaystyle u}
e
z
{\displaystyle z}
sendo as soluções de estado e as medições em locais esparsos
Γ
{\displaystyle \Gamma }
, respectivamente.
L
f
= ‖ f
‖
Γ
{\displaystyle L_{f}=\Vert f\Vert _{\Gamma }}
é a função resíduo. Este segundo termo exige que a informação estruturada representada pelas equações diferenciais parciais seja satisfeita no processo de treinamento. Esta estratégia permite descobrir modelos dinâmicos descritos por EDPs não lineares, montando modelos substitutos totalmente diferenciáveis e computacionalmente eficientes que podem encontrar aplicação em previsão preditiva, controle e assimilação de dados.
Extensões e aplicações
Para aproximação de funções por partes As PINNs são incapazes de aproximar EDPs que têm forte não linearidade ou gradientes acentuados (como aqueles que ocorrem comumente em problemas práticos de escoamento de fluidos). A aproximação por partes tem sido uma prática antiga no campo da aproximação numérica. Com a capacidade de aproximar forte não linearidade, PINNs extremamente leves são usadas para resolver EDPs em subdomínios discretos muito maiores, o que aumenta substancialmente a precisão e diminui a carga computacional. PINNs Distribuídas (DPINNs) e Máquinas de Aprendizado Extremo Informadas pela Física Distribuídas (DPIELMs) usam discretização generalizável do domínio espaço-tempo para melhor aproximação. DPIELM é um aproximador extremamente rápido e leve com precisão competitiva. O escalonamento de domínio no topo tem um efeito especial. Outra linha de pensamento é a discretização para computação paralela para aproveitar o uso dos recursos computacionais disponíveis. As XPINNs são uma abordagem generalizada de decomposição de domínio espaço-tempo para as redes neurais informadas pela física (PINNs) para resolver equações diferenciais parciais não lineares em domínios de geometria complexa arbitrária. As XPINNs ampliam ainda mais os limites tanto das PINNs quanto das PINNs conservativas (cPINNs), que são uma abordagem de decomposição de domínio espacial no arcabouço PINN adaptada para leis de conservação. Comparadas às PINNs, as XPINNs têm grande capacidade de representação e paralelização devido à propriedade inerente de implantação de múltiplas redes neurais nos subdomínios menores. Ao contrário das cPINNs, as XPINNs podem ser estendidas a qualquer tipo de EDP. Além disso, o domínio pode ser decomposto de qualquer maneira arbitrária (no espaço e no tempo), o que não é possível com as cPINNs. Assim, as XPINNs oferecem paralelização tanto no espaço quanto no tempo, reduzindo o custo de treinamento de forma mais eficaz. A XPINN é particularmente eficaz para problemas de grande escala (envolvendo grandes conjuntos de dados), bem como para problemas de alta dimensão onde PINNs baseadas em rede única não são adequadas. Cotas rigorosas sobre os erros resultantes da aproximação das EDPs não lineares (equações de Navier–Stokes incompressíveis) com PINNs e XPINNs foram provadas. No entanto, a DPINN refuta o uso de correspondência de resíduo (fluxo) nas interfaces de domínio, pois dificilmente parecem melhorar a otimização.
Teoria das conexões funcionais
No arcabouço PINN, as condições iniciais e de contorno não são satisfeitas analiticamente, portanto precisam ser incluídas na função de perda da rede para serem aprendidas simultaneamente com as funções desconhecidas da equação diferencial (ED). Ter objetivos concorrentes durante o treinamento da rede pode levar a gradientes desbalanceados ao usar técnicas baseadas em gradiente, o que faz com que as PINNs frequentemente tenham dificuldade em aprender com precisão a solução da ED subjacente. Esta desvantagem é superada usando técnicas de interpolação funcional, como a expressão restrita da teoria das conexões funcionais (TFC), no arcabouço Deep-TFC, que reduz o espaço de busca da solução de problemas com restrições ao subespaço da rede neural que satisfaz analiticamente as restrições. Um aprimoramento adicional da abordagem de interpolação funcional e PINN é dado pelo arcabouço da teoria extrema das conexões funcionais (X-TFC), onde uma rede neural de camada única e o algoritmo de treinamento de máquina de aprendizado extremo são empregados. O X-TFC permite melhorar a precisão e o desempenho das PINNs regulares, e sua robustez e confiabilidade são provadas para problemas rígidos, controle ótimo, aeroespacial e aplicações de dinâmica de gases rarefeitos.
Physics-informed PointNet (PIPN) para múltiplos conjuntos de geometrias irregulares PINNs regulares só são capazes de obter a solução de um problema direto ou inverso em uma única geometria. Isso significa que, para qualquer nova geometria (domínio computacional), é necessário retreinar uma PINN. Essa limitação das PINNs regulares impõe altos custos computacionais, especificamente para uma investigação abrangente de parâmetros geométricos em projetos industriais. O Physics-informed PointNet (PIPN) é fundamentalmente o resultado de uma combinação da função de perda da PINN com o PointNet. Na verdade, em vez de usar uma simples rede neural totalmente conectada, o PIPN usa o PointNet como núcleo de sua rede neural. O PointNet foi projetado principalmente para aprendizado profundo de classificação e segmentação de objetos 3D pelo grupo de pesquisa de Leonidas J. Guibas. O PointNet extrai características geométricas dos domínios computacionais de entrada no PIPN. Assim, o PIPN é capaz de resolver equações governantes em múltiplos domínios computacionais (em vez de apenas um único domínio) com geometrias irregulares, simultaneamente. A eficácia do PIPN foi demonstrada para escoamento incompressível, transferência de calor e elasticidade linear.
Para computações inversas As redes neurais informadas pela física (PINNs) têm se mostrado particularmente eficazes na resolução de problemas inversos em equações diferenciais, demonstrando sua aplicabilidade em ciência, engenharia e economia. Elas se mostraram úteis para resolver problemas inversos em uma variedade de campos, incluindo nano-óptica, otimização/caracterização topológica, escoamento multifásico em meios porosos, e escoamento de fluidos de alta velocidade. As PINNs demonstraram flexibilidade ao lidar com conjuntos de dados de observação ruidosos e incertos. Elas também demonstraram claras vantagens no cálculo inverso de parâmetros para conjuntos de dados de múltiplas fidelidades, ou seja, conjuntos de dados com diferentes qualidades, quantidades e tipos de observações. Incertezas nos cálculos podem ser avaliadas usando cálculos baseados em ensemble ou baseados em Bayesianos. PINNs também podem ser usadas em conjunto com regressão simbólica para descobrir a expressão matemática em conexão com a descoberta de parâmetros e funções. Um exemplo de tal aplicação é o estudo sobre envelhecimento químico de material de isolamento de celulose, neste exemplo, PINNs são usadas primeiro para descobrir um parâmetro para um conjunto de equações diferenciais ordinárias (EDOs) e depois uma função solução, que é posteriormente usada para encontrar uma expressão mais adequada usando uma regressão simbólica com uma combinação de operadores.
Para problemas de elasticidade Um conjunto de redes neurais informadas pela física é aplicado para resolver problemas de elasticidade plana. Redes substitutas são destinadas às funções desconhecidas, nomeadamente, as componentes do tensor de deformação e do tensor de tensão, bem como o campo de deslocamento desconhecido, respectivamente. A rede residual fornece os resíduos das equações diferenciais parciais (EDPs) e das condições de contorno. A abordagem computacional é baseada em princípios de inteligência artificial. Esta abordagem pode ser estendida a problemas de elasticidade não linear, onde as equações constitutivas são não lineares. PINNs também podem ser usadas para problemas de flexão de placas de Kirchhoff com cargas distribuídas transversais e para modelos de contato com fundações elásticas de Winkler. Uma comparação das PINNs com métodos de aproximação clássicos em mecânica, especialmente o Método dos Elementos Finitos de Mínimos Quadrados, é delineada em.
Para materiais piezoelétricos com shunt Uma rede neural informada pela física multifísica (multi-PINN) é usada para resolver efetivamente problemas estáticos e dinâmicos de supressão de vibrações eletromecânicas com um circuito shunt. Problemas eletromecânicos, como aqueles envolvendo uma viga piezoelétrica em balanço, podem ser convertidos na formulação PINN apropriada. Uma abordagem de particionamento temporal reduz o custo computacional do problema dinâmico. O sistema resultante de equações diferenciais ordinárias (EDOs) é resolvido usando uma multi-PINN para prever com precisão a resposta dinâmica à excitação de ressonância do modo principal.
Com equação diferencial estocástica retrógrada O método da equação diferencial estocástica retrógrada profunda é um método numérico que combina aprendizado profundo com equação diferencial estocástica retrógrada (EDE-R) para resolver problemas de alta dimensão em matemática financeira. Aproveitando as poderosas capacidades de aproximação de funções das redes neurais profundas, a EDE-R profunda aborda os desafios computacionais enfrentados pelos métodos numéricos tradicionais, como métodos de diferenças finitas ou simulações de Monte Carlo, que sofrem com a maldição da dimensionalidade. Os métodos de EDE-R profunda usam redes neurais para aproximar soluções de equações diferenciais parciais (EDPs) de alta dimensão, reduzindo efetivamente a carga computacional. Além disso, integrar redes neurais informadas pela física (PINNs) no arcabouço da EDE-R profunda aprimora sua capacidade, incorporando as leis físicas subjacentes na arquitetura da rede neural, garantindo que as soluções adiram às equações diferenciais estocásticas governantes, resultando em soluções mais precisas e confiáveis.
Para biologia Uma extensão ou adaptação das PINNs são as redes neurais informadas biologicamente (BINNs). As BINNs introduzem duas adaptações principais ao arcabouço PINN típico: (i) os termos mecanísticos da EDP governante são substituídos por redes neurais, e (ii) a função de perda
L
t o t
{\displaystyle L_{tot}}
é modificada para incluir
L
c o n s t r
{\displaystyle L_{constr}}
, um termo usado para incorporar conhecimento específico do domínio que ajuda a impor a aplicabilidade biológica. Para (i), esta adaptação tem a vantagem de relaxar a necessidade de especificar a equação diferencial governante a priori, seja explicitamente ou usando uma biblioteca de termos candidatos. Além disso, esta abordagem contorna o problema potencial de especificar erroneamente termos de regularização em casos estritamente informados pela teoria. Um exemplo natural de BINNs pode ser encontrado na dinâmica celular, onde a densidade celular
u ( x , t )
{\displaystyle u(x,t)}
é governada por uma equação de reação-difusão com funções de difusão e crescimento
D ( u )
{\displaystyle D(u)}
e
G ( u )
{\displaystyle G(u)}
, respectivamente:
u
t
= ∇ ⋅ [ D ( u ) ∇ u ] + G ( u ) u ,
x ∈ Ω ,
t ∈ [ 0 , T ]
{\displaystyle u_{t}=\nabla \cdot [D(u)\nabla u]+G(u)u,\quad x\in \Omega ,\quad t\in [0,T]}
Neste caso, um componente de
L
c o n s t r
{\displaystyle L_{constr}}
poderia ser
|
|
D
|
|
Γ
{\displaystyle ||D||_{\Gamma }}
para
D <
D
m i n
, D >
D
m a x
{\displaystyle D<D_{min},D>D_{max}}
, que penaliza valores de
D
{\displaystyle D}
que caem fora de uma faixa de difusão biologicamente relevante definida por
D
m i n
≤ D ≤
D
m a x
{\displaystyle D_{min}\leq D\leq D_{max}}
. Além disso, a arquitetura BINN, quando utiliza perceptrons multicamadas (MLPs), funcionaria da seguinte forma: um MLP é usado para construir
u
M L P
( x , t )
{\displaystyle u_{MLP}(x,t)}
a partir das entradas do modelo
( x , t )
{\displaystyle (x,t)}
, servindo como um modelo substituto para a densidade celular
u ( x , t )
{\displaystyle u(x,t)}
. Este substituto é então alimentado nos dois MLPs adicionais,
D
M L P
(
u
M L P
)
{\displaystyle D_{MLP}(u_{MLP})}
e
G
M L P
(
u
M L P
)
{\displaystyle G_{MLP}(u_{MLP})}
, que modelam as funções de difusão e crescimento. A diferenciação automática pode então ser aplicada para computar as derivadas necessárias de
u
M L P
{\displaystyle u_{MLP}}
,
D
M L P
{\displaystyle D_{MLP}}
e
G
M L P
{\displaystyle G_{MLP}}
para formar a equação de reação-difusão governante. Note que, como
u
M L P
{\displaystyle u_{MLP}}
é um substituto para a densidade celular, pode conter erros, particularmente em regiões onde a EDP não é completamente satisfeita. Portanto, a equação de reação-difusão pode ser resolvida numericamente, por exemplo, usando uma abordagem de método de linhas.
Limitações O comportamento de translação e descontinuidade são difíceis de aproximar usando PINNs. Elas falham ao resolver equações diferenciais com leve dominância advectiva e, portanto, o comportamento assintótico causa a falha do método. Tais EDPs poderiam ser resolvidas escalonando variáveis. Esta dificuldade no treinamento de PINNs em EDPs dominadas por advecção pode ser explicada pela n-largura de Kolmogorov da solução. Elas também falham em resolver um sistema de sistemas dinâmicos e, portanto, não tiveram sucesso na resolução de equações caóticas. Uma das razões por trás da falha das PINNs regulares é o restringimento suave das condições de contorno de Dirichlet e Neumann, que impõe um problema de otimização multi-objetivo que requer a ponderação manual dos termos de perda para poder otimizar. Mais geralmente, colocar a solução de uma EDP como um problema de otimização traz consigo todos os problemas que são enfrentados no mundo da otimização, sendo o principal deles ficar preso em ótimos locais. Especificamente, foi mostrado que alguns desses ótimos locais estão conectados a soluções instáveis de uma dada EDP.
Referências
Ligações externas PINN – repositório para implementar rede neural informada pela física em Python XPINN – repositório para implementar rede neural informada pela física estendida (XPINN) em Python PIPN [1] – repositório para implementar Physics-informed PointNet (PIPN) em Python