从文献的工作来看，Swish函数以及Tanh函数是比较受欢迎的。ReLU以及其他类似的分段线性函数在PINN中用的比较少，因为其二阶导数为0且不连续。
一些文献中表示：
在深度学习领域，ReLU激活函数看起来是默认的激活函数。但是在PINN领域不存在一个默认的激活函数。ReLU在PINN中的问题主要就是其二阶导数为0。同时，由于偏微分方程存在各种不同的数值特征，PINN对激活函数看起来比较敏感。
另外的文献使用不同的激活函数预测的流场结果，很明显ReLU类激活函数预测的结果并不合理。因此参考这些工作，在PINN领域使用ReLU函数看起来并不是主流。
参考文献以及图请参考无痛苦ns方程笔记
