基于粗糙集理论的模糊神经网络及其在化纤生产过程中的应用

摘要

提出一种基于粗糙集理论的模糊神经网络系统，首先运用粗糙集理论来发现大量样本数据中的概略化的规则，然后根据这些规则来设计神经网络的结构模型，并利用神经网络技术对模型进行训练。化纤工业中抽丝冷却侧吹风过程的模拟仿真实验，证明了该方法的有效性和可行性。

正文

《1 引言》

1 引言

在复杂应用领域中, 如何从大量的观察和实验数据中, 特别是对于含有大量噪声的不准确、不完整且无先验知识的数据中, 获取知识、表达知识、推理决策一直是智能信息处理研究的重要任务。粗糙集理论、模糊逻辑和人工神经网络以它们独特的方法已成为这一领域研究的重要工具。由于他们的研究方法不同, 因而具有各自不同的特点^[1]。粗糙集是模拟人的抽象逻辑思维, 其要点是将知识与分类联系在一起, 直接从给定问题的描述集合出发, 通过不可分辨关系和不可分辨类确定给定问题的近似域, 从而找出问题的内在规律。模糊逻辑是建立在隶属函数和模糊规则基础上的, 以if-then规则形式来表达知识, 依赖于领域专家的经验知识。神经网络利用非线性映射的思想和并行处理的方法, 通过学习实现全局逼近。神经网络可以通过输入输出的数据样本对网络进行训练, 实现有导师学习, 但不能确定数据样本中哪些知识是冗余的, 哪些知识是有用的。同样模糊逻辑也存在规则获取的难题。粗糙集理论可以描绘知识表达中不同属性的重要性, 通过简约去掉冗余知识, 进行知识表达空间简约, 直接从训练数据中提取精简规则。可见, 他们各有所长, 因此探索他们之间的有机结合, 无疑对智能信息处理研究具有十分重要的意义。

《2 基于粗糙集理论的模糊神经网络技术》

2 基于粗糙集理论的模糊神经网络技术

《2.1粗糙集理论的特点》

2.1粗糙集理论的特点

粗糙集 (rough sets) 理论^[2,3,4]最早是由波兰学者, Z. Pawlak于1982年提出的。近几年来, 粗糙集理论已成为人工智能领域中的一个新学术热点, 在机器学习、知识获取、知识发现和决策分析等领域得到了广泛的研究与应用^[5,6,7,8]。其主要特点是将知识和分类联系在一起, 在保持决策系统分类能力不变的前提下, 通过知识简约, 导出概念的分类规则。粗糙集理论的出发点在于, 根据目前已有的对给定问题的知识将问题的论域进行划分, 然后对划分后的每一个组成部分确定其对某一概念的支持程度, 即肯定支持此概念, 肯定不支持此概念和可能支持此概念。在粗糙集理论中以上三种情况分别用三个近似集合来表示:正域 (positive region) , 负域 (negative region) 和边界 (boundary) 。

应用Z. Pawlak提出的决策系统 (decision system, DS) 对问题进行描述。设S = (U, A, {V_a}, a) 为知识表达系统。其中U为对象的非空有限集合, 称为论域。A为属性有限集合, V_a为属性a∈A的值域。 a: U →V_a为一单映射。在论域U中任取一元素, 取属性集合A中的属性a, 存在唯一值V_a与其对应。如果A由条件属性集合C和结论属性集合D组成, 且满足C ∪D =A, C ∩D =ϕ, 则称S为决策系统。为使表示简单和描述问题方便, 假设结论属性集合D只包含一个元素, 那么决策系统可以简化表示为 (U, C ∪{d}) 。在决策系统S = (U, C ∪{d }) 中, B⊆C是条件属性集合C的一个子集, 则B在U上的不可分辨关系可以定义为:

$\begin{array}{l} i n d (B, {d}) = {(x_{1}, x_{2}) \in U \times V | d (x_{1}) = \\ d (x_{2}), o r \forall a \in B, a (x_{1}) = a (x_{2})} 。 (1) \end{array}$ $\begin{array}{l} i n d (B, {d}) = {(x_{1}, x_{2}) \in U \times V | d (x_{1}) = \\ d (x_{2}), o r \forall a \in B, a (x_{1}) = a (x_{2})} 。 (1) \end{array}$

不可分辨关系实际上是一个等价关系。通过一个不可分辨关系, 可以得到决策系统的一个划分。假设ind (B) 把U划分为 k 个等价类 (X₁, X₂, …, X_k) , 则记U/ ind (B) ={ X₁, X₂, …, X_k }, {X_i}表示U上的一个等价类的描述。对于, X⊆U, B⊆A定义B (X) 为X的B下近似, $\bar{B} (X) 为 X 的 B 上近似$ $\bar{B} (X) 为 X 的 B 上近似$ 。其中:

$\begin{array}{l} B (X) = \cup {r \in U / i n d (B), r \subseteq X} ‚ \\ \bar{B} (X) = \cup {r \in U / i n d (B), r \cap X \neq φ} 。 \end{array}$ $\begin{array}{l} B (X) = \cup {r \in U / i n d (B), r \subseteq X} ‚ \\ \bar{B} (X) = \cup {r \in U / i n d (B), r \cap X \neq φ} 。 \end{array}$

定义pos_B (X) =B (X) 为X在B下的正域, $n e g_{B} (X) = U - \bar{B} (X)$ $n e g_{B} (X) = U - \bar{B} (X)$ 为X在B下的负域, $b n_{B} (X) = \bar{B} (X) -$ $b n_{B} (X) = \bar{B} (X) -$ B (X) 为X在B下的边界。正域、负域和边界的概念可以直观地解释如下:正域pos_B (X) 是在论域U中根据不可分辨关系ind (B) 可确定划归入X的不可分辨类元素的集合。负域neg_B (X) 是肯定不属于X的不可分辨类的元素集合。边界bn_B (X) 则表示可能属于X, 也可能不属于X的元素集合。对于分类来说, 并非所有的条件属性都是必要的。简约可以理解为在不丢失信息的前提下, 可以最简单地表示决策系统的结论属性对条件属性集合的依赖和关联。条件属性集合C的简约是C的一个非空子集C′, 存在且只存在ind (C′, {d}) = ind (C, {d}) 。C的所有简约的集合记作red (C) , C的所有简约的交集称为核, 记作Cor (C) =∩red (C) 。如果条件属性C中的某属性a相对于不可分辨类U/ind (B) = (X₁, X₂, …, X_k) 中x_i是可去除的, 则表明a的存在与否不影响X_i的结论值。相对简约则可定义为:对于不可分辨类U/ind (B) = (X₁, X₂, …, X_k) , 存在C′⊆C, 且对于∀a∈C′, a为相对于X_i不可去除, 则C′为C相对于不可分辨类X_i的简约。相对于X_i的所有简约集合记作red (C, X_i) 。通过一组相对简约, 可以得到决策系统S = (U, C ∪{d}) 中最简单的规则集。每个相对简约就是一条或一组规则的条件。

《2.2基于粗糙集理论的规则知识获取》

2.2基于粗糙集理论的规则知识获取

规则知识获取可以看作是一个知识表达、提取有用属性、简化属性表达和推理规则的一种过程。从前面的论证中, 可知一个决策系统S 经过不可分辨关系ind (B) 得到一个划分U / ind (B) = (X₁, X₂, …, X_k) 。对于其中的任何一个不可分辨类X_i, X_i→{d}在形式上表示一条或一组规则。因此规则知识的获取, 可以通过计算相对简约或简约的方法来获取。通过相对简约的计算可以获取比较精简的规则, 但计算量比较大。因此计算简约成为获取知识规则的有效途径。对于决策系统S = (U, A, {V_a}, a) , 其中A = C ∪D。则对于任一X_i, X_i∈U, a ∈C, 若a (X_i) ≠a (X_j) , 则以所有属性a值的集合 (a_ij) 为元素的矩阵, 称为属性值的可辨识矩阵, 记作M (U, B) = (k_ij) _n×n, 其中, n为论域U的个数, k_ij为:

$\begin{array}{l} k_{i j} = {a \in B, \forall (x_{i}, x_{j}) \in U \times V ‚ \\ a (x_{i}) \neq a (x_{j})} 。 (2) \end{array}$ $\begin{array}{l} k_{i j} = {a \in B, \forall (x_{i}, x_{j}) \in U \times V ‚ \\ a (x_{i}) \neq a (x_{j})} 。 (2) \end{array}$

在辨识矩阵的基础上, 可以定义分辨函数f (s) 。定义 $f (s) = \land \underset{1 \leq i ‚ j < n}{\lor} c_{i j}$ $f (s) = \land \underset{1 \leq i ‚ j < n}{\lor} c_{i j}$ , 其中c_ij为可辩识矩阵的元素。∨c_ij表示c_ij中所有属性的析取运算, ∧ 表示合取运算。假设f (s) 经运算后, 化为析取范式f´ (s) , 即 $f ´ (s) = \land \underset{1 \leq i \leq k}{\lor} τ_{i}$ $f ´ (s) = \land \underset{1 \leq i \leq k}{\lor} τ_{i}$ 。其中τ_i∈2^C, ∧τ_i为f (s) 的一个合取子式, k为f (s) 中合取子式的个数, 那么red (A) = {τ_i: 1≤i≤k}。下面介绍一简单决策系统来说明上述概念和规则的获取。由信息表1, 根据结论值e来划分, 可得决策矩阵表2和表3。

在表2中, 以属性值为1的决策矩阵为例, 分辨函数可按下式计算:

表1信息表

Table 1 information table

《图1》

表2属性值为1的决策矩阵

Table 2 the decision matrix of attribute value 1

《表1》

	1	3	6
2	(a, 4) (c, 1) (d, 6)	(b, 0) (c, 1) (d, 6)	(c, 1) (d, 6)
4	(b, 2) (d, 6)	(a, 3) (b, 2) (d, 6)	(a, 3) (b, 2) (d, 6)
5	(a, 4) (b, 2)	(b, 2)	(b, 2)
7	(a, 4) (b, 2) (c, 1) (d, 6)	(b, 2) (c, 1) (d, 6)	(b, 2) (c, 1) (d, 6)

表3属性值为0的决策矩阵

Table 3 the decision matrix of attribute value 0

《表2》

	2	4	5	7
1	(a, 3) (c, 0) (d, 5)	(b, 0) (d, 5)	(a, 3) (b, 0)	(a, 3) (b, 0) (c, 0) (d, 5)
3	(b, 1) (c, 0) (d, 5)	(a, 4) (b, 1) (d, 5)	(b, 1)	(b, 1) (c, 0) (d, 5)
6	(c, 0) (d, 5)	(a, 4) (b, 0) (d, 5)	(b, 0)	(b, 0) (c, 0) (d, 5)

[ (a, 4) ∨ (c, 1) ∨ (d, 6) ] ∧[ (b, 0) ∨ (c, 1) ∨ (d, 6) ] ∧[ (c, 1) ∨ (d, 6) ] ∧[ (b, 2) ∨ (d, 6) ]∧[ (a, 3) ∨ (b, 2) ∨ (d, 6) ] ∧ [ (a, 3) ∨ (b, 2) ∨ (d, 6) ] ∧[ (a, 4) ∨ (b, 2) ] ∧ (b, 2) ∧ (b, 2) ∧[ (a, 4) ∨ (b, 2) ∨ (c, 1) ∨ (d, 6) ] ∧[ (b, 2) ∨ (c, 1) ∨ (d, 6) ] ∧ [ (b, 2) ∨ (c, 1) ∨ (d, 6) ] = [ (c, 1) ∨ (d, 6) ] ∧ (b, 2) ∧[ (b, 2) ∨ (c, 1) ∨ (d, 6) ] = [ (c, 1) ∨ (d, 6) ] ∧ (b, 2) 。

这样, 类1最终的决策为:if c =1, d = 6 then e =1 else if b =2 then e =1

《2.3基于粗集理论的模糊神经网络[9,10,11,12,13]》

2.3基于粗集理论的模糊神经网络[9,10,11,12,13]

在Mamdani 模型中, 模糊系统的输出可由下式表示:

$\begin{array}{l} y = g (x) = \frac{\sum_{j = 1}^{m} (\prod_{i = 1}^{n} μ_{A_{i}^{j}} (x_{i}^{j})) θ_{j}}{\sum_{j = 1}^{m} (\prod_{i = 1}^{n} μ_{A_{i}^{j}} (x_{i}^{j}))} = \sum_{j = 1}^{m} Ρ_{j} (x) θ_{j} ‚ (3) \\ 其中 : μ_{A_{i}^{j}} = a_{i}^{j} \exp [- \frac{1}{2} (\frac{x_{i} - \bar{x}_{i}}{θ_{i}^{j}})^{2}] 。 \end{array}$ $\begin{array}{l} y = g (x) = \frac{\sum_{j = 1}^{m} (\prod_{i = 1}^{n} μ_{A_{i}^{j}} (x_{i}^{j})) θ_{j}}{\sum_{j = 1}^{m} (\prod_{i = 1}^{n} μ_{A_{i}^{j}} (x_{i}^{j}))} = \sum_{j = 1}^{m} Ρ_{j} (x) θ_{j} ‚ (3) \\ 其中 : μ_{A_{i}^{j}} = a_{i}^{j} \exp [- \frac{1}{2} (\frac{x_{i} - \bar{x}_{i}}{θ_{i}^{j}})^{2}] 。 \end{array}$

Wang和Mendel (1992) 曾给出模糊系统存在定理:给定任一连续函数f :Uⁿ→R和任意ε>0, 存在一函数g (x) 使得SUPx∈Uⁿ, |g (x) -f (x) |<ε。同样由BP定理可以知道:给定任意ε>0和任意L₂函数f:[0, 1]ⁿ →R^m , 存在一个3层BP网络, 它可以在任意ε平方误差内逼近f。因此, 可以用一等价的神经网络来表示模糊系统。模糊系统存在定理, 虽然证明了g (x) 可以在任意ε范围内逼近f, 但并没有给出如何构造这样一个模糊系统的方法。另外模糊规则的数目和对应各输入量的隶属函数的数目也没法直接求出。因此, 将粗糙集理论、模糊系统和神经网络结合起来, 充分利用各自的优点。根据粗集理论来确定规则和精简规则, 利用这些规则来确定神经网络的结构模型。

根据以上论述, 可以设计如图1所示的模糊神经网络结构模型。

《图2》

图1模糊神经网络结构图

Fig.1 Fuzzy neural network structure

图1模糊神经网络模型为5层结构, 对应的是一个多输入多输出系统。

第1层为输入层, 输入变量X= (x₁ , x₂ , … , x_m) ^T。

第2层表示规则的前件, 实现输入变量x_i的模糊化, 可得到r_j 个模糊集合。 $\bar{x}$ $\bar{x}$ _ij为输入变量x_i的第j个模糊集合的中心值, 取作用函数为Gauss函数

$μ_{i}^{j} = \exp (- [\frac{x_{i} - \bar{x}_{i j}}{θ_{i j}}]^{2}) ‚ (4)$ $μ_{i}^{j} = \exp (- [\frac{x_{i} - \bar{x}_{i j}}{θ_{i j}}]^{2}) ‚ (4)$

其中 i =1, 2, ..., m, j = 1, 2, ..., r_i 。

第3层的每一个节点表示一条规则, 这些规则是通过粗集理论的简约计算而得到的。和第2层节点之间的连接方式由经过简约计算得到的精简规则来确定。因此, 第2层和第3层节点之间连接并不是全连接。该层节点的作用函数为:

$μ_{j} = μ_{j 1}^{i 1} μ_{j 2}^{i 2} \dots μ_{j c}^{i c} 。 (5)$ $μ_{j} = μ_{j 1}^{i 1} μ_{j 2}^{i 2} \dots μ_{j c}^{i c} 。 (5)$

其中 μ $_{j 1}^{i 1}$ $_{j 1}^{i 1}$ , μ $_{j 2}^{i 2}$ $_{j 2}^{i 2}$ , …, μ $_{j c}^{i c}$ $_{j c}^{i c}$ 表示第2层节点的输出值。

j₁, j₂, …, j_c ∈ (1, 2, …, m) , i₁∈ (1, 2, …, r_j1) , i₂∈ (1, 2, …, r_j2) , …i_c∈ (1, 2, …, r_jc) ,

j = 1 , 2 , …, p 为规则的条数。

第4层代表该规则的后件。由于第3层节点表示精简后的规则, 因此第三层和第四层之间的连接也不为全连接, 其连接结构由具体规则确定, 第4层神经元的输入可表示为:

$υ_{i}^{´ j} = \sum_{k = 1}^{l} w_{j k} a_{j k} ‚ (6)$ $υ_{i}^{´ j} = \sum_{k = 1}^{l} w_{j k} a_{j k} ‚ (6)$

i = 1, 2, …, n, 为第4层的节点数, j= 1, 2, …, q为第3层节点数, j₁, j₂, …, j_l为与节点相连的第3层节点号。w_jk为连接权值, 表示该条规则的适用度。

第4层节点的输出为:

$υ_{i}^{j} = υ_{i}^{´ j} / \sum_{j = 1}^{q_{i}} υ_{i}^{´ j} 。 (7)$ $υ_{i}^{j} = υ_{i}^{´ j} / \sum_{j = 1}^{q_{i}} υ_{i}^{´ j} 。 (7)$

第5层为输出层:

$y_{i} = \sum_{k = 1}^{q_{i}} w_{i k} υ_{i}^{k} 。 (8)$ $y_{i} = \sum_{k = 1}^{q_{i}} w_{i k} υ_{i}^{k} 。 (8)$

定义误差函数为:

$E_{p} = \frac{1}{2} \sum_{i = 1}^{n} (y_{p i} - \hat{y}_{p i})^{2} 。 (9)$ $E_{p} = \frac{1}{2} \sum_{i = 1}^{n} (y_{p i} - \hat{y}_{p i})^{2} 。 (9)$

根据梯度下降算法可以得到

$\begin{array}{l} \frac{\partial E_{p}}{\partial w_{i j}} = \frac{\partial E_{p}}{\partial y_{p i}} \frac{\partial y_{p i}}{\partial w_{i j}} = \\ (y_{p i} - \hat{y}_{p i}) \frac{\partial y_{p i}}{\partial w_{i j}} = (y_{p i} - \hat{y}_{p i}) υ_{i}^{j} 。 (10) \end{array}$ $\begin{array}{l} \frac{\partial E_{p}}{\partial w_{i j}} = \frac{\partial E_{p}}{\partial y_{p i}} \frac{\partial y_{p i}}{\partial w_{i j}} = \\ (y_{p i} - \hat{y}_{p i}) \frac{\partial y_{p i}}{\partial w_{i j}} = (y_{p i} - \hat{y}_{p i}) υ_{i}^{j} 。 (10) \end{array}$

故 $w_{i j (k + 1)} = w_{i j (k)} - β (\frac{\partial E_{p}}{\partial w_{i j}}) =$ $w_{i j (k + 1)} = w_{i j (k)} - β (\frac{\partial E_{p}}{\partial w_{i j}}) =$ $w_{i j} (k) - β (y_{p i} - \hat{y}_{p i}) υ_{i}^{j}$ $w_{i j} (k) - β (y_{p i} - \hat{y}_{p i}) υ_{i}^{j}$ , 其中β>0为学习速度。

这种基于粗集理论的模糊神经网络模型和学习算法, 具有学习速度快, 容错能力强, 模型具有可解释性等特点。

《3 仿真实验研究》

3 仿真实验研究

基于粗糙集的模糊神经网络是信息处理的重要智能技术, 有着很好的应用前景。笔者以化纤工业抽丝冷却侧吹风非线性控制系统为例, 对此方法进行仿真实验研究。侧吹风空气热湿过程的控制结构框图见图2, Τ₀ , H₀分别为工艺要求的恒温和恒相对湿度的设定值。T′₀为根据T₀, H₀值经焓湿图 (i ～ d) 变换后的送风露点温度设定值。图中T₁为喷淋后的测量温度值, T为送风温度。从图2可以看出, 侧吹风系统是一个多输入、多输出的多变量控制系统, 是一类具有参数耦合, 时变特性, 且难以建立精确数学模型的复杂的非线性系统。采用传统的控制方法很难达到好的控制效果。笔者采用基于粗糙集理论的模糊神经网络结构模型设计方法和学习算法, 对FNNC进行了学习和训练。以FNNC2为例, 仿真的具体过程如下:

《图3》

图2侧吹风模糊神经网络控制系统原理框图

Fig.2 Fuzzy neural control system structure

设e (t) , $\dot{e}$ $\dot{e}$ (t) 分别表示温度误差和温度误差变化率, 那么FNNC2的输入变量为e (t) , $\dot{e}$ $\dot{e}$ (t) , 论域为[0, 50];输出变量为u₂, 论域为[0, 50]。FNNC2采用图1所示的模糊神经网络结构模型。将变量e (t) , $\dot{e}$ $\dot{e}$ (t) 及u₂均匀地分成10个等级, 取各等级的中心值作为c_ij, 这样可以构造第二层节点的作用函数。根据现场提供的数据样本, 经筛选后共得到500组训练样本数据, 在这些样本数据中, 根据前面介绍的简约计算方法, 可以很方便地得到186条规则。例如其中一条规则为: $e_{1} (t) = 4 a n d \dot{e}_{1} (t) = 1 t h e n y_{1} = 8$ $e_{1} (t) = 4 a n d \dot{e}_{1} (t) = 1 t h e n y_{1} = 8$ μ=0.45, μ为置信度。这条规则的含义可以解释为:当温度误差e (t) 和温度误差变化率 $\dot{e}$ $\dot{e}$ (t) 分别在[15, 20]和[0, 5]的区间取值时, 控制变量u₂的输出在70～80范围内。其中e₁ (t) , $\dot{e}$ $\dot{e}$ ₁ (t) 和y₁为输入输出变量离散化后的变量, 规则的置信度表示在训练样本中该规则的可信程度。根据这些规则可以建立相应的第三层节点。w_ij的初值设置为y的10个等级的中心值, 用前面介绍的学习算法进行学习, 学习完后投入控制系统进行仿真实验。

图3 a为FNNC2控制下的温度响应曲线, 图3 b为模糊控制得到的温度曲线, 图3 c为PID控制算法的温度响应曲线。

《图4》

图3仿真系统采用不同控制策略的温度输出响应

Fig.3 Output response of simulated system with the different control strategies

《4 结论》

4 结论

将粗糙集理论和模糊神经网络技术相结合, 运用粗糙集理论的不可分辨关系和不可分辨类的概念和简约计算方法, 从大量原始数据中发现精简的、概略化的规则, 根据所得的规则来建立神经网络模型和确定各隐层节点之间的连接关系。从而使网络从一开始就具有良好的拓扑结构, 因而网络的规模大大减小。这种基于粗糙集理论的模糊神经网络模型和学习算法, 具有学习速度快, 容错能力强, 模型具有可解释性等特点。

展示更多