模糊中心聚类的模式识别学习方法

摘要

基于一个约束条件下的非线性规划问题的优化计算思想，把模糊中心聚类中计算输入矢量与中心的距离来实现聚类作为一种优化计算问题，证明了模糊中心聚类方法，取一个适当的属函数，其聚类中心vi为模糊聚类中心价值函数的极小值，推导出了基于模糊中心聚类的模式识别的无导师递推学习方法，提出了模糊中心聚类模式分类神经网络结构，该网络可以实现并行数据处理和模式分类的软划分和硬划分。

正文

《1 前言》

1 前言

随着计算机技术的迅速发展, 模式识别由于其科学应用价值, 在自动化技术、人工智能及各种信息处理的研究领域中受到越来越大的重视 ^[1,2,3]。实质上, 模式识别的主要任务是从数据中发现知识, 它要求能从提供的数据中挖掘数据之间的内在联系, 寻找系统的内在规律, 利用优化计算方法, 进行自组织分类或按某种导师要求分类, 因此分类是模式识别的基础, 一旦分类完成了, 机器就可以根据分类进行自动识别了。

模糊中心聚类作为分类的有力工具, 在以模糊逻辑、人工神经网络等为代表的智能计算 ^{[4,5,6,7,8,9]} , 在模式识别的研究领域中获得广泛应用, 主要是利用了这些方法在时空数据统计描述的自组织以及一些相互关联的活动中, 自动获取知识功能的非线性映射和聚类特性, 将输入数据通过某种非线性结构映射到输出空间。因此, 模糊中心聚类作为从提供的数据中挖掘数据之间的内在联系, 寻找系统的内在规律的优化计算方法研究, 具有十分重要的理论意义和实用价值。

传统的模糊中心聚类 ^[4,10,11] 是根据隶属函数MF的面积中心方法计算的, 通过计算每一个输入矢量与中心的距离来实现聚类。存在隶属函数的构建和解模糊化即MF的面积中心的计算工作量的问题。

首先把计算每一个输入矢量与中心的距离来实现聚类作为一个约束情况下的非线性规划问题, 从优化计算的角度推出聚类中心和构造一个模糊隶属函数MF, 然后从递推计算的角度, 提出无导师的递推学习方法来修改模糊聚类中心和隶属函数;最后提出的一种基于模糊中心聚类学习的神经网络来实现并行数据处理和模式分类。

《2 优化计算与模糊中心聚类》

2 优化计算与模糊中心聚类

在模式识别中, 假设输入矢量集X={X₁, X₂, …, X_p}⊂R^p×s, 每一个矢量有s个元素, 代表一个矢量的分量, 即 X_j={x_j1, x_j2, …, x_js}⊂R^s。

如果要将输入矢量集X={X₁, X₂, …, X_p}⊂R^p×s划分为c个类别。反过来说, 输入矢量集中p个矢量分别属于c个类别的隶属度可以列成下面的隶属函数矩阵

$μ = [\begin{matrix} μ_{11} & μ_{12} & \dots & μ_{1 p} \\ ⋮ & ⋮ & ⋮ \\ μ_{c 1} & μ_{c 2} & \dots & μ_{c p} \end{matrix}] (1)$ $μ = [\begin{matrix} μ_{11} & μ_{12} & \dots & μ_{1 p} \\ ⋮ & ⋮ & ⋮ \\ μ_{c 1} & μ_{c 2} & \dots & μ_{c p} \end{matrix}] (1)$

其中 μ_ij (i=1, 2, …, c; j=1, 2, …, p) 表示第j个矢量X_j属于第i个类别的隶属度。显然, 每一列表达了第j个矢量X_j分别属于c个类别的隶属度, 它应该满足

$\begin{array}{l} \sum_{i = 1}^{c} μ_{i j} = 1 ‚ j = 1, 2, \dots, p ‚ \\ 1 \geq μ_{i j} \geq 0 (2) \end{array}$ $\begin{array}{l} \sum_{i = 1}^{c} μ_{i j} = 1 ‚ j = 1, 2, \dots, p ‚ \\ 1 \geq μ_{i j} \geq 0 (2) \end{array}$

模糊聚类的任务是根据输入矢量集X= {X₁, X₂, …, X_p}⊂R^p×s, 求出它们划分为c个类别的隶属函数矩阵, 或者把输入矢量集X映射为隶属函数矩阵μ={μ_ij}⊂R^p×s。当求出了μ={μ_ij}⊂R^p×s, 对第j个矢量X_j分别属于c个类别的隶属度矢量 μ_j= (μ_1j, μ_2j, …, μ_cj) 作极大运算, 如果要求硬划分, 则输出类别可用阶跃函数硬限幅输出, 就实现了模式分类。因此, 确定隶属函数形式具有重要意义。

定理1 模糊中心聚类方法, 当其聚类中心v_i为模糊聚类中心价值函数的极小值时, 隶属函数可取

$\begin{array}{l} μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p 。 \end{array}$ $\begin{array}{l} μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p 。 \end{array}$

证明定义模糊聚类中心v_i= (v_i1, v_i2, …, v_is) ⊂R^s, v_i (i=1, 2, …, c) 代表每一个聚类在输入空间中的中心矢量, 则第j个输入矢量X_j与第i个模糊聚类中心v_i的距离定义为

$\begin{array}{l} d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p (3) \\ d_{i j} \geq 0 。 \end{array}$ $\begin{array}{l} d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p (3) \\ d_{i j} \geq 0 。 \end{array}$

定义一个模糊聚类中心v_i的价值函数为

$\begin{array}{l} J (X ‚ μ, v) = \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} d_{i j}^{2} = \\ \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} ∥ v_{i} - X_{j} ∥^{2} (4) \end{array}$ $\begin{array}{l} J (X ‚ μ, v) = \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} d_{i j}^{2} = \\ \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} ∥ v_{i} - X_{j} ∥^{2} (4) \end{array}$

其中 m∈[1, ∞] 是一个正实常数。

则得到一个约束条件下的非线性规划问题:

对于输入矢量集X={X₁, X₂, …, X_p}⊂R^p×s, 当存在下列约束条件时:

$\begin{array}{l} \sum_{i = 1}^{c} μ_{i j} = 1 ‚ 1 \geq μ_{i j} \geq 0 ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p (5) \\ d_{i j} = ∥ v_{i j} - X_{j} ∥ ‚ d_{i j} \geq 0 。 \end{array}$ $\begin{array}{l} \sum_{i = 1}^{c} μ_{i j} = 1 ‚ 1 \geq μ_{i j} \geq 0 ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p (5) \\ d_{i j} = ∥ v_{i j} - X_{j} ∥ ‚ d_{i j} \geq 0 。 \end{array}$

要求实函数 $J (X, μ, v) = \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} d_{i j}^{2} = \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} ∥ v_{i} - X_{j} ∥^{2}$ $J (X, μ, v) = \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} d_{i j}^{2} = \sum_{i = 1}^{c} \sum_{j = 1}^{p} μ_{i j}^{m} ∥ v_{i} - X_{j} ∥^{2}$ 的极小值, 构造一个Lagrange 函数:

$\begin{array}{l} L (X, μ, v ‚ λ) = J (X, μ, v) + \\ \sum_{j = 1}^{p} λ_{j} (1 - \sum_{i = 1}^{c} μ_{i j}) (6) \end{array}$ $\begin{array}{l} L (X, μ, v ‚ λ) = J (X, μ, v) + \\ \sum_{j = 1}^{p} λ_{j} (1 - \sum_{i = 1}^{c} μ_{i j}) (6) \end{array}$

式中 λ= (λ₁, λ₂, …, λ_p) ^T∈ R 是Lagrange乘数算子。

根据

$\frac{\partial J (X, μ ‚ v)}{\partial v_{i}} + \sum_{j = 1}^{p} λ_{i j} \frac{\partial}{\partial v_{i}} (1 - \sum_{i = 1}^{c} μ_{i j}) = 0 (7)$ $\frac{\partial J (X, μ ‚ v)}{\partial v_{i}} + \sum_{j = 1}^{p} λ_{i j} \frac{\partial}{\partial v_{i}} (1 - \sum_{i = 1}^{c} μ_{i j}) = 0 (7)$

得到模糊聚类中心:

$v_{i} = \sum_{j = 1}^{p} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{p} μ_{i j}^{m} ‚ i = 1, 2, \dots, c (8)$ $v_{i} = \sum_{j = 1}^{p} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{p} μ_{i j}^{m} ‚ i = 1, 2, \dots, c (8)$

根据

$\frac{\partial J (X, μ, v)}{\partial μ_{i j}} + \sum_{j = 1}^{p} λ_{i j} \frac{\partial}{\partial μ_{i j}} (1 - \sum_{i = 1}^{c} μ_{i j}) = 0 (9)$ $\frac{\partial J (X, μ, v)}{\partial μ_{i j}} + \sum_{j = 1}^{p} λ_{i j} \frac{\partial}{\partial μ_{i j}} (1 - \sum_{i = 1}^{c} μ_{i j}) = 0 (9)$

得到

$μ_{i j} = (λ / m d_{i j}^{2})^{1 / (m - 1)} ‚ i = 1, 2, \dots, c (10)$ $μ_{i j} = (λ / m d_{i j}^{2})^{1 / (m - 1)} ‚ i = 1, 2, \dots, c (10)$

所以

$\begin{array}{l} \sum_{k = 1}^{c} μ_{k j} = \sum_{k = 1}^{c} (λ / m d_{k j}^{2})^{1 / (m - 1)} = \\ λ^{1 / (m - 1)} \sum_{i = 1}^{c} (1 / m d_{k j}^{2})^{1 / (m - 1)} (11) \end{array}$ $\begin{array}{l} \sum_{k = 1}^{c} μ_{k j} = \sum_{k = 1}^{c} (λ / m d_{k j}^{2})^{1 / (m - 1)} = \\ λ^{1 / (m - 1)} \sum_{i = 1}^{c} (1 / m d_{k j}^{2})^{1 / (m - 1)} (11) \end{array}$

由约束条件 $\sum_{k = 1}^{c} μ_{k j} = 1$ $\sum_{k = 1}^{c} μ_{k j} = 1$ , 可得

$λ^{1 / (m - 1)} = 1 / \sum_{k = 1}^{c} (1 / m d_{k j}^{2})^{1 / (m - 1)} (12)$ $λ^{1 / (m - 1)} = 1 / \sum_{k = 1}^{c} (1 / m d_{k j}^{2})^{1 / (m - 1)} (12)$

故隶属函数为

$\begin{array}{l} μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p (13) \end{array}$ $\begin{array}{l} μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, p (13) \end{array}$

为了计算第j个矢量Xj分别属于c个类别的隶属度矢量μ_j= (μ_1j, μ_2j, …, μ_cj) , 需要计算第j个输入矢量X_j与第i个模糊聚类中心v_i的距离d_ij=‖v_i-X_j‖, 这就要求得到每一个聚类在输入空间中的模糊聚类中心v_i, 而v_i又是隶属度μ_ij的函数。因此, 为了计算第j个矢量X_j分别属于c个类别的隶属度矢量μ_j, 必须推出模糊聚类中心v_i的学习方法。

推论1 模糊中心聚类可由无导师在线学习实现, 其聚类中心 $v_{i} = \sum_{j = 1}^{p} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{p} μ_{i j}^{m}$ $v_{i} = \sum_{j = 1}^{p} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{p} μ_{i j}^{m}$ 可用递归计算公式 v_i (n+1) =v_i (n) + η_i (n+1) · (X_n+1-v_i (n) ) , i=1, 2, …, c进行, 其中 $η_{i} (n + 1) = μ_{i, n + 1}^{m} / \sum_{j = 1}^{n + 1} μ_{i j}^{m}$ $η_{i} (n + 1) = μ_{i, n + 1}^{m} / \sum_{j = 1}^{n + 1} μ_{i j}^{m}$ 是第n+1输入矢量时, 递归计算过程中的一个动态常数。

证明根据式 (8) , 设n (1≤n≤p) 输入矢量时的模糊聚类中心为

$v_{i} (n) = \sum_{j = 1}^{n} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n} μ_{i j}^{m} ‚ i = 1, 2, \dots, c (14)$ $v_{i} (n) = \sum_{j = 1}^{n} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n} μ_{i j}^{m} ‚ i = 1, 2, \dots, c (14)$

定义第j个矢量X_j属于第i个类别的隶属度为

$\begin{array}{l} μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, n (15) \end{array}$ $\begin{array}{l} μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ \\ i = 1, 2, \dots, c, j = 1, 2, \dots, n (15) \end{array}$

其中

$d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2} (16)$ $d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2} (16)$

定义第n+1 (1≤n≤p) 输入矢量时的模糊聚类中心为

$v_{i} (n + 1) = \sum_{j = 1}^{n + 1} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n + 1} μ_{i j}^{m} ‚ i = 1, 2, \dots, c (17)$ $v_{i} (n + 1) = \sum_{j = 1}^{n + 1} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n + 1} μ_{i j}^{m} ‚ i = 1, 2, \dots, c (17)$

将重写定义的n+1输入矢量时的模糊聚类中心为

$\begin{array}{l} v_{i} (n + 1) = \sum_{j = 1}^{n + 1} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n + 1} μ_{i j}^{m} = \\ (\sum_{j = 1}^{n} μ_{i j}^{m} X_{j} + μ_{i, n + 1}^{m} X_{n + 1}) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} (18) \end{array}$ $\begin{array}{l} v_{i} (n + 1) = \sum_{j = 1}^{n + 1} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n + 1} μ_{i j}^{m} = \\ (\sum_{j = 1}^{n} μ_{i j}^{m} X_{j} + μ_{i, n + 1}^{m} X_{n + 1}) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} (18) \end{array}$

将式 (14) 代入式 (18) , 即

$\begin{array}{l} v_{i} (n + 1) = (v_{i} (n) \sum_{j = 1}^{n} μ_{i j}^{m} + μ_{i, n + 1}^{m} X_{n + 1}) / \\ \sum_{j = 1}^{n + 1} μ_{i j}^{m} = (v_{i} (n) (\sum_{j = 1}^{n + 1} μ_{i j}^{m} - μ_{i, n + 1}^{m}) + \\ μ_{i, n + 1}^{m} X_{n + 1}) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} = (v_{i} (n) \sum_{j = 1}^{n + 1} μ_{i j}^{m} - \\ v_{i} (n) μ_{i n + 1}^{m} + μ_{i, n + 1}^{m} X_{n + 1}) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} = \\ v_{i} (n) + μ_{i, n + 1}^{m} (X_{n + 1} - v_{i} (n)) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} (19) \end{array}$ $\begin{array}{l} v_{i} (n + 1) = (v_{i} (n) \sum_{j = 1}^{n} μ_{i j}^{m} + μ_{i, n + 1}^{m} X_{n + 1}) / \\ \sum_{j = 1}^{n + 1} μ_{i j}^{m} = (v_{i} (n) (\sum_{j = 1}^{n + 1} μ_{i j}^{m} - μ_{i, n + 1}^{m}) + \\ μ_{i, n + 1}^{m} X_{n + 1}) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} = (v_{i} (n) \sum_{j = 1}^{n + 1} μ_{i j}^{m} - \\ v_{i} (n) μ_{i n + 1}^{m} + μ_{i, n + 1}^{m} X_{n + 1}) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} = \\ v_{i} (n) + μ_{i, n + 1}^{m} (X_{n + 1} - v_{i} (n)) / \sum_{j = 1}^{n + 1} μ_{i j}^{m} (19) \end{array}$

令第n+1输入矢量时, 递归计算过程中的一个动态常数为

$η_{i} (n + 1) = μ_{i ‚ n + 1}^{m} / \sum_{j = 1}^{n + 1} μ_{i j}^{m}, i = 1, 2, \dots, c (20)$ $η_{i} (n + 1) = μ_{i ‚ n + 1}^{m} / \sum_{j = 1}^{n + 1} μ_{i j}^{m}, i = 1, 2, \dots, c (20)$

则得到模糊聚类中心的递归计算公式

$\begin{array}{l} v_{i} (n + 1) = v_{i} (n) + η_{i} (n + 1) (X_{n + 1} - \\ v_{i} (n)), i = 1, 2, \dots, c (21) \end{array}$ $\begin{array}{l} v_{i} (n + 1) = v_{i} (n) + η_{i} (n + 1) (X_{n + 1} - \\ v_{i} (n)), i = 1, 2, \dots, c (21) \end{array}$

根据上述递归计算公式, 在线学习确定模糊聚类中心v_i、隶属函数矩阵μ= {μ_ij}的步骤如下:

Step 1 用 (0, 1) 之间的随机数初始化1, 2, …, c各个输入向量的隶属函数μ $_{(0)}^{(1)}$ $_{(0)}^{(1)}$ = (μ_1i⁽⁰⁾, μ_2i⁽⁰⁾, …, μ_ij⁽⁰⁾) , i=1, 2, …, c, 需要划分为多少个类别, 第一次就要初始化多少个向量, 并且这些向量不能相同, 还要注意到约束条件 $\sum_{i = 1}^{c} μ_{i 1}^{(0)} = 1$ $\sum_{i = 1}^{c} μ_{i 1}^{(0)} = 1$ 。令k=0, n=c。先计算一个模糊聚类中心: $v_{i}^{(k)} (n) = \sum_{j = 1}^{n} μ_{i j}^{m^{(k)}} X_{k} / \sum_{j = 1}^{n} μ_{i j}^{m^{(k)}} ‚ i = 1, 2, \dots, c$ $v_{i}^{(k)} (n) = \sum_{j = 1}^{n} μ_{i j}^{m^{(k)}} X_{k} / \sum_{j = 1}^{n} μ_{i j}^{m^{(k)}} ‚ i = 1, 2, \dots, c$ 。

Step 2 令n=n +1, 计算第n个输入矢量的隶属函数:

$μ_{i j}^{(k)} = 1 / \sum_{k = 1}^{c} (d_{i j}^{(k)} / d_{k j}^{(k)})^{2 / (m - 1)} ‚$ $μ_{i j}^{(k)} = 1 / \sum_{k = 1}^{c} (d_{i j}^{(k)} / d_{k j}^{(k)})^{2 / (m - 1)} ‚$

其中 $d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2} ‚ i = 1, 2, \dots, c, j = 1, 2, \dots, n$ $d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2} ‚ i = 1, 2, \dots, c, j = 1, 2, \dots, n$ 。

Step 3 计算 $η_{i}^{(k)} (n + 1) = μ_{i ‚ n + 1}^{2 (k)} (n) / \sum_{j = 1}^{n + 1} μ_{i j}^{2 (k)} (n)$ $η_{i}^{(k)} (n + 1) = μ_{i ‚ n + 1}^{2 (k)} (n) / \sum_{j = 1}^{n + 1} μ_{i j}^{2 (k)} (n)$ ,

$\begin{array}{l} v^{(k)} (n + 1) = v_{i}^{(k)} (n) + η_{i}^{(k)} (n + 1) \cdot \\ (X_{n + 1} - v_{i}^{(k)} (n)), i = 1, 2, \dots, c 。 \end{array}$ $\begin{array}{l} v^{(k)} (n + 1) = v_{i}^{(k)} (n) + η_{i}^{(k)} (n + 1) \cdot \\ (X_{n + 1} - v_{i}^{(k)} (n)), i = 1, 2, \dots, c 。 \end{array}$

Step 4 根据v^(k) (n) , 计算n个输入矢量的隶属函数:

$μ_{i j}^{(k)} (n + 1) = 1 / \sum_{k = 1}^{c} (d_{i j}^{(k)} / d_{k j}^{(k)})^{2 / (m - 1)} ‚$ $μ_{i j}^{(k)} (n + 1) = 1 / \sum_{k = 1}^{c} (d_{i j}^{(k)} / d_{k j}^{(k)})^{2 / (m - 1)} ‚$

Step 5 当n=p时, 计算隶属度函数矩阵 |μ^(k+1) (n) -μ^(k) (n) | 是否小于ε, ε是一个预定的小的正实数误差值。如果小于ε, 计算停止, 得到要求的模糊聚类中心v_i和隶属函数矩阵μ={μ_ij};如果大于ε, 令k=k+1, 并令v_i^(k) (n) =v_i^(k+1) (0) 转到Step 2。

《3 模糊中心聚类仿真结果》

3 模糊中心聚类仿真结果

模糊中心聚类通过计算每个输入矢量与中心的距离来完成的。

用IRIS ^[12] 数据作为算法的验证数据, 因为IRIS数据是国际公认的比较无监督分类 (聚类) 方法效果好坏的典型数据。它包含了150个4维的样本点, 聚类类别数c=3, 每一类各50个样本点, 第一类序号为1—50, 第二类序号为51—100, 第三类序号为101—150。

实验中, 给定了迭代次数上限T_max, 如果2次迭代隶属函数矩阵的数值之差小于给定的误差ε, 将视为收敛并终止迭代。初始中心点是在样本集合范围内随机选取, 并要求不同。当c=3, m=2, T_max=20, ε=10^-6时, 得到模糊中心聚类递推学习方法的聚类结果为第一类正确分类。第二类的58, 59分到第一类, 55, 56, 59, 64, 65, 69, 71, 73, 74, 77, 78, 79, 84, 87, 88, 90, 91, 92分到第三类。第三类正确分类, 总共错分了20个数, 错分率为13.3 %。图1为目标函数值随迭代次数变化的曲线, 由图1可见, 当迭代次数超过一定值, 目标函数J (X, μ, v) 接近极小值。图2为数据分类的结果, ‘*’, ‘。' 和‘×' 分别代表3类数, 图2中只画出每个数据X_i={X₁, X₂, X₃, X₄} (i=1, 2, …, 150) 的3维向量X₁, X₂, X₃。

《图1》

图1 目标函数值随迭代次数变化的曲线 Fig.1 A change curve of clustering objective function

《图2》

图2 c=3时IRIS数据的分类结果 Fig.2 The results of fuzzy central clustering of IRIS data (c =3)

《4 模糊中心聚类模式识别神经网络》

4 模糊中心聚类模式识别神经网络

提出的模糊中心聚类方法易于网络结构实现, 网络便于并行计算实施。在该网络的输出端加上一个正反馈硬划分结构, 就构成一个模糊中心聚类模式识别神经网络。其结构示意图见图3。

《图3》

图3 模糊中心聚类模式识别神经网络实现 Fig.3 The model of fuzzy central clustering neural network

该网络的最后一层就是为实现模式分类为硬划分而设计的一个正反馈硬划分结构, 它把第j个输入矢量X_j={x_j1, x_j2, …, x_js} 通过网络后产生的输出隶属函数矢量, 又全部通过正反馈到该层的输入端, 最后μ_j= (μ_1j, μ_2j, …, μ_cj) 中的最大者通过硬限幅输出为1, 其他的输出为0。如果系统要求模式分类的软划分结果, 可以省去网络的最后一层。

网络的第三层是输出隶属函数矢量μ_j= (μ_1j, μ_2j, …, μ_cj) 层, 它把第二层的输出距离 $d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2}$ $d_{i j} = ∥ v_{i} - X_{j} ∥ = [\sum_{l = 1}^{s} (v_{i l} - x_{j l})^{2}]^{1 / 2}$ , 通过乘法器、求和器以及倒数运算, 得到隶属函数: $μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)}$ $μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)}$ 。

网络第二层是距离函数计算层, 它将输入矢量X_j与每一个模糊聚类中心v_i= (v_i1, v_i2, …, v_is) , i=1, 2, …, c, 分别计算第j个输入矢量X_j与第i个模糊聚类中心v_i的距离。

网络第一层是模糊聚类中心v_i的计算层, 它需要一组乘法器和累加存储器完成计算 $\sum_{j = 1}^{n} μ_{i j}^{m}$ $\sum_{j = 1}^{n} μ_{i j}^{m}$ 的任务, 一组相乘法和累加存储器完成计算 $\sum_{j = 1}^{n} μ_{i j}^{m} X_{j}$ $\sum_{j = 1}^{n} μ_{i j}^{m} X_{j}$ 的任务, 最后输出模糊聚类中心 $v_{i} = \sum_{j = 1}^{n} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n} μ_{i j}^{m}$ $v_{i} = \sum_{j = 1}^{n} μ_{i j}^{m} X_{j} / \sum_{j = 1}^{n} μ_{i j}^{m}$ 。

利用上节推出的无导师在线递推学习确定模糊聚类中心v_i, 隶属函数矩阵μ= {μ_ij}。训练过程结束后, 取消网络中输出隶属度μ= {μ_ij}到输入层用来确定模糊聚类中心v_i的反馈。

《5 结语》

5 结语

从优化计算的角度研究了模式识别中广泛应用的模糊中心聚类问题, 首先把计算每一个输入矢量与中心的距离来实现聚类作为一个约束情况下的非线性规划问题, 证明了模糊中心聚类方法, 取一个适当的隶属函数 $μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ i = 1, 2, \dots, c$ $μ_{i j} = 1 / \sum_{k = 1}^{c} (d_{i j} / d_{k j})^{2 / (m - 1)} ‚ i = 1, 2, \dots, c$ ; j=1, 2, …, p, 其聚类中心v_i为模糊聚类中心价值函数的极小值, 推导出基于模糊中心聚类的模式识别的无导师递推学习方法, 然后从递推计算的角度, 给出了无导师的递推学习方法来修改模糊聚类中心和隶属函数的实现步骤, 基于模糊中心聚类的模式识别的仿真结果, 证实了所提出的理论。最后提出了一种基于模糊中心聚类学习的神经网络来实现并行数据处理和模式分类, 该网络不仅具有学习速度快, 全局稳定, 而且还能完成模式识别中的硬划分和模糊划分。

展示更多