Recibido: 05 de marzo de 2019
Aceptado: 19 de junio de 2019
Las interfaces cerebro-computadora no invasivas basadas en EEG de imaginación motora (miBCI) prometen restaurar efectivamente el control motor a pacientes con discapacidades motoras, por ejemplo, aquellos con lesión de la médula espinal (LME). Sin embargo, todavía es necesario investigar las miBCI, con fines de rehabilitación, para este tipo de pacientes que utilizan dispositivos de adquisición de señales EEG de bajo costo, tales como Emotiv EPOC. En este trabajo, se describe en detalle y se comparan diez arquitecturas miBCI basadas en información de covarianza de señales EEG, adquiridas con Emotiv EPOC, para la decodificación de intención de mano abierta y cerrada en tres sujetos control y dos pacientes con LME cervical. Cuatro de estas diez miBCI usan información de covarianza para construir filtros espaciales y el resto usa la información covarianza como una representación directa de las señales EEG, permitiendo la manipulación directa mediante geometría de Riemann. Como resultado, se encontró que, a pesar de que todas las arquitecturas miBCI tienen una precisión general por encima del nivel de azar, las que utilizan la covarianza como representación directa de las señales EEG junto con clasificadores lineales, superan las miBCI que usan la covarianza para el filtrado espacial, tanto en sujetos de control como en pacientes con LME. Estos resultados sugieren un alto potencial de las miBCI basadas en la geometría de Riemann para la rehabilitación de pacientes con LME, utilizando dispositivos de adquisición de EEG de bajo costo.
Palabras clave: Interfaces cerebro-computador, imaginación motora, geometría de la información, filtrado espacial, lesión de médula espinal.
Non-invasive EEG-based motor imagery brain–computer interfaces (miBCIs) promise to effectively restore the motor control of motor-impaired patients with conditions that include Spinal Cord Injury (SCI). Nonetheless, miBCIs should be further researched for this type of patients using low-cost EEG acquisition devices, such as the Emotiv EPOC, for home rehabilitation purposes. In this work, we describe in detail and compare ten miBCI architectures based on covariance information from EEG epochs. The latter were acquired with Emotiv EPOC from three control subjects and two SCI patients in order to decode the close and open hand intentions. Four out of the ten miBCIs use covariance information to create spatial filters; the rest employ covariance as a direct representation of the EEG signals, thus allowing the direct manipulation by Riemannian geometry. We found that, although all the interfaces present an overall accuracy above chance level, the miBCIs that use covariance as a direct representation of the EEG signals together with linear classifiers outperform miBCIs that use covariance for spatial filtering, both in control subjects and SCI. These results suggest the high potential of Riemannian geometry-based miBCIs for the rehabilitation of SCI patients with low-cost EEG acquisition devices.
Keywords: Brain-computer interfaces, Motor imagery, Information geometry, Spatial filters, Spinal cord injury.
Los pacientes con lesiones medulares cervicales presentan grandes retos en la recuperación de las funciones sensitivas y motoras, a nivel de miembros superiores durante la fase aguda y subaguda [
En la actualidad, existen diversos tipos de BCI, dependiendo de la técnica de adquisición, del tipo modulación cerebral particular que se utilice y del problema de rehabilitación propio en cada paciente. En particular, la interfaz cerebro-computador no invasiva electroencefalográfica, EEG, basada en imaginación motora, miBCI (del inglés: motor imagery Brain-Computer Interface), es considerada una de las más apropiadas para rehabilitación motriz de miembros superiores [
Las miBCI generalmente constan de dos fases [
En los últimos años, dos técnicas que explotan la información de covarianza de las señales EEG han demostrado una destacable capacidad discriminante en un sinnúmero de retos internacionales sobre bancos de datos disponibles por parte de la comunidad científica para fines de comparación [
En la otra técnica, la información de covarianza es tratada como patrón característico de la señal EEG y su tratamiento se realiza en una variedad de Riemann [
Para desarrollar la hipótesis, en este trabajo se diseñaron diez arquitecturas de BCI asociadas a dos estados mentales (imaginación de apertura y cierre de mano), cuatro de ellas utilizaron la información de covarianza de las señales EEG (basados en patrones comunes espaciales) para procesos de filtrado y las otras seis (tres con clasificador lineal y tres con clasificador no lineal) utilizaron la misma información como una nueva representación de dichas señales (basados en geometría de Riemann). Las señales fueron adquiridas con ayuda del Emotiv EPOC [
Por lo tanto, en la sección 2 el documento describe el protocolo experimental, los fundamentos matemáticos de los patrones comunes espaciales de la geometría de Riemann y los clasificadores considerados en ambos casos, finalizando con las arquitecturas definitivas para las miBCI. Por último, en la sección 3, se detallan las pruebas llevadas a cabo y se comparan las diferentes arquitecturas para cada sujeto de experimentación.
En este estudio se adquirieron segmentos (épocas) de señales EEG asociadas a imaginación de mano cerrada e imaginación de mano abierta de cinco sujetos con edades entre 22 y 56 años, dos de ellos con lesión cervical (S1 y S2) y tres sin ningún tipo de lesión (S3, S4, y S5) (Ver Tabla 1.). De acuerdo con los especialistas médicos, ninguno de los sujetos de prueba presentó limitaciones cognitivas ni daño cerebral que impidiera la participación de los sujetos de experimentación. Asimismo, los sujetos dieron consentimiento informado respecto a las pruebas realizadas y los datos adquiridos.
Cada sujeto se ubicó frente a una pantalla de 55 pulgadas a 1.5 m de distancia. En la pantalla se desplegaron en forma aleatoria flechas orientadas hacia la derecha (indicando imaginación de mano cerrada) y hacia la izquierda (indicando imaginación de mano abierta). En el caso de los sujetos con lesiones cervicales, se utilizó la silla de ruedas propia de cada sujeto. Para la captura de las señales EEG se usó el Emotiv EPOC el cual consta de 14 canales (AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4) con frecuencia de muestreo de 128 Hz.
Por cada sujeto se realizaron 20 sesiones y durante cada sesión se ejecutaron 10 ensayos. Cada ensayo tuvo una duración de 8 segundos y solo se desplegó una de las flechas a la vez. El esquema de eventos durante cada ensayo se puede observar en la Fig. 2. Las épocas de las señales EEG para la imaginación de mano cerrada o abierta se extrajeron desde los 2 s hasta los 6 s. En cada sesión se siguió un protocolo de asepsia que consistió en limpiar el cuero cabelludo de los sujetos de experimentación con agua destilada y se aseguró que los canales del Emotiv EPOC presentaran alta calidad de contacto con ayuda del Software Emotiv Test Bench v.15.0.3. Las épocas de las señales EEG extraídas se procesaron mediante un filtro Butterworth de 5º orden pasa banda con frecuencias de corte de 8 – 30 Hz, con el fin de filtrar de forma plana las componentes sensomotoras asociadas a la imaginación de mano cerrada y abierta [
2.1 Patrones comunes espaciales para miBCI
Anteriormente se mostró que las épocas de las señales EEG fueron filtradas temporalmente. Ahora, dada la naturaleza espacial de esta señal, se pueden concebir filtros espaciales para poder realzar características que permitan discriminar entre los dos tipos de imaginación motora en este tipo de señales. De hecho, los filtros espaciales han sido ampliamente utilizados en investigaciones en neurociencia y neuroingeniería en todo el mundo [
El filtrado Laplaciano, el filtrado basado en análisis de componentes principales (PCA) o análisis de componentes independientes (ICA) son algunos filtros espaciales comúnmente utilizados. La característica principal de este tipo de filtros es que son no supervisados, es decir, que no tienen en cuenta la categorización (imaginación derecha o izquierda) de la señal EEG.
Por el contrario, existe un tipo especial de filtros denominados patrones comunes espaciales (CSP) [
`C_i=(E_i E_i^T)/tr(E_i E_i^T ) , i=1,2 ` (1)
En (1) tr(.) es el operador traza, esto es, la suma de los elementos de la diagonal principal de una matriz. Si Ci se calcula con h > N (para este caso N = 14 y h = 512), entonces la probabilidad de que Ci sea invertible aumenta, garantizándose así que la matriz no solo sea simétrica sino también definida positiva. Ahora bien, si `C_1 ̅ `y `C_2 ̅ ` son matrices promedios de covarianza para la clase 1 y 2 respectivamente, en la teoría de filtros espaciales es posible construir de forma supervisada un filtro espacial W con ayuda del cociente de Rayleigh (2):
`J(w)=(w^T (C_1 ) ̅w)/(w^T (C_2 ) ̅w), w∈R^N ` (2)
Los w* que maximizan este cociente se obtienen resolviendo el siguiente problema de optimización sin restricción (3):
`w^*=argmax┬wJ(w) ` (3)
Nótese que si w* maximiza el Cociente de Rayleigh entonces cw* también maximiza este cociente dando el mismo valor. Luego entonces el problema de optimización en (3) puede ser planteado como un problema con restricción (4):
`w^*=argmax┬w w^T (C_1 ) ̅w s.t.w^T (C_2 ) ̅w=c ` (4)
Básicamente (4) es un problema de programación cuadrática con restricción cuadrática, el cual puede ser resuelto de forma iterativa, utilizando programación secuencial cuadrática (SQP) [
`w^*=argmin┬w-w^T (C_1 ) ̅w s.t.w^T (C_2 ) ̅w=c ` (5)
La función de Lagrange asociada al anterior problema es (6):
`L(w,λ)=-w^T (C_1 ) ̅w+λ(w^T (C_2 ) ̅w-c) ` (6)
Aplicando condiciones de primer orden, se deriva (6) respecto a w y se iguala a cero. Ver (7):
`∇_w L(w^*,λ^* )=0 ` (7)
Dado que C1 y C2 son simétricas, sustituyendo (6) en (7), se obtiene (8):
`-2w^*^T (C_1 ) ̅+λ^* (2w^*^T (C_2 ) ̅ )=0 ` (8)
Despejando uno de los sumandos de (8) se obtiene (9).
`(C_1 ) ̅w^*= λ^* (C_2 ) ̅w^* ` (9)
(9) es evidentemente un problema de autovalores generalizado [
`(((C_2 ) ̅ )^(-1) (C_1 ) ̅ ) w^*= λ^* w^* ` (10)
Cuando `C_2 ̅ `es invertible los filtros espaciales pueden ser obtenidos mediante (10). Sin embargo, si `C_2 ̅ ` no es invertible es posible que el costo máximo obtenido de (2) sea ilimitado, por lo anterior, se impone otra restricción sobre la norma de w al problema de optimización inicial, ver (11):
`w^*=argmin┬w-w^T (C_1 ) ̅w s.t.w^T (C_2 ) ̅w=c w^T w=d ` (11)
Para este caso la Lagrangiana viene dado por (12):`L(w,λ_1,λ_2 )=-w^T (C_1 ) ̅w+λ_1 (w^T (C_2 ) ̅w-c)+λ_2 (w^T w-d) ` (12)
Las soluciones deben satisfacer ∇_w L(w^*,λ_1^*,λ_2^* )=0, esto es (13):`-w^*^T (C_1 ) ̅+2λ_1^* (w^*^T (C_2 ) ̅ )+λ_2^* (w^*^T I)=0 ` (13)
Reorganizando (13) se obtiene (14)`w^*^T (C_1 ) ̅+2λ_1^* w^* ((C_2 ) ̅+γI)=0; Tal que: γ=(λ_2^*)/(λ_1^* ) ` (14)
Nótese que (14) parece el problema de optimización inicial (5) pero ahora `C_2 ̅ ` ̅está acompañado de un término de regularización que permite que sea invertible. Esto permite introducir el problema de optimización de patrones Comunes Espaciales Regularizados (RCSP), el cual en forma general se plantea de la siguiente forma (15):
`w^*=argmin┬w-w^T (C_1 ) ̅w s.t. w^T ((C_2 ) ̅ )w+γP(w)=c; P(w)=w^T Iw ` (15)
En síntesis, la obtención de un filtro `W∈R^(N×N)` tipo CSP junto con sus versiones regularizadas y no regularizadas se compilan en Tabla 2.
El efecto final del filtro `W∈R^(N×N)` aplicado a la señal Ei es la de aumentar la varianza para la mitad de los canales de Ei, mientras que disminuye la misma para el resto de canales para una clase en particular, y viceversa en el caso de otra clase. Por esto suele utilizarse como patrón característico, asociado a Ei (después de ser filtrado), la varianza logarítmica, obtenida mediante la función
`e_i`= < `l n `(`WE_i` )> (16)
Nótese que dado que `WE_i` `∈ R^(N×h)`, cada componente de ei se obtiene aplicando el logaritmo natural a la varianza de cada canal de WEi, lo que hace que finalmente `e_i∈R^N`. El Algoritmo 1 (ver Tabla 3.) describe el procedimiento para la obtención de un vector de varianza logarítmica para una señal EEG, Ex, filtrada espacialmente.
2.2 Geometría de Riemann para miBCI
Las matrices de covarianza simétricas y definidas positivas, Ci, pueden ser utilizadas como representación de las señales EEG, Ei. Este tipo de matrices simétricas y definidas positivas pertenecen a una forma particular de variedad matemática conocida como variedad de Riemann, C(N). En esta variedad matemática, la distancia Riemanniana de dos matrices, C1 y C2, viene dada por (17):
Donde `β_n` son los autovalores de `C_1^(-1)` `C_2`. `Log(C = C_1^(-1) C_2)` es el logaritmo de una matriz, el cual se calcula, con ayuda de la descomposición en valores singulares de C mediante el siguiente producto de matrices: `U(diag[ln(β1),…,ln(βn)]) U^T`, donde U es la matriz de autovectores de `C. ‖∙‖_F` es la norma de frobenious de una matriz, la cual se obtiene como la raíz cuadrada de la traza del producto entre la matriz y su transpuesta.
Para utilizar esta distancia en un problema de clasificación de señales `Ei`, se obtienen matrices promedio, una para la clase 1, `C_1 ` ̿, y otra para la clase 2, `C_2 ̿. ` La discriminación de una matriz C se hace por menor distancia a las matrices promedio anteriores. Para encontrar estas matrices promedio, no es posible utilizar la fórmula de media de aritmética de matrices convencional, utilizada en la sección anterior, ya que las matrices de covarianza no residen en el espacio euclídeo sino en una variedad Riemanniana. En este espacio la matriz promedio asociado a M1, matrices de covarianza para la clase 1 y M2 matrices de covarianza para la clase 2, se obtiene resolviendo los siguientes problemas de optimización respectivamente (18) y (19):
`C_1 ̿=arg min┬(C∈C(n))∑_(i=1)^(M_1)δ_R (C,C_i1 ) ` (18)
`C_2 ̿=arg min┬(C∈C(n))∑_(i=1)^(M_2)δ_R (C,C_i2 ) ` (19)
No hay una forma explícita para resolver el problema anterior, pero existen formas iterativas para estimarlo, utilizando el concepto de espacio tangente. Con ayuda del logaritmo Riemanniano entre dos matrices, LogR (C, Ci), se proyecta el conjunto de datos completo, Ci (i=1…M), matrices de covarianza, en el espacio tangente de C. En este espacio, por cierto, de propiedades euclidianas, el promedio puede obtenerse mediante media aritmética. Finalmente, se reproyecta este promedio obtenido al espacio SPD mediante la exponencial Riemanniana entre dos matrices, ExpR (C, Ci). Después de algunas iteraciones, se obtiene la media geométrica de las matrices SPD. Las iteraciones se detienen cuando se ha realizado un número determinado de iteraciones o cuando la distancia de Frobenius de la proyección tangente promedio se hace estacionaria. Ver Algoritmo 2 (ver Tabla 4.)
Las expresiones matemáticas para el logaritmo y exponencial Riemanniano para proyección y reproyección tangente, respectivamente, se muestran en (20) y (21). Igualmente, estas operaciones se ilustran en la Fig. 3.
`S_i=C^(1⁄2) Log(C^(-1⁄2) C_i C^((-1)⁄2) ) C^(1⁄2) ` (20)
`C_i=C^(1⁄2) Exp(C^(-1⁄2) S_i C^((-1)⁄2) ) C^(1⁄2) ` (21)
Para la construcción de filtros y de clasificadores en el espacio tangente, la matrices de covarianza proyectadas, las cuales son simétricas, Si,j = Sj,i, pueden vectorizarse utilizando únicamente su parte triangular superior (22), como en [
La `√2` se multiplica a todos los elementos que están por fuera de la diagonal principal de `S` para que `‖S‖_F=‖vect (S)‖_2`. La desvectorización de vect `(S)` se realiza de forma contraria. Nótese además vect (S) que tiene N(N+1)/2 elementos. Esta forma de vectorización permite la construcción de técnicas de filtrado geodésico (GF) como el propuesto en [
`C_i=C^(1⁄2) Exp(C^(-1⁄2) S_i C^((-1)⁄2) ) C^(1⁄2) ` (21)
2.3 Clasificadores
Los vectores de varianza logarítmica de la sección 2.1 y las vectorizaciones de las proyecciones en el espacio tangente de un punto sobre la variedad de Riemann de la sección 2.2 se asocian a cada una de las señales EEG con su respectiva clase. Para estos patrones es posible desarrollar técnicas de clasificación basadas en análisis discriminante cuadrático (QDA) o lineal (LDA) [
Finalmente, si se asume `∑_1=∑_2=∑` entonces la discriminación se puede obtener de forma lineal (LDA) mediante (24). Ambas expresiones (23) y (24) permiten clasificar a ex perteneciente a la clase 1 si y ≥ 0 y a la clase en 2 en caso contrario.
`y(e_x)=1/2 ln(|∑_2 |/|∑_1 | )-1/2 [{(e_x- μ_2 )^T ∑_2^(-1) (e_x-μ_2 )}- {(e_x-μ_1 )^T ∑_1^(-1) (e_x-μ_1 )}] ` (23)
`y(e_x)=(μ_1-μ_2 )^T ∑^(-1) [e_x-1/2 (μ_1+μ_2 )] ` (24)
Las máquinas de vectores de soporte son otra opción robusta para clasificar ex mediante (25). Ns es el número de vectores de soporte obtenidos después de optimizar el problema dual asociado a la maximización del margen de separación entre las clases, αi son los multiplicadores de Lagrange no nulos obtenidos de este mismo problema, di son las etiquetas (+1 para la clase 1 y -1 para la clase 2) de los vectores de soporte y e_xi son los vectores de soporte los cuales son un subconjunto de los datos de entrenamiento [
`y(e_x)=∑_(i=1)^(N_s)▒α_i d_i k(e_x,e_xi ) ` (25)
Por otra parte, si se conserva la representación de las señales EEG en sus matrices de covarianza, con ayuda de (17), (18) y (19) se puede implementar un clasificador riemanniano denominado de mínima distancia a la media (MDM) el cual se expresa en (26). En este caso no se utiliza ex sino Cx asociado a Ex:
`q=arg min┬(i∈{1,2} ){δ_R (C ̿_i,C_x )} ` (26)
2.4 Arquitecturas miBCI basadas en CSP y geometría de Riemann
Con ayuda de las funciones discriminantes descritas en la sección 2.3 y las técnicas desarrolladas en las secciones 2.1 y 2.2 es posible concebir diez arquitecturas de interfaces cerebro- computador: cuatro basadas en CSP (Fig. 4) y seis basadas en geometría de Riemann (Fig. 5).
Para la determinación de los parámetros involucrados en los diferentes algoritmos se tomaron valores de referencia encontrados en otros estudios. El parámetro de regularización del Algoritmo 1 (ver Tabla 3) γ se fijó igual 0.0001 (con base en [
Aun cuando en las miBCI basadas en geometría de Riemann, Fig. 5, pudo considerarse también las técnicas de clasificación mediante los métodos discriminantes planteados en [
Es importante mencionar que las arquitecturas miBCI basadas en geometría de Riemann, que hacen uso específico del filtrado geodésico y el clasificador MDM, solo requieren el cómputo iterativo durante el entrenamiento. Durante la ejecución en línea este cómputo no se requiere. En el caso del filtrado geodésico para el cómputo en línea, solo es suficiente con conservar la matriz promedio C̅ y el filtro WR los cuales se obtienen en las líneas 1 y 7 del Algoritmo 2 (ver Tabla 5), respectivamente. En el caso del clasificador MDM, solo habría que almacenar las matrices de covarianza promedio para las clases 1 y 2 obtenidas con ayuda del Algoritmo 2 (ver Tabla 4).
Para evaluar las miBCI basadas en CSP y las basadas en geometría de Riemann descritas en la sección 2, se validó que los promedios de precisión (clasificación correcta) general (incluyendo todos los sujetos) estuvieran por encima del nivel de azar. Estos promedios de precisión fueron obtenidos en un esquema de validación cruzada estratificada con 10 divisiones [
Las precisiones de las diferentes arquitecturas sobre todos los ensayos se promediaron a lo largo de las diferentes divisiones del dataset (10 divisiones). Para probar si este desempeño estuvo significativamente por encima del desempeño de un clasificador que asociara cualquier clase a las épocas [
En la Fig. 6 se observa que todos estos valores están por encima del nivel de azar estimado para este caso. Nótese que la arquitectura RM+TS+SVM lineal presenta la mejor precisión promedio entre todas las arquitecturas. Para determinar cuál o cuáles fueron las mejores miBCI por sujeto, se comparó el desempeño de cada una de estas utilizando el área bajo la curva ROC, AUC [
En primer lugar, se observa que independiente del sujeto, los resultados de las miBCI basadas en geometría de Riemann presentaron en promedio un 31 % de desempeño mayor que las basadas en CSP. Sobresalen por su desempeño las siguientes miBCI: RM+GF+MDM, RM+TS+SVM lineal y la RM+GF+TS+SVM lineal. La superioridad en desempeño de las arquitecturas basadas en Riemann respecto a las basadas en CSP se debe a: i) la estimación de las matrices de covarianza promedio por clase en el caso de CSP no es óptima [
Y, en segundo lugar, se observa que mientras las miBCI en los sujetos con lesiones cervicales (S1 y S2) presentan un desempeño regular, en los sujetos de control se logran miBCI con desempeños buenos (S5: 0.91 – miBCI: RM+GF+TS+SVM Linear) y muy buenos (S3, S4: 0.98 - miBCI: RM+GF+TS+SVM Linear, RM+GF+MDM). El bajo desempeño de las arquitecturas propuesta con respecto a los sujetos de control puede deberse a la reorganización de la actividad cortical sensomotora [
Se diseñaron e implementaron diez arquitecturas miBCI asociadas a imaginación de mano cerrada y abierta en tres sujetos de control y dos sujetos con lesiones medulares cervicales. Se analizó el aporte de la covarianza en la representación y discriminación de las señales EEG. Todas las miBCI tuvieron porcentajes de precisión por encima del nivel de azar.
Se encontró que, para ambos tipos de sujetos, las miBCI basadas en geometría de Riemann con clasificadores lineales mostraron mayor precisión que las miBCI basadas en CSP (tanto lineal como no lineal). Sin embargo, presentan mejor desempeño en los sujetos de control que en los sujetos con lesiones medulares.
Lo anterior sugiere que el desempeño de las miBCI que utilizan la información de covarianza de las señales EEG adquiridas con el Emotiv EPOC mejora cuando dicha información se utiliza para representar las señales EEG junto con modelos lineales de clasificación, que cuando se las utiliza con modelos no lineales o cuando la información de covarianza es utilizada en procesos de filtrado espacial de señales.
Los resultados obtenidos permiten entrever la posibilidad de desarrollar miBCI con equipos de bajo costo y algoritmos simples y robustos, utilizando la información de covarianza y los elementos de la geometría de Riemann en clasificadores lineales.
Se espera, a futuro, que la sintonización de los híper-parámetros de las arquitecturas propuestas en los sujetos con lesiones medulares mejore el desempeño de las miBCI basadas en geometría de Riemann. También debe evaluarse la capacidad de generalización de estas miBCI con un número de épocas menores y en aplicaciones reales de generación de comandos a exomanos reales o virtuales, como apoyo a procesos de rehabilitación de miembros superiores en pacientes con LME.
A Colciencias y a la Facultad de Ingeniería de la Universidad del Valle, en el marco de la convocatoria 727 del 2015, por el apoyo económico y administrativo.
Declaramos no tener ningún tipo de conflicto de intereses, ninguna relación personal, política, interés financiero ni académico que pueda influir en nuestro juicio.