Recibido: 25 de noviembre de 2019
Aceptado: 31 de marzo de 2020
Internet es el mayor medio de difusión de información y el mayor canal de prestación de servicios que existe actualmente. Debido a que el número de sus usuarios se mantiene en constante crecimiento, se debe procurar por la inclusión de aquellas características que velan por el aseguramiento del acceso a la información de toda la población, incluyendo a las personas con necesidades especiales. En este sentido, es necesario asegurar el cumplimiento de los estándares de accesibilidad propuestos por el World Wide Web Consortium (W3C) a través de las Pautas de Accesibilidad de Contenido Web (WCAG) y las Mejores Prácticas de Web Móvil (MWBP). Diferentes autores afirman que, incluso teniendo conocimientos de las falencias de accesibilidad de las aplicaciones existentes, los desarrolladores presentan problemas en su evaluación, al igual que en la valoración de la usabilidad. Si bien existe una guía para realizar dicha evaluación, esta no está completa y los elementos que definen la evaluación aún son incipientes. En este sentido, es importante definir un método que permita evaluar no solo la usabilidad, sino también la accesibilidad de las aplicaciones web y móviles, sobre todo, considerando aquellos usuarios que poseen necesidades especiales. Con base en lo anterior, en este trabajo se propone un método para la evaluación de usabilidad y accesibilidad para aplicaciones móviles, desarrollado en seis fases iterativas, las fases iniciales del método buscan asegurar el cumplimiento de los niveles de accesibilidad deseados según el W3C; seguidamente, se busca el cumplimiento de la usabilidad aplicando las fases restantes del método, obteniendo como resultados mejoras en cada iteración. Al usar el método para evaluar la aplicación “Diccionario de Neologismo”, se evidencia una mayor detección de fallas en la implementación del estándar de W3C y mejoras en las respuestas obtenidas por medio de encuestas de satisfacción.
Palabras clave: acceso a la información, calidad de software, evaluación de aplicaciones móviles, usabilidad para aplicaciones web y móviles.
Internet is the largest means of disseminating information and the largest service delivery channel currently available. As the number of Internet users continues to grow, care should be taken to ensure that the quality characteristics of web and mobile applications include those that ensure access to information for the entire population, including people with special needs. In this regard, it is necessary to ensure compliance with the accessibility standards proposed by the World Wide Web Consortium (W3C) through the Web Content Accessibility Guidelines (WCAG) and the Mobile Web Best Practices (MWBP). Different authors claim that, even with knowledge of the accessibility gaps of existing applications, developers present problems in their evaluation, as well as in the evaluation of usability. While there is a guide to such an assessment, it is not complete and the elements defining the assessment are still at an early stage. In this sense, it is important to define a method that allows to evaluate not only the usability but also the accessibility of web and mobile applications, especially considering those users who have special needs. Based on the above, this paper proposes a method for the evaluation of usability and accessibility for mobile applications, developed in 6 iterative phases, the initial phases of the method seek to ensure compliance with the desired levels of accessibility according to the W3C, then the fulfillment of usability is sought by applying the remaining phases of the method, obtaining as results improvements in each iteration, when using the method to evaluate the "Dictionary of Neologism" application, there is evidence of greater detection of failures in the implementation of the W3C standard and improvements in responses obtained through satisfaction surveys.
Keywords: Access to information, software quality, mobile app evaluation, usability evaluation of web and mobile applications.
Los dispositivos móviles, como los smartphones y las tablets, son cada vez más comunes en la cotidianidad de las personas. Esto ha llevado a un crecimiento permanente no solo de la cantidad de usuarios de este tipo de dispositivos, sino también de las aplicaciones que se desarrollan para ofertar contenidos y servicios en ellos [
En el proceso de desarrollo de software se debe llevar a cabo una etapa llamada “especificación de requisitos”, en la que se definen las características que debe tener la aplicación a desarrollar. Dichas características definen lo que se conoce como los requisitos funcionales y los requisitos no funcionales de la aplicación.
Los primeros hacen referencia a las características que el sistema debe proveer al usuario para que este realice un conjunto de tareas con ayuda del sistema. Los segundos especifican todas aquellas características y restricciones que condicionan el funcionamiento del sistema. Por ende, los requisitos no funcionales pueden afectar la adopción de la aplicación por parte de los usuarios.
Con base en lo anterior, las características que definen la usabilidad y la accesibilidad de una aplicación forman parte de los requisitos no funcionales. La norma ISO 9241-11 define la usabilidad como el grado en que un producto de software puede ser usado por determinados usuarios para lograr sus objetivos con eficacia, eficiencia y satisfacción en un contexto de uso específico [
Un factor común que se presenta durante el proceso de desarrollo de software es que, por desconocimiento o por falta de conciencia social, el grupo de requisitos que deben asegurar la usabilidad y la accesibilidad del software son rara vez considerados en las etapas de diseño, desarrollo y pruebas [
Lo anterior ha creado un escenario en el que la accesibilidad de un producto de software es considerada, en el mejor de los casos, una característica deseable más no necesaria. Esto va en contra de las normas que determinan que el acceso a la información es un derecho para la población, tal como dictamina la legislación a través de la Norma Técnica Colombiana 5854 del 2001 [
Así, en aras de realizar una evaluación más general de la que puede ofrecer la usabilidad, los equipos de desarrollo de software deben considerar durante todo el ciclo del software tanto a las personas en condición de discapacidad como los estándares definidos por la W3C para la accesibilidad [
En esa línea, este trabajo propone un método para la evaluación de la accesibilidad y la usabilidad en aplicaciones móviles. Para ello, este manuscrito se ha estructurado de la siguiente manera. En la Sección 2 se presenta el problema de estudio. En la Sección 3 se sintetizan los antecedentes y se hace una comparación entre los métodos para la evaluación de accesibilidad o usabilidad tanto para las aplicaciones móviles como para las aplicaciones web (La evaluación de la usabilidad y la accesibilidad en aplicaciones para dispositivos móviles es reciente y cuenta con pocos métodos definidos para su evaluación. En aras de tener un referente más amplio para hacer las comparaciones, se incluyen los métodos definidos para la evaluación de aplicaciones web, por ser afines a las aplicaciones móviles). En la Sección 4 se describe el modelo propuesto para la evaluación de la accesibilidad y la usabilidad en aplicaciones móviles. En la Sección 5 se presentan los resultados obtenidos tras aplicar el método propuesto a un caso de estudio específico. En la Sección 6 se discuten los resultados obtenidos y, finalmente, en la Sección 7 se presentan las conclusiones y el trabajo futuro.
Los dispositivos móviles son cada vez más útiles para las empresas, haciendo que la expectativa de utilizarlos crezca cada día, buscando una ventaja competitiva, ahorrando tiempo y dinero [
Hay un gran número de esas aplicaciones que ofrecen pocas o ninguna ayuda para aquellos internautas que tienen algún tipo de conflicto al realizar las operaciones o acciones necesarias para llevar a cabo alguna tarea con estas [
Por otro lado, el número de personas en condición de discapacidad se acrecienta debido a diversas causas, entre ellas: las enfermedades cardiovasculares, la diabetes, trastornos mentales y la vejez [
Por esto, se hace necesario incluir, de manera urgente, las pruebas de accesibilidad sobre los productos de software que se desarrollan para dispositivos móviles.
En esta sección se presenta una síntesis de los temas abordados por diferentes autores respecto a enfoques previos de solución para el problema descrito anteriormente. La evaluación de la usabilidad se ha convertido en una tarea importante en el ciclo de vida del software.
Es por esto que en la literatura se encuentran autores quienes plantean diversas aproximaciones para evaluar la usabilidad tanto en aplicaciones web como en aplicaciones móviles [
Otros autores plantean que la usabilidad puede ser evaluada a través de la aplicación de pruebas en entornos controlados que requieren definir las características poblacionales, las especificaciones de los dispositivos a utilizar y las tareas que el usuario debe desarrollar [
Hay otros trabajos en los que se afirma que la usabilidad debe tenerse en cuenta a lo largo de todo el ciclo de vida del software, y no solo al final del proceso de desarrollo. En este sentido, en [
Cada informe de una etapa debe evaluar los aspectos de las etapas anteriores; cambios o inconformidades deberán ser presentados en estos textos [
Respecto a la evaluación de la accesibilidad, esta busca que el desarrollo de una aplicación se centre en el usuario, esto con el fin de garantizar que dicha aplicación pueda ser usada por una persona sin importar su condición física.
Así, en la implementación de la evaluación de la accesibilidad se deben considerar ciertas pautas tanto en la definición estructural, como en la programación de las funcionalidades que la aplicación tendrá.
Algunas de esas pautas pueden ser evaluadas a partir de la revisión del código, sin embargo, otras requieren una revisión exhaustiva de los contenidos de la aplicación, puesto que están orientadas a evaluar la calidad y la coherencia de la información presentada. De ahí que algunos autores hayan propuesto herramientas que evalúan de manera semiautomática la accesibilidad, centrándose en aquellas pautas que deben implementarse en el código de la aplicación. Entre estas herramientas están: MATE (Mobile Accessibility Testing) [
A modo de resumen, la Tabla 1 muestra los aspectos que este tipo de herramientas consideran para evaluar la accesibilidad de una aplicación.
Principio | Pauta | Criterio |
Perceptible | Texto alternativo | Contenido no textual |
Contenido multimedia dependiente del tiempo | 1.2.1. Solo audio y solo video (pregrabado) | |
1.2.2. Subtítulos | ||
1.2.3. Descripción de audio o alternativa de medios (pregrabado) | ||
1.2.4. Subtítulos (en vivo) | ||
1.2.5. Descripción del audio (pregrabado) | ||
Adaptable | 1.3.1. Información y relaciones | |
1.3.2. Secuencia significativa | ||
1.3.3. Características sensoriales | ||
Distinguible | 1.4.1. Uso del color | |
1.4.2. Control de audio | ||
1.4.3. Contraste (mínimo) | ||
1.4.4. Cambiar el tamaño del texto | ||
1.4.5. Imágenes de texto | ||
Operable | Accesible desde teclado | 2.1.1. Teclado |
2.1.2. Sin trampa de teclado | ||
Tiempo suficiente | 2.2.1. Tiempo ajustable | |
2.2.2. Pausar, detener, ocultar | ||
Convulsiones y reacciones físicas | 2.3.1. Tres parpadeos o umbral inferior | |
Navegable | 2.4.1. Bloques de derivación | |
2.4.2. Página titulada | ||
2.4.3. Orden de enfoque | ||
2.4.4. Propósito del enlace (en contexto) | ||
2.4.5. Múltiples formas | ||
2.4.6. Encabezados y etiquetas | ||
2.4.7. Enfoque visible | ||
Comprensible | Legible | 3.1.1. Idioma de la página |
3.1.2. Lenguaje de las partes | ||
Predecible | 3.2.1. En foco | |
3.2.2. En la entrada | ||
3.2.3. Navegación consistente | ||
3.2.4. Identificación consistente | ||
Asistencia de entrada | 3.3.1. Identificación del error | |
3.3.2. Etiquetas o instrucciones | ||
3.3.3. Sugerencia de error | ||
3.3.4. Prevención de errores (legal, financiero, datos) | ||
Robusto | Compatible | 4.1.1. Análisis |
4.1.2. Nombre, función, valor |
Dada la naturaleza de las pruebas que deben realizarse para la evaluación de accesibilidad en aplicaciones web y móviles, no es posible llevar a cabo una validación automática completa [
Como consecuencia, la evaluación manual debe ser el primer paso a seguir [
Lo anterior da paso a que la accesibilidad de una aplicación pueda ser valorada por personas que, además de conocerla, sean sus potenciales usuarios.
Para ello, la evaluación se puede orientar partiendo de los cuatro principios definidos por la W3C y adaptados por la norma NTC5854, los cuales son: percepción, operación, comprensión y robustez. Estos principios se pueden valorar con un cuestionario de preguntas cerradas que, normalmente, se califican en una escala de uno a cinco.
Específicamente, [
Por otro lado, en la literatura se han propuesto métodos que buscan hacer una evaluación tanto de la accesibilidad como de la usabilidad. En esta línea algunos autores proponen un proceso de evaluación compuesto en el que se valora cada componente de manera independiente utilizando tanto usuarios del común, que incluyen personas en condición de discapacidad, como evaluadores expertos.
En esta línea, en [
En [
Finalmente, otros trabajos consideran importante tener en cuenta la opinión de los usuarios que interactúan con la aplicación por medio de encuestas de satisfacción. De acuerdo con a [
Como se puede observar, la evaluación de la accesibilidad y de la usabilidad suele realizarse de forma independiente. Por tanto, para realizar la evaluación de ambas características es necesario aplicar varios métodos de evaluación al tiempo.
Aun así, la valoración de la accesibilidad puede quedar incompleta, principalmente porque métodos como MATE y XValid, entre otros, son asistidos por un software y hacen una evaluación semiautomática de las pautas propuestas en la W3C, dejando por fuera aquellas pautas orientadas a la calidad y coherencia de la información presentada en el sitio.
Pasando a la evaluación de la usabilidad, una de las formas de hacerlo es a través del estudio de experiencias en ambientes controlados con un público objetivo determinado.
Este tipo de evaluaciones permiten controlar o planificar las tareas a desarrollar por el usuario y por tanto facilitan el registro de los fallos encontrados. Por otro lado, las evaluaciones en ambientes de pruebas no controlados ayudan a determinar qué tan práctica es la aplicación en su contexto de uso, aunque esta dificulta la identificación de los fallos y de la respuesta de los usuarios ante los mismos.
Finalmente, los métodos que realizan una evaluación de ambas características (usabilidad y accesibilidad), basan la evaluación de la accesibilidad en herramientas semiautomáticas y no plantean estrategias para complementar dicha evaluación, por tanto, reflejarán resultados incompletos de las aplicaciones evaluadas.
Con base en la revisión de la sección anterior, aquí se propone un método para la evaluación de la usabilidad y accesibilidad de aplicaciones móviles. Este busca recoger los puntos fuertes de los métodos analizados, para lo cual se propone seguir las seis fases del gráfico de la Fig. 1. Estas fases se detallan a continuación:
En esta fase se considera hacer un diagnóstico inicial de la aplicación a partir de los criterios establecidos por la W3C en el MWBP 1.0 (Mobile Web Best Practice) [
Dichos criterios están categorizados en tres niveles: el nivel básico (A), el cual define el conjunto de requisitos que una aplicación debe cumplir para ser accesible por un grupo amplio de usuarios; el nivel intermedio (AA), que establece las características que debe tener una aplicación con miras a eliminar las barreras de acceso al contenido; y, por último, el nivel avanzado (AAA), el cual presenta las pautas a seguir con el fin de mejorar de manera significativa la accesibilidad, orientadas especialmente hacia la robustez y la escalabilidad de la aplicación. La Tabla 2 resume los criterios del MWBP y su categoría correspondiente.
Pauta | Nivel |
1.4.4 Cambiar el tamaño del texto | AA |
1.4.3 Contraste (Mínimo) | AA |
1.4.6 Contraste (Mejorado) | AAA |
2.1.1 Teclado | A |
2.1.2 Sin trampa de teclado | A |
2.4.3 Orden de enfoque | A |
2.4.7 Foco visible | AA |
3.2.3 Navegación coherente | AA |
3.2.4 Identificación coherente | AA |
2.4.4 Propósito del enlace (en contexto) | A |
2.4.9 Propósito del enlace (solo enlace) | AA |
3.3.2 Etiquetas o instrucciones | A |
3.3.5 Ayuda | AAA |
Para la evaluación de estos criterios, se propone usar una rúbrica de evaluación que debe ser aplicada a cada pantalla de la aplicación, con la escala: No cumple (0 ptos); Cumple, pero puede mejorar (1 pto); Cumple (2 ptos) o No aplica (N/A).
Para obtener mayor confiabilidad en los resultados de la evaluación se recomienda que esta evaluación sea realizada por al menos una persona con conocimiento del estándar.
Fase 2: definición del público objetivo de la aplicación y selección de la muestra.
Una vez superada la Fase 1 y se dé por “Aceptada la aplicación como accesible”, se debe caracterizar el público objetivo de la aplicación a evaluar. Esta caracterización debe indicar si la aplicación está orientada a un público en general o a personas en condición de discapacidad. A continuación, se debe seleccionar el tamaño de la muestra poblacional, el cual se recomienda que sea de al menos el 30 % de la cantidad de usuarios regulares esperados para la aplicación. Se debe tener en cuenta que esta muestra debe incluir personas en condición de discapacidad. Después, los participantes se deben dividir en dos subgrupos, el primero evaluará la aplicación siguiendo el método de estudio de campo y el segundo hará la evaluación en un experimento de laboratorio. Ambos grupos harán las mismas tareas (las cuales se definen en la Fase 3), pero tendrán metas diferentes. Las metas se refieren a la cantidad de tiempo que se requiere para la realización de las tareas y varían según la tarea, público objetivo y aplicación. A continuación, se describen las características del estudio de campo y del experimento de laboratorio.
Características del estudio de campo: este método consiste en la evaluación de la aplicación simulando un ambiente de producción. En este se debe definir un espacio en el cual se puedan supervisar a todos los participantes del estudio, se debe contar con dispositivos móviles que tengan previamente instalada la aplicación, además de cámaras de vídeo para grabar la sesión. En caso de que la población sea muy grande, se recomienda adelantar varias sesiones.
Características del experimento de laboratorio: este consiste en hacer pruebas virtuales en emuladores. Esto permite tener un mejor control sobre los movimientos que el usuario puede realizar en la aplicación.
Así, para la ejecución de este método se debe contar con un ambiente cerrado y que contenga computadoras que cuenten con emuladores de diferentes dispositivos. Los emuladores la aplicación debe estar instalada y en funcionamiento en dichos aparatos. Además, se necesitan cámaras de video para grabar los movimientos y expresiones físicas y faciales de los usuarios y un software para grabar la pantalla y hacer el seguimiento del mouse [31], lo cual ayudará a analizar cómo responde el usuario ante una tarea asignada en la aplicación.
Fase 3: diseño de la prueba y encuesta de satisfacción. En esta fase se definen las tareas que los usuarios deben hacer a fin de verificar la accesibilidad y usabilidad de la aplicación. Para ello es necesario:
-Listar las tareas o procesos que el usuario puede llevar a cabo en la aplicación.
-Establecer las posibles variaciones en las tareas o procesos que pueden llevar a resultados no exitosos, además de las tareas o procesos que pueden resultar complejas para el usuario. Esto con el fin de evaluar la claridad de los mensajes informativos presentados por la aplicación.
-Establecer los tiempos de ejecución esperados para cada una de las tareas, los cuales se tendrán en cuenta como referente para las mediciones tomadas a los usuarios.
Estos tiempos se establecen por una evaluación previa en la que los usuarios interactúan con la aplicación para determinar un tiempo promedio.
En este trabajo, la encuesta de satisfacción que se propone tiene 22 preguntas, las cuales están organizadas por secciones de la siguiente manera: sección de identidad de la marca (4 preguntas), en donde se evalúa si es posible la identificación de la empresa propietaria del software; sección de contenido (4 preguntas), para identificar si el contenido de la aplicación es de fácil comprensión; sección de navegación (4 preguntas), la cual evalúa la forma de navegar entre las pantallas de la aplicación; sección de interfaz (4 preguntas), que identifica aspectos como el contraste, los tonos de colores y la claridad de las imágenes, entre otros; sección de información de ayuda (4 preguntas), que valora la información de ayuda que presta la aplicación; por último, la sección de utilidad (2 preguntas), que evalúa si la aplicación satisface las necesidades del usuario.
-Fase 4: aplicación de pruebas. En esta fase se les solicita a los grupos definidos en la Fase 2 que adelanten las pruebas que fueron predefinidas en la Fase 3. Esta fase está dividida en dos subfases.
-Fase 4a: primero, se evalúa la aplicación a través del experimento de laboratorio utilizando computadoras (portátiles o de escritorio). En este experimento cada uno de los usuarios debe, en lo posible, usar la aplicación en un emulador diferente de los demás. Es decir, cada dispositivo móvil emulado debe ser diferente para cada uno de los usuarios. Esto ayuda a verificar si el despliegue de la aplicación es consistente en diferentes dispositivos, y, por tanto, permite determinar si la aplicación puede dejar de ser comprensible para la vista y manejo del usuario. Durante la prueba se deben grabar los movimientos del cursor (en el emulador) para ser analizados después del desarrollo de las pruebas.
-Fase 4b: después del experimento de laboratorio se debe desarrollar el estudio de campo. Este se debe realizar utilizando diferentes dispositivos móviles con el fin de conocer cómo funciona el software en entornos comunes para los usuarios.
Fase 5: aplicación de la encuesta de satisfacción. Cada usuario que participa de las pruebas debe resolver la encuesta de satisfacción diseñada en la Fase 3. Las respuestas de esta encuesta deben ser utilizadas para re-diseñar la aplicación y hacer una actualización de la misma que considere los comentarios de los usuarios y que trate de corregir los errores encontrados durante el desarrollo de la prueba.
Fase 6: reporte de fallos. Por último, una vez terminada la actualización, se debe volver a aplicar el método desde la Fase 4. Este procedimiento se hace las veces que sean posibles y necesarias para obtener cada vez un mayor nivel de satisfacción que garantice la accesibilidad de aplicación.
Es importante aclarar que durante las pruebas no se puede brindar ningún tipo de ayuda al usuario para que adelante las tareas propuestas. Las personas encargadas de la aplicación de las pruebas solo pueden solucionar dudas puntuales, no deben ayudar a los usuarios a hacer las tareas.
El método propuesto fue utilizado para evaluar la accesibilidad y la usabilidad de la aplicación “Diccionario de neologismos” desarrollada como herramienta de soporte académico para la comunidad del programa de inclusión en el Instituto Tecnológico Metropolitano de Medellín (ITM). La aplicación consiste en un diccionario de términos técnicos en Lengua de Señas Colombiana (LSC), y tiene el propósito de proveer un repositorio de fácil acceso para la población académica del ITM.
A continuación, se describe el método de evaluación de accesibilidad y usabilidad propuesto y los resultados obtenidos tras la ejecución de cada fase para las seis pantallas con las que cuenta la aplicación.
Cómo especifica el método propuesto en la Fase 1, se inició con la evaluación de los criterios de accesibilidad. Esta evaluación fue desarrollada en tres iteraciones y finalizó cuando se obtuvieron los valores de cumplimiento establecidos para esta fase.
En cada iteración se practicó la evaluación de los trece criterios definidos en cada una de las vistas de la aplicación, obteniendo los resultados presentados en la Tabla 3 de cada iteración.
Para analizar los resultados de la Tabla 3, se debe tener en cuenta que la máxima valoración para la aplicación es de 158 puntos; sin embargo, en cada vista de la aplicación hay diferentes criterios que no deben ser considerados, debido a que no están inmersos en la aplicación.
Pantalla | ||||||||
Pauta | Nivel | Iteración | Inicio | Palabra | Búsqueda | Video Termino | Video Significado | Información |
1.4.4 Cambiar el tamaño del texto | AA | 1 | N/A | 0 | 0 | N/A | 0 | 0 |
2 | 0 | 0 | 0 | 0 | ||||
3 | 0 | 0 | 0 | 0 | ||||
1.4.3 Contraste (Mínimo) | AA | 1 | 2 | 2 | 2 | 2 | 2 | 1 |
2 | 2 | 2 | 2 | 2 | 2 | 2 | ||
3 | 2 | 2 | 2 | 2 | 2 | 2 | ||
1.4.6 Contraste (Mejorado) | AAA | 1 | 1 | 0 | 2 | 2 | 2 | 0 |
2 | 1 | 2 | 2 | 2 | 2 | 2 | ||
3 | 2 | 2 | 2 | 2 | 2 | 2 | ||
2.1.1 Teclado | A | 1 | 2 | 0 | 2 | N/A | N/A | N/A |
2 | 2 | 2 | 2 | |||||
3 | 2 | 2 | 2 | |||||
2.1.2 Sin trampa de teclado | A | 1 | 2 | 2 | 0 | 0 | 0 | N/A |
2 | 2 | 2 | 1 | 1 | 1 | |||
3 | 2 | 2 | 2 | 2 | 1 | |||
2.4.3 Orden de enfoque | A | 1 | 2 | 2 | 0 | N/A | N/A | N/A |
2 | 2 | 2 | 1 | |||||
3 | 2 | 2 | 2 | |||||
2.4.7 Foco visible | AA | 1 | 1 | 2 | 0 | 1 | 1 | N/A |
2 | 1 | 2 | 1 | 2 | 1 | |||
3 | 2 | 2 | 2 | 2 | 2 | |||
3.2.3 Navegación coherente | AA | 1 | N/A | N/A | N/A | N/A | N/A | N/A |
2 | ||||||||
3 | ||||||||
3.2.4 Identificación coherente | AA | 1 | 2 | 0 | 2 | 2 | 1 | N/A |
2 | 2 | 1 | 2 | 2 | 1 | |||
3 | 2 | 2 | 2 | 2 | 2 | |||
2.4.4 Propósito del enlace (en contexto) | A | 1 | N/A | N/A | N/A | N/A | N/A | N/A |
2 | ||||||||
3 | ||||||||
2.4.9 Propósito del enlace (solo enlace) | AA | 1 | N/A | N/A | N/A | N/A | N/A | N/A |
2 | ||||||||
3 | ||||||||
3.3.2 Etiquetas o instrucciones | A | 1 | N/A | N/A | 2 | N/A | N/A | N/A |
2 | 2 | |||||||
3 | 2 | |||||||
3.3.5 Ayuda | AAA | 1 | 0 | 0 | 0 | 0 | 0 | 0 |
2 | 0 | 0 | 0 | 0 | 0 | 0 | ||
3 | 0 | 0 | 0 | 0 | 0 | 0 |
En consecuencia, hay un total de 70 puntos no asignables, dejando una calificación máxima de 88 puntos. Con base en los resultados de la Tabla 3, tras la primera iteración se obtienen los siguientes resultados:
-Criterios del Nivel A: 14 puntos obtenidos de 24 posibles (58.3 % de cumplimiento)
-Criterios del Nivel AA: 23 puntos obtenidos de 40 posibles (57.5 % de cumplimiento)
-Criterios del Nivel AAA: 7 puntos obtenidos de 24 posibles (29.2 % de cumplimiento).
Dado que los parámetros planteados por el método requieren un cumplimiento del 80 % en los niveles A y AA, se sugiere realizar los correctivos necesarios y evaluar nuevamente.
Una vez finalizada la iteración, se debe reportar al equipo de desarrollo qué pautas obtuvieron una evaluación de 0, lo cual significa que no hay evidencia de desarrollo o de la programación necesaria para el cumplimiento de la pauta en la página específica. De igual forma, los criterios que obtienen una evaluación igual a 1 deben ser mejorados, pues pueden presentar deficiencias en algunas áreas de la página evaluada. Este proceso se debe llevar a cabo en cada iteración de esta fase.
Con base en los resultados de la Tabla 3, tras la segunda iteración, se pueden inferir los siguientes resultados:
-Criterios del Nivel A: 20 puntos obtenidos de 24 posibles (83.3 % de cumplimiento)
-Criterios del Nivel AA: 27 puntos obtenidos de 40 posibles (67.5 % de cumplimiento)
-Criterios del Nivel AAA: 11 puntos obtenidos de 24 posibles (45.8 % de cumplimiento).
En esta evaluación se evidenció un avance en las mejoras de los criterios de accesibilidad. Al finalizar esta iteración se cumplió con los criterios del nivel A, pero se detectó que aún se presentaban criterios por mejorar para cumplir el nivel AA. Por tanto, se sugiere corregir lo que sea necesario y hacer una nueva iteración de evaluación.
Con los datos consignados en la Tabla 3, tras la tercera iteración se pueden inferir los siguientes resultados:
-Criterios del Nivel A: 23 puntos obtenidos de 24 posibles (95.8 % de cumplimiento)
-Criterios del Nivel AA: 32 puntos obtenidos de 40 posibles (80.0 % de cumplimiento)
-Criterios del Nivel AAA: 12 puntos obtenidos de 24 posibles (50.0 % de cumplimiento).
Como se puede observar, al final de esta evaluación se encuentra que los niveles A y AA cumplen con el porcentaje mínimo requerido para ser aceptados. Sin embrago, no hubo mejoras sustanciales en el nivel AAA. En consecuencia, se procede a la Fase 2 del método.
5.2 Evaluación de usabilidad
Después de practicada la evaluación de los criterios de accesibilidad, se prosiguió a ejecutar las fases siguientes del método propuesto, de la dos a la seis.
5.2.1 Resultados de la Fase 2:
La aplicación “Diccionario de neologismos” se desarrolló para facilitar los procesos de gestión y difusión entre la comunidad perteneciente al programa de inclusión del ITM, específicamente de las señas asociadas a la terminología utilizada en los diferentes ambientes académicos de la institución. Para el semestre académico 2019-2, el ITM contaba con los siguientes profesionales: tres intérpretes, dos logogenistas y quince estudiantes en condición de discapacidad auditiva. De esa población participaron en la evaluación cuatro estudiantes, dos intérpretes y un logogenista.
5.2.2 Resultados de la Fase 3:
Se diseñan tres tareas para evaluar la interacción de los usuarios con las funcionalidades básicas de la aplicación.
Dichas tareas son:
1. Buscar señas asociadas a palabras clasificadas por áreas de conocimiento
2. Buscar señas asociadas a palabras específicas y descarga de los videos correspondientes
3. Usar las ayudas y el acceso a la información del equipo de desarrollo.
Adicionalmente, se diseñó la encuesta de 22 preguntas (Anexo 1) mencionada anteriormente.
5.2.3 Resultados de la Fase 4:
Para el estudio de campo se utilizaron smartphones de diferentes referencias y marcas, todos ellos con el sistema operativo Android. En este caso los usuarios fueron los estudiantes seleccionados en la Fase 2.
Las instrucciones de la prueba fueron comunicadas con la ayuda de los intérpretes porque quienes dirigieron la prueba no son usuarios del lenguaje de señas. Por otro lado, el experimento de laboratorio fue efectuado por los intérpretes buscando facilitar los procesos de comunicación entre ellos y el equipo que dirige las pruebas. En este experimento no se consideraron personas en condición de discapacidad, puesto que no tienen experiencia en las pruebas de software y, al ser poco tolerantes a los fallos, podrían abandonar el experimento en curso. No obstante, los intérpretes que participaron del experimento tienen un completo conocimiento de las características que debe cumplir la aplicación como producto terminado. La Fig. 2. muestra algunas fotografías tomadas durante la prueba de campo y el experimento de laboratorio.
Durante el proceso de evaluación se tomó el tiempo de duración de la prueba.
En el diseño de esta se determinó que un participante debería tardar aproximadamente 3.4 minutos en hacer las tareas definidas. Este lapso se determinó con base en el tiempo promedio que tardaron tres personas en hacer las tareas.
Es importante mencionar que dos de ellas son personas en condición de discapacidad auditiva. Como resultado se evidenció que el 71,42 % de los participantes logró terminar la prueba en el tiempo estimado, el 14,29 % finalizó la prueba en un tiempo menor y el 14,29 % restante no logró finalizar la prueba.
En este último caso el usuario manifestó una dificultad para entender el objetivo de la prueba, por tanto, consumió el total del tiempo que tenía disponible únicamente para desarrollar la primera tarea.
Al realizar las pruebas, se evidenció que la Tarea 2, búsqueda y descarga de términos, fue la única que generó errores durante su ejecución, ya fuera por fallos propios de la aplicación, o por no presentar mensajes informativos adecuados en el momento de ocurrir un fallo.
5.2.4 Resultados de la Fase 5:
Después de practicada la prueba se procedió a realizar la encuesta para identificar las fortalezas y debilidades de la aplicación. En esta fase se vio la necesidad de la presencia de las intérpretes no solo para presentar instrucciones en la ejecución de la prueba, sino para ayudarles a los participantes a plasmar sus percepciones en la encuesta. Lo anterior dado el poco dominio del español como lengua escrita de los participantes en condición de discapacidad.
5.2.5 Resultados de la Fase 6:
Las pruebas realizadas y la percepción de los participantes en la encuesta permitieron detectar errores de navegación, de identidad corporativa, de estructura y organización de la información. A partir de este reporte, se formularon las sugerencias para que el equipo de desarrollo implementara las correcciones pertinentes y desarrollara una nueva versión de la aplicación.
La nueva versión de la aplicación fue evaluada nuevamente a la luz del método propuesto considerando un nuevo grupo de usuarios con las mismas características del grupo inicial. La Tabla 4 muestra una comparación de los resultados de las dos evaluaciones realizadas.
Primera prueba | Última prueba | |
Errores producidos | 3 | 0 |
Usuarios que finalizaron la prueba | 6 | 7 |
Usuarios que NO finalizaron la prueba | 1 | 0 |
Tiempo máximo en terminar | No termina | 3:30 min |
Tiempo promedio | 3:19 + No termina | 3:14 |
En la Tabla 4, se puede observar que, tras aplicar la primera evaluación y actualización de la aplicación, los tiempos de respuesta de los usuarios fueron menores; teniendo en cuenta que en la primera prueba un usuario no logró terminar, se eliminaron los errores de la primera versión. Adicionalmente, el estudio de campo mostró que era más fácil para los usuarios manejar la aplicación.
Con los avances tecnológicos y el éxito de los dispositivos móviles, se hace vital la integración de la accesibilidad y la usabilidad en las aplicaciones para dispositivos móviles [
Lo anterior da pie a que se desarrollen métodos para hacer evaluaciones de accesibilidad que permitan hacer una valoración presencial a través de los estudios de campo y los experimentos de laboratorio teniendo en cuenta a esta población.
En el estudio de campo, los usuarios deben llevar a cabo un conjunto de tareas haciendo uso de la aplicación en dispositivos móviles. Una vez finalizadas las tareas, se les solicita que emitan su concepto de la aplicación, dando respuesta a una encuesta previamente definida: el estudio de laboratorio busca evaluar las variaciones de la experiencia del usuario al probar la aplicación emulando dispositivos con diferentes características de hardware.
Este método se vuelve efectivo para evaluar aspectos de usabilidad para un grupo de personas en condición de discapacidad, aunque su tiempo de respuesta se vuelve lento cuando se hacen demasiadas iteraciones, perdiendo recursos y tiempo por parte del grupo de desarrollo. Por otro lado, su efectividad llega a incrementar, los usuarios cada vez hacen las tareas más rápidas, es decir, la aplicación es cada vez más intuitiva para ellos y su número de errores disminuye considerablemente.
En este trabajo, se desarrolló un método que permite evaluar la accesibilidad y la usabilidad de una aplicación móvil. Dicho método considera como actores a personas en situación de discapacidad sensorial. Con respecto a la evaluación de la accesibilidad, el método considera los criterios para el cumplimiento de los niveles A y AA de acuerdo con las regulaciones del W3C en el estándar MWBP, que son a su vez los mínimos exigidos por la norma técnica colombiana NTC5854. Por otro lado, respecto a la evaluación de la usabilidad, el método adaptó la propuesta de [33] para su aplicación en dispositivos móviles. En este sentido, el método propuesto permite realizar una evaluación más completa de la accesibilidad al incluir los aspectos visuales, de interacción y coherencia del contenido en la aplicación.
Adicionalmente, el caso de estudio aplicado permite evidenciar que el método propuesto ayuda a mejorar la interacción del usuario tras cada iteración de la evaluación. Esto se soporta en la disminución del tiempo de duración de la prueba y en los resultados obtenidos en las encuestas de satisfacción de cada iteración.
Estas últimas muestran que, de 154 preguntas que se realizaron a todos los participantes, 134 fueron de aspectos favorables, es decir, más del 87 % de las opiniones de los participantes fueron positivas.
Se debe resaltar que un buen porcentaje de las personas en condición de discapacidad sensorial no son usuarios del español como lengua escrita, esto dificultó ejecutar las pruebas sin la intervención de un intérprete o herramienta lectora de pantallas. Este elemento afecta de forma negativa las pruebas puesto que el tiempo de ejecución de las mismas es más largo comparado con los métodos semiautomáticos.
Finalmente, como recomendación, es importante explicar a la población seleccionada la naturaleza de las pruebas de software, esto para evitar frustraciones o deserciones durante la prueba por la cantidad de errores que pueden ser detectados durante la ejecución de las mismas.
Andrés Paniagua agradece al programa Jóvenes Investigadores e Innovadores ITM 2019 por el financiamiento que permitió desarrollar este trabajo. Los autores también dan las gracias al grupo de logogenistas del ITM por su colaboración.
1 Construcción del estado del arte, conceptualización del método de evaluación de usabilidad y accesibilidad propuesta, pruebas de campo y recolección de datos y redacción y escritura del manuscrito
2 Revisión del estado del arte, conceptualización del método de evaluación de usabilidad y accesibilidad propuesta, supervisión de las pruebas de campo, redacción y escritura del manuscrito, y revisión del manuscrito
3 Revisión del estado del arte, revisión del método de evaluación de usabilidad y accesibilidad propuesto, redacción y escritura del manuscrito, revisión del manuscrito, diagramación de figuras.
Encuesta
Identidad:
1. ¿Es posible identificar la institución a la cual pertenece la aplicación?
2. ¿Qué elemento gráfico ayudó a descifrar esto?
3. ¿Cuáles son los colores que identifican a la aplicación móvil?
4. ¿Cree usted que hay algún elemento en la pantalla que no debería ir?
Contenido:
1. ¿Se distingue con facilidad cual es el objetivo de la aplicación?
2. ¿Los textos que ofrece la aplicación, son suficientemente explícitos y fáciles de entender?
3. ¿Le parece adecuada la selección de contenidos destacados en la portada o usted echó de menos otras áreas de información que le habría gustado ver destacadas?
4. ¿La información, se ofreció de manera simple y entendible?
Navegación:
1. ¿Se distingue fácilmente la forma de navegar entre páginas?
2. ¿Le parece clara la forma de devolverse entre páginas?
3. ¿Es fácil llevar a cabo las tareas propuestas?
4. ¿Se siente perdido dentro de la aplicación?, ¿La información ofrecida en la pantalla le es de ayuda para saber dónde está ubicado dentro del software?
Interfaz:
1. En la pantalla de información, ¿La calidad del vídeo presentado es buena?
2. ¿considera que gráficamente hay muchos elementos que no deberían de estar?
3. ¿Es fácil localizar los elementos con los cuales debes interactuar?
4. En las pantallas de multimedia, ¿cree que la carga del vídeo, se demoran más de lo esperado?
Información Ayuda:
1. ¿Encuentra una forma de ponerse en contacto con los desarrolladores?
2. Los datos ingresados en formularios, ¿Le informa cuando hay errores en la información digitada?
3. ¿En caso de error en el sistema, este le proporciona una ayuda para seguir navegando por la aplicación?
4. ¿Hay ayudas que orienten el funcionamiento de página?
Utilidad:
1. ¿Cuál es el objetivo principal de la aplicación?
¿Esta aplicación es de utilidad para caso personal?