| Popis: |
In Formal Languages and Automata Theory (FLAT), interactive tools are particularly important, as mathematical concepts have an algorithmic display that benefits significantly from executable presentations. The learning of concepts and techniques crucially requires the understanding and visualization of the algorithms. Given these concerns, the OFLAT application was developed. To be valid, it is necessary to offer a rich set of features, be intuitive and easy to use, and to support the student’s learning process. This research aims to understand and summarise the existing similar tools and how this type of assessment was made to those tools, compare the OFLAT platform with similar existing ones, apply similar and other methods to make the assessment and present improvement suggestions for this application. Firstly, a systematic mapping study is made to gather information about similar existing tools and their assessments. Then, the assessment to OFLAT is made throughout empirical studies (a controlled experiment and surveys to users) to systematically evaluate the platform, using techniques and methodologies of Software Engineering, in terms of its usability and, in general, its quality. It is also assessed compared to a tool that offers similar features, JFLAP. The assessment results in a qualitative and quantitative evaluation with the participation of a significant number of users with different profiles. These results show that OFLAT, compared to JFLAP, requires less time from the user to complete actions (is more efficient). However, it does not promote the level of correctness of those same actions (lack of effectiveness). In terms of usability and workload demand, OFLAT is very similar to JFLAP. As a result of this study, guidelines for improving OFLAT are obtained. The whole systematic process and tools to support the metrics collection will serve as a baseline for the studies in future iterations to converge to a better usable tool better than the competing solutions. Na área de Linguagens Formais e Teoria dos Autómatos (FLAT, em inglês), ferramentas interactivas são particularmente importantes, pois os conceitos matemáticos têm uma exposição algorítmica que beneficia significativamente com apresentações executáveis. A aprendizagem dos conceitos e técnicas necessitam crucialmente da compreensão e visualização dos algoritmos. Face a estas preocupações, foi desenvolvida a aplicação OFLAT. Para ser útil, é necessário não só que ofereça um conjunto rico de funcionalidades mas também que seja intuitiva e fácil de usar e acompanhe o processo de aprendizagem dos alunos em FLAT. Este estudo tem como objetivo permitir entender e resumir as funcionalidades das ferramentas semelhantes existentes, resumir os tipos e formas de executar a avaliação dessas ferramentas, comparar a plataforma OFLAT com outras similares, aplicar métodos similares (e/ou outros) para fazer a avaliação e apresentar sugestões de melhorias para esta ferramenta. Primeiramente, foi feito um estudo e mapeamento sistemático para reunir informações sobre ferramentas semelhantes existentes e os seus métodos de avaliação. Em seguida, a avaliação ao OFLAT é feita através de estudos empíricos (experiência controlada e inquéritos aos utilizadores) para avaliar sistematicamente a plataforma, utilizando técnicas e metodologias de Engenharia de Software, ao nível da sua usabilidade e, em geral, da sua qualidade. Também é avaliado em comparação com a ferramenta que melhor oferece recursos semelhantes, o JFLAP. O estudo resulta numa avaliação qualitativa e quantitativa, com a participação de um número significativo de utilizadores com diferentes perfis. Esses resultados mostram que o OFLAT, comparado ao JFLAP, requer menos tempo para concluir ações (é mais eficiente). No entanto, não promove o nível de correção dessas mesmas ações (é menos eficaz). Em termos de usabilidade e esforço, o OFLAT é muito semelhante ao JFLAP. Como resultado, são obtidas propostas para melhorar o OFLAT. Todo o processo sistemático e as ferramentas de apoio à recolha de métricas servirão de base para que os estudos em iterações futuras converjam para uma ferramenta melhor do que as soluções concorrentes. |
