Plataforma de Anotação ArgMine
1. Introdução
ArgMine é uma plataforma de anotação desenvolvida no LIACC (Laboratório de Inteligência Artificial e Ciência de Computadores da Universidade do Porto). Trata-se de uma ferramenta que permite realizar projetos de anotação de argumentos em linguagem natural, projetos esses nos quais se agregam documentos de texto de cariz argumentativo a serem anotados por diversos participantes. As anotações tomam a forma de diagramas de argumentos. Neste documento serão descritas as funcionalidades da plataforma, sendo também elaborada uma lista de respostas a questões que podem surgir na utilização da plataforma.
2. Principais Conceitos
O desenho da plataforma ArgMine incide sobre um conjunto de conceitos principais: utilizador, perfil, projeto, documento, coleção e anotação.
Utilizador
Um utilizador é alguém registado na plataforma, podendo entrar na mesma com o seu login (email) e palavra-passe.
Perfil
Existem dois tipos de utilizadores na plataforma, correspondentes a dois perfis distintos:
Gestor: um gestor pode criar e gerir projetos de anotação dentro da plataforma, incluindo adicionar documentos e participantes a um projeto. Um gestor não editor pode apenas visualizar todo o conteúdo do projeto (incluindo as anotações feitas pelos participantes), sem no entanto ter permissão de o alterar.
Participante: um participante está associado a um ou mais projetos de anotação, podendo participar nos mesmos através da introdução de anotações; nalguns casos pode também adicionar documentos a um projeto.
Projeto
Os utilizadores gestores podem criar projetos de anotação. Um projeto de anotação tem um conjunto de documentos que serão alvo de anotação por parte dos participantes associados ao projeto. Cabe ao gestor configurar o projeto:
Popular o projeto com um conjunto de documentos.
Associar ao projeto os participantes que estarão envolvidos em tarefas de anotação.
Adicionar gestores ao projeto, que podem ter ou não permissões de edição.
Cada projeto pode conter várias etapas de anotação, a especificar pelo seu gestor. É na etapa atual que os participantes poderão introduzir anotações. Cabe ao gestor estipular quando se passa de uma etapa para outra. O gestor pode igualmente ativar ou desativar um projeto. Só é possível introduzir anotações em documentos do projeto se este estiver ativo. Cada projeto pode admitir a introdução de documentos pelos participantes. Cabe ao gestor definir se o projeto em causa deve permitir esta possibilidade.
Documento
Um documento é o objeto alvo de um projeto de anotação. Para além de ter um título e conteúdo, a um documento pode ser associada uma anotação de referência, que poderá ser utilizada para efeitos de avaliação de anotações introduzidas pelos participantes no projeto.
Coleção
Uma coleção é um conjunto de documentos. A existência de coleções permite associar documentos a projetos de forma mais expedita. As coleções existem de forma independente em relação aos projetos onde podem ser utilizadas.
Anotação
A anotação de documentos é a tarefa primordial da plataforma. Existem dois tipos de anotação:
Anotação de referência: representa a anotação considerada correta para um documento associado a um projeto. Pode ser criada ou alterada em qualquer altura pelo gestor do projeto, sendo utilizada para fornecer feedback ou dar classificações às anotações de participante introduzidas, de acordo com diferentes métricas. Pode também ser gerada automaticamente a partir das anotações de participante existentes, recorrendo a técnicas de acordo inter-anotador (IAA).
Anotação de participante: corresponde a uma anotação feita por um participante num documento e numa das etapas de anotação do projeto. Este tipo de anotação só pode ser criada ou alterada num projeto ativo e na etapa de anotação actual.
3. Entrar na Plataforma ArgMine
Para entrar na plataforma o utilizador deve clicar em “Plataforma ArgMine” na barra superior, devendo de seguida inserir as suas credenciais (email e palavra-passe) e premir o botão “Gestor” ou “Participante”, consoante o perfil escolhido.
Nota: Para ter acesso à plataforma, o utilizador deverá previamente ter sido adicionado pelo administrador do sistema ou por um gestor, num processo descrito mais detalhadamente na Secção 7.
4. Perfil de Gestor
Estando autenticado na plataforma com o perfil de gestor, na secção “Os Meus Projetos” encontra-se a listagem dos projetos a que o utilizador está associado enquanto gestor. Para cada projeto, é exibido o nome e a data de criação, bem como um conjunto de informações de acesso rápido que permitem verificar se o projeto se encontra ativo, se é permitido aos participantes adicionar documentos (funcionalidade descrita na Secção 4.2.1), o número de etapas de anotação e o número da etapa atual. Finalmente, é disponibilizada a opção de eliminar o projeto (apenas se for um gestor editor, conceito descrito na Secção 4.2.3). Ainda nesta interface é visível, aos gestores editores, uma ligação situada do lado direito do nome do projeto, que permite aceder a uma página de configuração do projeto (funcionalidade descrita na secção 4.1).
4.1 Criar e Configurar um Projeto
A opção “Novo Projeto”, visível no final da listagem de projetos, permite criar um novo projeto. No ecrã correspondente, o gestor dá um nome ao projeto e escreve uma breve descrição do mesmo (até 1500 caracteres).
Na lista de projetos é possível configurar algumas opções de acesso rápido, de forma intuitiva:
Ativo: apenas num projeto ativo é possível aos participantes introduzirem anotações.
Documentos de Participantes: indica se os participantes no projeto podem adicionar os seus próprios documentos, ou se tal funcionalidade está reservada aos gestores.
Nr. Etapas: o número de etapas de anotação em que o projeto é composto.
Etapa Atual: a etapa em que o projeto se encontra atualmente, e na qual podem ser inseridas anotações.
A maior parte das opções de configurações do projeto estão disponíveis, contudo, no seu ecrã de configuração, acessível através da ligação situada do lado direito do nome do projeto. Para além de ser possível editar o nome e descrição do projeto, existem outras opções relacionadas com anotação e avaliação:
Anotação: as opções disponíveis permitem indicar:
se é possível, nas anotações, editar o texto dos nós (por exemplo para adicionar texto não presente no documento);
se pode haver sobreposição textual entre nós ou se, pelo contrário, a utilização de uma mesma porção de texto em dois nós diferentes deve ser prevenida;
se os participantes podem ver as suas anotações feitas em todas as fases (e não apenas na atual);
se os participantes podem ver as anotações de referência;
se os nós das anotações podem ser classificados quanto ao seu tipo (de um conjunto de tipos predefinidos para o projeto).
Avaliação: as opções disponíveis permitem indicar:
qual a métrica a utilizar para efeitos de avaliação automática de anotações (em face de uma anotação de referência);
se os participantes podem ver as avaliações automáticas e/ou as classificações manuais.
4.2 Gerir um Projeto
Na lista de projetos, ao clicar no nome de um projeto, o gestor é remetido para a sua página onde, para além de dados genéricos (título, descrição, data de criação, etc), são visíveis três separadores:
Documentos: contém a lista de documentos associados ao projeto
Participantes: contém a lista de utilizadores participantes associados ao projeto
Gestores: contém a lista de utilizadores gestores associados ao projeto
4.2.1 Documentos de um Projeto
No separador “Documentos” são visíveis os documentos associados ao projeto. Os documentos podem ser listados de forma paginada, sendo também possível filtrar os documentos visíveis.
Para cada documento é visível o seu título, coleção e utilizador que adicionou o documento ao projeto. O conteúdo de um documento pode ser visualizado/editado clicando no ícone que se encontra junto ao seu título. Nota: só são editáveis os documentos que ainda não tenham qualquer anotação na plataforma.
A coluna “Anotação referência” permite inserir/editar/visualizar a anotação de referência, clicando no ícone visível. As colunas seguintes mostram o número total de anotações e as anotações por etapa. Clicando no número total de anotações o gestor acede à lista de anotações feitas sobre o documento em causa. Finalmente, a última coluna permite remover o documento do projeto ou duplicá-lo (onde se inclui a sua anotação de referência, se existir) No caso da opção “Duplicar”, surgirá uma interface que permite dar um título ao duplicado do documento.
4.2.1.1 Adicionar Documentos ao Projeto
É possível a um gestor do projeto com plenas permissões (bem como a participantes, se assim lhes for permitido) adicionar documentos, utilizando a opção “Adicionar Documentos”, visível no final da listagem de documentos. A adição de documentos ao projeto pode ser feita de uma de três formas, visíveis nos três separadores que aparecem na nova página:
Novo Documento: permite adicionar um documento especificando o seu título e conteúdo. O gestor pode ainda adicionar o documento a uma coleção da sua autoria, ou mesmo criar uma nova coleção com esse documento.
Documentos de Coleção: permite selecionar documentos a partir de uma coleção já existente.
Documentos de Ficheiro: permite adicionar documentos a partir de um ficheiro CSV.
Este ficheiro deverá estar organizado em duas “colunas” separadas por ‘;’: a primeira é o título do documento e a segunda é o seu conteúdo. Cada linha no ficheiro corresponde a um documento diferente. O documento CSV é obtido através de uma folha Excel do seguinte modo: Ir a ficheiro > Guardar como > CSV (Separado por vírgula) (*.csv).
Os documentos podem ser adicionados a uma coleção da autoria do gestor, ou podem formar uma nova coleção.
Caso seja escolhida a opção de criar uma nova coleção, surgirá uma caixa de texto no lugar do menu “Selecione a coleção”, que permitirá ao gestor inserir o nome da nova coleção, da qual os documentos carregados farão parte.
4.2.1.2 Anotações de um Documento
Ao clicar no número total de anotações de um documento, o gestor acede à lista de anotações feitas sobre o documento, onde se inclui informação sobre os participantes (anotadores) e anotações feitas em cada etapa do projeto. O gestor pode visualizar as anotações existentes, ver a avaliação automática dada pela métrica associada ao projeto (se existir) e preencher classificações manuais (bem como gravá-las, clicando em “gravar nota” no botão verde situado à direita das classificações) para as anotações feitas em etapas que não a etapa atual.
4.2.2 Participantes num Projeto
No separador “Participantes” são visíveis os participantes associados ao projeto. Os participantes podem ser listados de forma paginada, sendo também possível filtrar os participantes visíveis.
Para cada participante é visível o seu nome, endereço de email, total de anotações e anotações em cada etapa.
4.2.2.1 Adicionar Participantes ao Projeto
É possível a um gestor do projeto com plenas permissões adicionar participantes, utilizando a opção “Adicionar Participantes”, visível no final da listagem de participantes. A adição de participantes ao projeto pode ser feita de uma de duas formas, visíveis nos dois separadores que aparecem na nova página:
Novo Participante: permite adicionar um participante especificando o seu nome e endereço de email.
Participantes de Ficheiro: permite adicionar participantes a partir de um ficheiro CSV. Este ficheiro deverá estar organizado em (pelo menos) duas “colunas” separadas por ‘;’: a primeira é o nome do participante e a segunda é o seu endereço de email. Cada linha no ficheiro corresponde a um participante diferente.
4.2.2.2 Anotações de um Participante
Ao clicar no número total de anotações feitas por um participante, o gestor acede à lista de anotações da autoria do mesmo, onde se inclui informação sobre os documentos e anotações feitas em cada etapa do projeto. O gestor pode visualizar as anotações existentes, ver a avaliação automática dada pela métrica associada ao projeto (se existir) e preencher classificações manuais (e gravá-las, clicando no botão verde situado à direita das classificações) para as anotações feitas em etapas que não a etapa atual.
4.2.3 Gestores de um Projeto
No separador “Gestores” são visíveis os gestores associados ao projeto. Os gestores podem ser listados de forma paginada, sendo também possível filtrar os documentos visíveis.
Para cada gestor é visível o seu nome, endereço de email e tipo: se pode ou não editar. É também possível a um gestor remover outros gestores de um projeto em “Opções”. Um gestor editor do projeto pode gerí-lo, incluindo adicionar documentos, participantes e gestores, criar anotações de referência e classificar anotações dos participantes. Um gestor não editor pode apenas visualizar todo o conteúdo do projeto, sem no entanto ter permissão de o alterar.
É possível a um gestor do projeto com plenas permissões adicionar outros gestores, utilizando a opção “Adicionar Gestor”, visível no final da listagem de gestores. A adição de um gestor ao projeto consiste em fornecer o seu nome e endereço de email.
5. Perfil de Participante
Estando autenticado na plataforma com o perfil de participante, na secção “Os Meus Projetos” encontra-se a listagem dos projetos a que o utilizador está associado enquanto participante. Para cada projeto, é exibido o nome, o número de etapas, e a etapa atual.
Na lista de projetos, ao clicar no nome de um projeto, o participante é remetido para a página do projeto onde, para além de dados genéricos (título e descrição), é visível uma listagem de documentos nos quais o participante poderá realizar anotações.
Para cada documento é visível o seu nome, coleção a que pertence, por quem foi adicionado ao projeto e uma coluna por cada etapa do projeto. Para cada etapa de um documento o participante pode inserir/ver/editar a sua anotação, bem como ver a avaliação automática e a classificação manual (em ambos os casos dependendo da configuração do projeto e da etapa atual).
Caso o projeto permita, o participante pode também adicionar documentos, a partir da ligação “Adicionar Documentos”, visível no final da lista de documentos. Este processo é em tudo idêntico ao do gestor (descrito na Secção 4.2.1.1).
6. Utilizar o Anotador
Tanto as anotações de referência como as anotações de participantes são elaboradas recorrendo ao Anotador ArgMine. O anotador tem uma interface dividida em duas áreas principais: do lado esquerdo é apresentado o texto do documento a anotar; o lado direito corresponde à área onde é construído o diagrama de argumentação (a anotação propriamente dita). No lado direito da barra superior é visível um conjunto de botões que depende do modo em que o anotador foi aberto: visualização ou inserção/edição.
As instruções de utilização do anotador estão acessíveis a partir do botão de ajuda na barra superior.
7. Contas de Utilizadores
Os utilizadores da plataforma ArgMine têm que ser previamente registados na mesma. Se pretender criar um projeto de anotação, contacte os administradores da plataforma a partir de https://web.fe.up.pt/~argmine/contacts.html
Uma vez criado um projeto de anotação, ao gestor é permitido adicionar ao mesmo novos utilizadores (eventualmente não registados ainda na plataforma), quer como gestores quer como participantes (tal como descrito na Secção 4.2.2.1 e na Secção 4.2.3). Os mesmos serão automaticamente registados na plataforma, recebendo via email as suas credenciais de acesso.
Um utilizador da plataforma possui nome, endereço de email e palavra-passe. Clicando na opção “Conta” do menu acedemos a uma página de configuração da conta do utilizador, onde o mesmo pode alterar a sua palavra-passe.
FAQ’s
1. Como posso anotar documentos?
A anotação é permitida apenas a participantes de um projeto. Aliás, caso um utilizador não seja nem gestor nem participante não poderá sequer visualizar o projeto. O projeto terá também que estar ativo para que seja possível anotar. Caso estas duas situações se verifiquem será possível a anotação. Gestores, e apenas se possuírem direitos de edição no projeto, poderão fazer apenas anotações de referência. O processo de anotação inicia-se recorrendo a “Inserir anotação” ( ), no separador “Etapa…” da subsecção “Documentos” em “Os Meus Projetos”.
2. Como posso ser participante de um projeto no ArgMine?
Cabe ao gestor adicionar participantes (ou outros gestores). Para tal, deve ser do seu conhecimento o nome e email do utilizador que pretender usar na plataforma. Uma vez adicionado, o utilizador receberá um email com as suas credenciais para a plataforma.
3. Posso alterar a minha palavra-passe?
Sim. A palavra-passe é aliás o único elemento da conta de um utilizador passível de ser alterado. Para tal, deve ir a “Conta”, inserir a palavra-passe atual em “Password atual” e a pretendida em “Nova password” e colocar a mesma palavra-passe em “Confirmar nova password”.
4. Posso editar texto nos nós de um gráfico?
Dependerá das permissões dadas por um gestor. Este poderá decidir, recorrendo às configurações do projeto, se é possível ou não a um participante (ou ao próprio gestor) a edição de nós. Caso seja, a edição poderá ser feita conforme explícito nas ajudas do anotador e da secção “processo de anotação” do presente manual.
5. Posso adicionar documentos a um projeto?
Opção que passará pelo gestor, e também pelas configurações do projeto. Nelas o gestor pode delimitar se a adição de documentos possa ser uma opção acessível também a participantes ou não.
6. Posso editar uma anotação feita numa outra etapa que não a atual?
Não. Uma vez terminada uma etapa, apenas será possível ao participante visualizar as anotações feitas nessa etapa. Tal situação, contudo, pode-se reverter se o gestor do projeto regressar a essa etapa.