- check all questions before aborting.

Miguel Barão
1 parent a08905e3
Showing 3 changed files with 28 additions and 10 deletions Show diff stats
BUGS.md
demo/questions/questions-tutorial.yaml
test.py
 # BUGS
-- abortar depois de testar todas as perguntas, caso haja algum erro.
-- choose: n em perguntas checkbox
 - se aluno tem teste activo e é allowed uma segunda vez, deve manter o mesmo teste. adicionar opcao para eliminar um teste em curso.
 - melhorar o botao de autorizar (desliga-se), usar antes um botao?
 e.g. retornar None quando nao ha alteracoes relativamente à última vez.
@@ -11,7 +9,6 @@ ou usar push (websockets?)
 - pymips: nao pode executar syscalls do spim.
 - perguntas checkbox [right,wrong] com pelo menos uma opção correcta.
 - questions.py textarea has a abspath which does not make sense! why is it there? not working for perguntations, but seems to work for aprendizations
-- initdb está a inicializar com passwords iguais aos numeros. deveria ser vazio para alunos definirem.
 - servir imagens das perguntas não funciona. Necessario passar a ref da pergunta no link para poder ajustar o path no FileHandler. Tem o problema do teste em JSON não conter a imagem.
 - o eventloop está a bloquear. correção do teste é blocking. usar threadpoolexecutor?
 - submissao faz um post ajax.
@@ -22,9 +19,7 @@ ou usar push (websockets?)
 - gerar teste qd o prof autoriza.
 - enviar resposta de cada pergunta individualmente.
-
 - experimentar gerador de svg que inclua no markdown da pergunta e ver se funciona. 
-- imagens jpg/png nas perguntas.
 - suportar cotacao to teste diferente de 20 (e.g. para juntar perguntas em papel). opcao "points: 18" que normaliza total para 18 em vez de 20.
 - quando ha varias perguntas para escolher, escolher sucessivamente em vez de aleatoriamente.
 - como refrescar a tabela de admin sem fazer reload da pagina?
@@ -33,7 +28,7 @@ ou usar push (websockets?)
 - test: Cada pergunta respondida é logo submetida.
 - test: calculadora javascript.
 - admin: histograma das notas.
-- admin: gerar os testes no momento em que são autorizados, e não no login.
+- admin: gerar os testes no momento em que são autorizados, e não no login. <- se prof autoriza aluno que já esta a realizar teste pode fazer reset e destruir teste???
 - admin: mostrar as horas a que o teste terminou para os testes terminados.
 - admin: histograma das notas.
 - admin: mostrar teste gerado para aluno (tipo review).
@@ -51,7 +46,6 @@ ou usar push (websockets?)
   usar isto para gerar svg que passa a fazer parte do texto da pergunta (markdown suporta tags svg?)
   fazer funçao tex() que recebe formula e converte para svg. exemplo:
   fr'''A formula é {tex("\sqrt{x]}")}'''
-
 - Gerar pdf's com todos os testes no final (pdfkit).
 - manter registo dos unfocus durante o teste e de qual a pergunta visivel nesse momento
 - permitir varios testes, aluno escolhe qual o teste que quer fazer.
@@ -68,6 +62,9 @@ ou usar push (websockets?)
 # FIXED
+- abortar depois de testar todas as perguntas, caso haja algum erro.
+- imagens jpg/png nas perguntas.
+- initdb está a inicializar com passwords iguais aos numeros. deveria ser vazio para alunos definirem.
 - upgrade popper e fazer link.
 - mover scripts js para head, com defer. ver todos os templates.
 - update fontawesome to 5.
@@ -59,6 +59,7 @@
     O mesmo teste pode ser realizado várias vezes em vários turnos, não é necessário alterar nada.
+# ----------------------------------------------------------------------------
 - type: information
   ref: tut-questions
   title: Especificação das perguntas
@@ -138,6 +139,8 @@
   correct: [1, 1, 0, 0, 0]
   choose: 3
   shuffle: True
+
+
 # ----------------------------------------------------------------------------
 - type: checkbox
   ref: tut-checkbox
@@ -185,7 +188,10 @@
       - Opção 2 (não)
       - Opção 3 (sim)
   correct: [1, -1, -1, 1]
+  choose: 3
   shuffle: True
+
+
 # ----------------------------------------------------------------------------
 - type: text
   ref: tut-text  
@@ -204,6 +210,8 @@
     Neste exemplo a resposta correcta é `azul`, `Azul` ou `AZUL`.
   correct: ['azul', 'Azul', 'AZUL']
+
+
 # ---------------------------------------------------------------------------
 - type: text-regex
   ref: tut-text-regex
@@ -222,6 +230,8 @@
     Neste exemplo a expressão regular é `(VERDE|[Vv]erde)`.
   correct: !regex '(VERDE|[Vv]erde)'
+
+
 # ---------------------------------------------------------------------------
 - type: numeric-interval
   ref: tut-numeric-interval  
@@ -241,6 +251,8 @@
     Neste exemplo o intervalo de respostas correctas é [3.14, 3.15].
   correct: [3.14, 3.15]
+
+
 # ---------------------------------------------------------------------------
 - type: textarea
   ref: tut-textarea  
@@ -278,6 +290,7 @@
   lines: 3
   timeout: 5
+
 # ---------------------------------------------------------------------------
 - type: information
   ref: tut-information
@@ -307,7 +320,6 @@
     $$
-
 # ---------------------------------------------------------------------------
 - type: success
   ref: tut-success
@@ -375,6 +387,7 @@
     A linha de separação entre o cabeçalho e o corpo da tabela indica o alinhamento da coluna com os sinais de dois-pontos.
+
 # ----------------------------------------------------------------------------
 - type: alert
   ref: tut-alert  
@@ -389,4 +402,5 @@
     - Imagens inline: não têm título definido e podem ser incluídas no meio de uma linha de texto usando`![alt text](image.jpg)`.
     - Imagens centradas e com título: `![alt text](image.jpg "Título da imagem")`. O título aprece por baixo da imagem. O título pode ser uma string vazia.
+
 # ----------------------------------------------------------------------------
@@ -42,14 +42,21 @@ class TestFactory(dict):
             self.question_factory.load_files(files=self['files'], questions_dir=self['questions_dir'])
             # check if all questions exist ('ref' keys are correct?)
+            errors_found = False
             for q in self['questions']:
                 for r in q['ref']:
                     logger.info(f'Checking question "{r}".')
                     try:
                         self.question_factory.generate(r)
-                    except questions.QuestionFactoryException:
+                    # except questions.QuestionFactoryException:
+                    #     logger.critical(f'Can\'t generate question "{r}".')
+                    except:
                         logger.critical(f'Can\'t generate question "{r}".')
-                        raise TestFactoryException()
+                        errors_found = True
+
+            if errors_found:
+                logger.critical('Errors found while generating questions.')
+                raise TestFactoryException()
             logger.info(f'Test factory ready for "{self["ref"]}".')