- fixed most mypy and pyright errors

- questions.py cleanup. Replaced __init__() by gen() method - setup.py now correctly specifies compatible sqlalchemy version

- fixed most mypy and pyright errors
- questions.py cleanup. Replaced __init__() by gen() method - setup.py now correctly specifies compatible sqlalchemy version
Miguel Barão
1 parent 8cc73e47
Showing 11 changed files with 248 additions and 196 deletions Show diff stats
BUGS.md
aprendizations/initdb.py
aprendizations/learnapp.py
aprendizations/main.py
aprendizations/questions.py
aprendizations/serve.py
aprendizations/student.py
aprendizations/templates/rankings.html
aprendizations/tools.py
package-lock.json
setup.py
@@ -3,14 +3,19 @@
 - internal server error ao fazer logout no macos python3.8
 - GET can get filtered by browser cache
-- topicos chapter devem ser automaticamente completos assim que as dependencias são satisfeitas. Nao devia ser necessario (ou possivel?) clicar neles.
-- topicos do tipo learn deviam por defeito nao ser randomizados e assumir ficheiros `learn.yaml`.
-- internal server error 500... experimentar cenario: aluno tem login efectuado, prof muda pw  e faz login/logout. aluno obtem erro 500.
+- topicos chapter devem ser automaticamente completos assim que as dependencias
+  são satisfeitas. Nao devia ser necessario (ou possivel?) clicar neles.
+- topicos do tipo learn deviam por defeito nao ser randomizados e assumir
+  ficheiros `learn.yaml`.
+- internal server error 500... experimentar cenario: aluno tem login efectuado,
+  prof muda pw  e faz login/logout. aluno obtem erro 500.
 - radio sem options rebenta com aprendizations --check
-- chapters deviam ser mostrados unlocked, antes de mostrar a medalha. alunos pensam que já terminaram e não conseguem progredir por causa das dependencias.
+- chapters deviam ser mostrados unlocked, antes de mostrar a medalha. alunos
+  pensam que já terminaram e não conseguem progredir por causa das
+  dependencias.
 - if topic deps on invalid ref terminates server with "Unknown error".
 - warning nos topics que não são usados em nenhum curso
-- nao esta a seguir o max_tries definido no ficheiro de dependencias.
+- nao esta a seguir o `max_tries` definido no ficheiro de dependencias.
 - devia mostrar timeout para o aluno saber a razao.
 - permitir configuracao para escolher entre static files locais ou remotos
 - shift-enter não está a funcionar
@@ -19,67 +24,92 @@
 # TODO
 - shuffle das perguntas dentro de um topico
-- alterar tabelas para incluir email de recuperacao de password (e outros avisos)
-- registar last_seen e remover os antigos de cada vez que houver um login.
+- alterar tabelas para incluir email de recuperacao de password (e outros
+  avisos)
+- registar `last_seen` e remover os antigos de cada vez que houver um login.
 - indicar qtos topicos faltam (>=50%) para terminar o curso.
 - ao fim de 3 tentativas com password errada, envia email com nova password.
-- mostrar capitulos e subtopicos de forma hierarquica. clicar no capitulo expande as dependencias.
-- mostrar rankings alunos/perguntas respondidas/% correctas/valor esperado topicos.
+- mostrar capitulos e subtopicos de forma hierarquica. clicar no capitulo
+  expande as dependencias.
+- mostrar rankings alunos/perguntas respondidas/% correctas/valor esperado
+  topicos.
 - botão não sei...
 - mostrar icon "loading..." enquanto está a corrigir uma pergunta.
 - session management. close after inactive time.
 - radio e checkboxes, aceitar numeros como seleccao das opcoes.
-- reload das perguntas enquanto online. ver signal em http://stackabuse.com/python-async-await-tutorial/
+- reload das perguntas enquanto online. ver signal em
+  [](http://stackabuse.com/python-async-await-tutorial/)
 - tabela de progresso de todos os alunos por topico.
 - tabela com perguntas / quantidade de respostas certas/erradas.
 - tabela com topicos / quantidade de estrelas.
 - pymips: activar/desactivar instruções
 - titulos das perguntas não suportam markdown.
-- pagina report que permita ver tabela alunos/topicos, estatisticas perguntas mais falhadas, tempo médio por pergunta.
+- pagina report que permita ver tabela alunos/topicos, estatisticas perguntas
+  mais falhadas, tempo médio por pergunta.
 - normalizar com perguntations.
 # FIXED
-- templates question-*.html tem input hidden question_ref que não é usado. remover?
+- templates question-*.html tem input hidden question_ref que não é usado.
+  remover?
 - goals se forem do tipo chapter deve importar todas as dependencias do chapter.
-- initdb da integrity error se no mesmo comando existirem alunos repetidos (p.ex em ficheiros csv diferentes ou entre csv e opcao -a)
-- dependencias que não são goals de um curso, só devem aparecer se ainda não tiverem sido feitas.
+- initdb da integrity error se no mesmo comando existirem alunos repetidos
+  (p.ex em ficheiros csv diferentes ou entre csv e opcao -a)
+- dependencias que não são goals de um curso, só devem aparecer se ainda não
+  tiverem sido feitas.
 - ir para inicio da pagina quando le nova pergunta.
 - CRITICAL nao esta a guardar o progresso na base de dados.
 - mesma ref no mesmo ficheiro não é detectado.
 - enter nas respostas mostra json
-- apos clicar no botao responder, inactivar o input (importante quando o tempo de correcção é grande)
+- apos clicar no botao responder, inactivar o input (importante quando o tempo
+  de correcção é grande)
 - double click submits twice.
-- checkbox devia ter correct no intervalo [0,1] tal como radio. em caso de desconto a correccção faz 2*x-1. isto permite a mesma semantica nos dois tipos de perguntas.
+- checkbox devia ter correct no intervalo [0,1] tal como radio. em caso de
+  desconto a correccção faz 2*x-1. isto permite a mesma semantica nos dois
+  tipos de perguntas.
 - marking all options right in a radio question breaks!
 - implementar servidor http com redirect para https.
 - tabelas nas perguntas radio/checkbox não ocupam todo o espaço como em question.
 - click numa opcao checkbox fora da checkbox+label não está a funcionar.
-- mathjax, formulas $$f(x)$$ nas opções de escolha multipla, não ficam centradas em toda a coluna mas apenas na largura do parágrafo.
-- QFactory.generate() devia fazer run da gen_async, ou remover.
+- mathjax, formulas $$f(x)$$ nas opções de escolha multipla, não ficam
+  centradas em toda a coluna mas apenas na largura do parágrafo.
+- QFactory.generate() devia fazer run da `gen_async,` ou remover.
 - classificacoes so devia mostrar os que ja fizeram alguma coisa
 - impedir que quando students.db não é encontrado, crie um ficheiro vazio.
-- permite definir goal, mas nao verifica se esta no grafo. rebenta no start_topic.
-- se num topico, a ultima pergunta tem imagens, o servidor nao fornece as imagengs porque o current_topic passa a None antes de carregar no botao continuar. O caminho é prefix+None e dá erro.
+- permite definir goal, mas nao verifica se esta no grafo. rebenta no
+  `start_topic`.
+- se num topico, a ultima pergunta tem imagens, o servidor nao fornece as
+  imagengs porque o `current_topic` passa a None antes de carregar no botao
+  continuar. O caminho é prefix+None e dá erro.
 - caixas com os cursos não se ajustam bem com ecran estreito.
-- obter rankings por curso GET course=course_id
-- no curso de linear algebra, as perguntas estao shuffled, mas nao deviam estar... nao esta a obedecer a keyword shuffle.
+- obter rankings por curso `GET course=course_id`
+- no curso de linear algebra, as perguntas estao shuffled, mas nao deviam
+  estar... nao esta a obedecer a keyword shuffle.
 - menu nao mostra as opcoes correctamente
 - finish topic vai para a lista de cursos. devia ficar no mesmo curso.
 - mathjax nao esta a correr sobre o titulo.
 - forgetting factor is hardcoded in student.py
 - add aprendizatons --version
-- se aluno abre dois tabs no browser, conseque navegar em simultaneo para perguntas diferentes. quando submete uma delas dá asneira. Tem de haver um campo hidden que tenha um céodigo único que indique qual a pergunta. do lado do servidor apnas há o codigo da pergunta corrente, se forem diferentes faz redirect para /.
+- se aluno abre dois tabs no browser, conseque navegar em simultaneo para
+  perguntas diferentes. quando submete uma delas dá asneira. Tem de haver um
+  campo hidden que tenha um céodigo único que indique qual a pergunta. do lado
+  do servidor apnas há o codigo da pergunta corrente, se forem diferentes faz
+  redirect para /.
 - nos topicos learn.yaml, qd falha acrescenta no fim. nao faz sentido.
-- não esta a fazer render correcto de tabelas nas opcoes checkbox. e.g. information-theory/source-coding-theory/block-codes
+- não esta a fazer render correcto de tabelas nas opcoes checkbox. e.g.
+  `information-theory/source-coding-theory/block-codes`
 - max tries nas perguntas.
 - mostrar feedback/solucoes quando acerta, ou excede max tries.
-- quando se pressiona "responde" rapido (enquanto a animacao dura), a pergunta passa para a seguinte sem haver o correspondente redraw, ou seja a proxima resposta nao é a da pergunta mostrada.
+- quando se pressiona "responde" rapido (enquanto a animacao dura), a pergunta
+  passa para a seguinte sem haver o correspondente redraw, ou seja a proxima
+  resposta nao é a da pergunta mostrada.
 - botao para mostrar a solução quando se acerta.
 - não está a guardar o resultado no final do topico
-- esta a permitir 2 logins em simultaneo do mesmo user. fica tudo baralhado se mxerem em simultaneo...
+- esta a permitir 2 logins em simultaneo do mesmo user. fica tudo baralhado se
+  mxerem em simultaneo...
 - errar no ultimo topico nao mostra solucao?
-- quando a pergunta devolve comments, este é apresentado, mas fica persistente nas tentativas seguintes. devia ser limpo apos a segunda submissao.
+- quando a pergunta devolve comments, este é apresentado, mas fica persistente
+  nas tentativas seguintes. devia ser limpo apos a segunda submissao.
 - na definicao dos topicos, indicar:
     "file: questions.yaml"   (default questions.yaml)
     "shuffle: True/False"    (default False)
@@ -94,9 +124,11 @@
 - each topic only loads a sample of K questions (max) in random order.
 - change password modal nao aparece no ipad (safari e firefox)
 - detect questions in questions.yaml without ref -> error ou generate default.
-- generators e correct scripts que durem muito tempo bloqueiam o eventloop do tornado.
+- generators e correct scripts que durem muito tempo bloqueiam o eventloop do
+  tornado.
 - servir imagens/ficheiros.
-- radio: suporte para multiplas opcoes correctas e erradas, escolhendo-se uma selecção aleatoria destas (so com 1 certa).
+- radio: suporte para multiplas opcoes correctas e erradas, escolhendo-se uma
+  selecção aleatoria destas (so com 1 certa).
 - checkbox: cada opção pode ser uma dupla (certo, errado) sendo escolhida uma aleatória.
 - async/threadpool no bcrypt do initdb.
 - numero de estrelas depende da proporcao entre certas e erradas.
@@ -107,10 +139,12 @@
 - remover learn.css uma vez que nao é usado em lado nenhum?
 - check if user already logged in
 - mover javascript para ficheiros externos e carregar com script defer src
-- implementar xsrf. Ver [http://www.tornadoweb.org/en/stable/guide/security.html#cross-site-request-forgery-protection]()
-- se refs de um topic estao invalidos, nao carrega esse topico. devia haver um error nos logs a indicar qual o ref invalido.
+- implementar xsrf. Ver [](http://www.tornadoweb.org/en/stable/guide/security.html#cross-site-request-forgery-protection)
+- se refs de um topic estao invalidos, nao carrega esse topico. devia haver um
+  error nos logs a indicar qual o ref invalido.
 - link directo para topico nao valida se topico esta unlocked.
-- templates not working: quesntion-information, question-warning (remove all informative panels??)
+- templates not working: quesntion-information, question-warning (remove all
+  informative panels??)
 - enderecos errados dao internal error.
 - barra de progresso nao está visível.
 - tabs em textarea nao funcionam correctamente (insere 1 espaco em vez de 4)
@@ -120,14 +154,15 @@
 - animação no final de cada topico para se perceber a transição
 - "<" is not escaped in markdown.
 - Está a mostrar a solução em 'comments'!!!
-- database: answers não tem referencia para o topico, so para question_ref
+- database: answers não tem referencia para o topico, so para `question_ref`
 - melhorar markdown das tabelas.
 - gravar evolucao na bd no final de cada topico.
 - submeter questoes radio, da erro se nao escolher nenhuma opção.
 - indentação da primeira linha de código não funciona.
 - markdown com o mistune.
 - change password in maintopics.html, falta menu para lançar modal
-- ver documentacao de migracao para networkx 2.0 https://networkx.github.io/documentation/stable/release/migration_guide_from_1.x_to_2.0.html
+- ver documentacao de migracao para networkx 2.0
+  [](https://networkx.github.io/documentation/stable/release/migration_guide_from_1.x_to_2.0.html)
 - script para adicionar users/reset passwords.
 - os topicos locked devem estar inactivos no sidebar.
 - enter faz GET /question, que responde com json no ecran. (solution: disabled enter)
@@ -136,7 +171,8 @@
 - indicar o topico actual no sidebar
 - reload da página rebenta o estado.
 - text deve mostrar no html os valores iniciais de ans, se existir
-- nao permite perguntas repetidas. iterar questions da configuracao em vez das do ficheiro. ver app.py linha 223.
+- nao permite perguntas repetidas. iterar questions da configuracao em vez das
+  do ficheiro. ver app.py linha 223.
 - level depender do numero de respostas correctas
 - pymips a funcionar
 - logs mostram que está a gerar cada pergunta 2 vezes...??
@@ -148,15 +184,18 @@
 - se students.db não existe, rebenta.
 - não entra à primeira
 - configuração e linha de comando.
-- o browser é redireccionado para /question em vez de fazer um post?? quando se pressiona enter numa caixa text edit.
+- o browser é redireccionado para /question em vez de fazer um post?? quando se
+  pressiona enter numa caixa text edit.
 - load/save the knowledge state of the student
 - servir ficheiros de public temporariamente
 - path dos generators scripts mal construido
 - questions hardcoded in LearnApp.
 - Factory para cada pergunta individual em vez de pool
-- implementar navegacao radio/checkbox. cursor cima/baixo, espaco selecciona, enter submete.
+- implementar navegacao radio/checkbox. cursor cima/baixo, espaco selecciona,
+  enter submete.
 - logging
-- textarea tem codigo para preencher o texto, mas ja não é necessário porque pergunta não é reloaded.
+- textarea tem codigo para preencher o texto, mas ja não é necessário porque
+  pergunta não é reloaded.
 - gravar answers -> db
 - como gerar key para secure cookie.
 - https. certificados selfsigned, no-ip nao suporta certificados
@@ -171,4 +210,5 @@
 - clicar texto selecciona checkboxes/radio.
 - focar text/textarea
 - implementar template base das perguntas base e estender para cada tipo.
-- submissão com enter em perguntas text faz get? provavelmente está a fazer o submit do form em vez de ir pelo ajax.
+- submissão com enter em perguntas text faz get? provavelmente está a fazer o
+  submit do form em vez de ir pelo ajax.
@@ -14,6 +14,8 @@ from concurrent.futures import ThreadPoolExecutor
 # third party libraries
 import bcrypt
 import sqlalchemy as sa
+import sqlalchemy.orm as orm
+from sqlalchemy.exc import IntegrityError
 # this project
 from aprendizations.models import Base, Student
@@ -143,7 +145,7 @@ def main():
     print(f'Using database: {args.db}')
     engine = sa.create_engine(f'sqlite:///{args.db}', echo=False)
     Base.metadata.create_all(engine)  # Creates schema if needed
-    session = sa.orm.sessionmaker(bind=engine)()
+    session = orm.sessionmaker(bind=engine)()
     # --- build list of students to insert/update
     students = []
@@ -181,7 +183,7 @@ def main():
                                      password=s['pw'])
                             for s in new_students])
             session.commit()
-        except sa.exc.IntegrityError:
+        except IntegrityError:
             print('!!! Integrity error. Aborted !!!\n')
             session.rollback()
@@ -458,7 +458,7 @@ class LearnApp():
         logger.info('Building questions factory:')
         factory = dict()
-        for tref in self.deps.nodes():
+        for tref in self.deps.nodes:
             factory.update(self._factory_for(tref))
         logger.info('Factory has %s questions', len(factory))
@@ -7,7 +7,7 @@ Setup configurations and then runs the application.
 # python standard library
 import argparse
-import logging
+import logging.config
 from os import environ, path
 import ssl
 import sys
@@ -19,7 +19,6 @@ from aprendizations.tools import run_script, run_script_async
 # setup logger for this module
 logger = logging.getLogger(__name__)
-
 QDict = NewType('QDict', Dict[str, Any])
@@ -37,8 +36,11 @@ class Question(dict):
     for each student.
     Instances can shuffle options or automatically generate questions.
     '''
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
+
+    def gen(self) -> None:
+        '''
+        Sets defaults that are valid for any question type
+        '''
         # add required keys if missing
         self.set_defaults(QDict({
@@ -82,10 +84,12 @@ class QuestionRadio(Question):
         choose (int)  # only used if shuffle=True
     '''
-    # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
-
+    def gen(self) -> None:
+        '''
+        Sets defaults, performs checks and generates the actual question
+        by modifying the options and correct values
+        '''
+        super().gen()
         try:
             nopts = len(self['options'])
         except KeyError as exc:
@@ -212,8 +216,8 @@ class QuestionCheckbox(Question):
     '''
     # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
+    def gen(self) -> None:
+        super().gen()
         try:
             nopts = len(self['options'])
@@ -266,19 +270,6 @@ class QuestionCheckbox(Question):
                    f'Please fix "{self["ref"]}" in "{self["path"]}"')
             logger.error(msg)
             raise QuestionException(msg)
-            # msg0 = ('+--------------- BEHAVIOR CHANGE NOTICE ---------------+')
-            # msg1 = ('| Correct values in checkbox questions must be in the  |')
-            # msg2 = ('| interval [0.0, 1.0]. I will convert to the new       |')
-            # msg3 = ('| behavior, for now, but you should fix it.            |')
-            # msg4 = ('+------------------------------------------------------+')
-            # logger.warning(msg0)
-            # logger.warning(msg1)
-            # logger.warning(msg2)
-            # logger.warning(msg3)
-            # logger.warning(msg4)
-            # logger.warning('please fix "%s"', self["ref"])
-            # # normalize to [0,1]
-            # self['correct'] = [(x+1)/2 for x in self['correct']]
         # if an option is a list of (right, wrong), pick one
         options = []
@@ -334,9 +325,8 @@ class QuestionText(Question):
     '''
     # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
-
+    def gen(self) -> None:
+        super().gen()
         self.set_defaults(QDict({
             'text': '',
             'correct': [],  # no correct answers, always wrong
@@ -362,12 +352,13 @@ class QuestionText(Question):
                            'transformations => never correct', self["ref"])
     # ------------------------------------------------------------------------
-    def transform(self, ans):
+    def transform(self, ans: str):
         '''apply optional filters to the answer'''
+        # apply transformations in sequence
         for transform in self['transform']:
             if transform == 'remove_space':  # removes all spaces
-                ans = ans.replace(' ', '')
+                ans = re.sub(r'\s+', '', ans)
             elif transform == 'trim':        # removes spaces around
                 ans = ans.strip()
             elif transform == 'normalize_space':  # replaces multiple spaces by one
@@ -386,7 +377,7 @@ class QuestionText(Question):
         super().correct()
         if self['answer'] is not None:
-            answer = self.transform(self['answer'])  # apply transformations
+            answer = self.transform(self['answer'])
             self['grade'] = 1.0 if answer in self['correct'] else 0.0
@@ -403,8 +394,8 @@ class QuestionTextRegex(Question):
     '''
     # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
+    def gen(self) -> None:
+        super().gen()
         self.set_defaults(QDict({
             'text': '',
@@ -415,28 +406,19 @@ class QuestionTextRegex(Question):
         if not isinstance(self['correct'], list):
             self['correct'] = [self['correct']]
-        # converts patterns to compiled versions
-        try:
-            self['correct'] = [re.compile(a) for a in self['correct']]
-        except Exception as exc:
-            msg = f'Failed to compile regex in "{self["ref"]}"'
-            logger.error(msg)
-            raise QuestionException(msg) from exc
-
     # ------------------------------------------------------------------------
     def correct(self) -> None:
         super().correct()
         if self['answer'] is not None:
-            self['grade'] = 0.0
             for regex in self['correct']:
                 try:
-                    if regex.match(self['answer']):
+                    if re.fullmatch(regex, self['answer']):
                         self['grade'] = 1.0
                         return
                 except TypeError:
-                    logger.error('While matching regex %s with answer "%s".',
-                                 regex.pattern, self["answer"])
-
+                    logger.error('While matching regex "%s" with answer "%s".',
+                                 regex, self['answer'])
+            self['grade'] = 0.0
 # ============================================================================
 class QuestionNumericInterval(Question):
@@ -449,8 +431,8 @@ class QuestionNumericInterval(Question):
     '''
     # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
+    def gen(self) -> None:
+        super().gen()
         self.set_defaults(QDict({
             'text': '',
@@ -510,8 +492,8 @@ class QuestionTextArea(Question):
     '''
     # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
+    def gen(self) -> None:
+        super().gen()
         self.set_defaults(QDict({
             'text': '',
@@ -591,8 +573,8 @@ class QuestionInformation(Question):
     '''
     # ------------------------------------------------------------------------
-    def __init__(self, q: QDict) -> None:
-        super().__init__(q)
+    def gen(self) -> None:
+        super().gen()
         self.set_defaults(QDict({
             'text': '',
             }))
@@ -604,6 +586,44 @@ class QuestionInformation(Question):
 # ============================================================================
+def question_from(qdict: QDict) -> Question:
+    '''
+    Converts a question specified in a dict into an instance of Question()
+    '''
+    types = {
+        'radio':            QuestionRadio,
+        'checkbox':         QuestionCheckbox,
+        'text':             QuestionText,
+        'text-regex':       QuestionTextRegex,
+        'numeric-interval': QuestionNumericInterval,
+        'textarea':         QuestionTextArea,
+        # -- informative panels --
+        'information':      QuestionInformation,
+        'success':          QuestionInformation,
+        'warning':          QuestionInformation,
+        'alert':            QuestionInformation,
+        }
+
+    # Get class for this question type
+    try:
+        qclass = types[qdict['type']]
+    except KeyError:
+        logger.error('Invalid type "%s" in "%s"',
+                     qdict['type'], qdict['ref'])
+        raise
+
+    # Create an instance of Question() of appropriate type
+    try:
+        qinstance = qclass(QDict(qdict))
+    except QuestionException:
+        logger.error('Error generating "%s" in %s/%s',
+                     qdict['ref'], qdict['path'], qdict['filename'])
+        raise
+
+    return qinstance
+
+
+# ============================================================================
 class QFactory():
     '''
     QFactory is a class that can generate question instances, e.g. by shuffling
@@ -636,24 +656,8 @@ class QFactory():
       grade = question['grade']        # get grade
     '''
-    # Depending on the type of question, a different question class will be
-    # instantiated. All these classes derive from the base class `Question`.
-    _types = {
-        'radio':            QuestionRadio,
-        'checkbox':         QuestionCheckbox,
-        'text':             QuestionText,
-        'text-regex':       QuestionTextRegex,
-        'numeric-interval': QuestionNumericInterval,
-        'textarea':         QuestionTextArea,
-        # -- informative panels --
-        'information':      QuestionInformation,
-        'success':          QuestionInformation,
-        'warning':          QuestionInformation,
-        'alert':            QuestionInformation,
-        }
-
     def __init__(self, qdict: QDict = QDict({})) -> None:
-        self.question = qdict
+        self.qdict = qdict
     # ------------------------------------------------------------------------
     async def gen_async(self) -> Question:
@@ -662,44 +666,28 @@ class QFactory():
         which is a descendent of base class Question.
         '''
-        logger.debug('generating %s...', self.question["ref"])
+        logger.debug('generating %s...', self.qdict["ref"])
         # Shallow copy so that script generated questions will not replace
         # the original generators
-        question = self.question.copy()
-        question['qid'] = str(uuid.uuid4())  # unique for each question
+        qdict = QDict(self.qdict.copy())
+        qdict['qid'] = str(uuid.uuid4())  # unique for each question
         # If question is of generator type, an external program will be run
         # which will print a valid question in yaml format to stdout. This
         # output is then yaml parsed into a dictionary `q`.
-        if question['type'] == 'generator':
-            logger.debug(' \\_ Running "%s".', question['script'])
-            question.setdefault('args', [])
-            question.setdefault('stdin', '')
-            script = path.join(question['path'], question['script'])
+        if qdict['type'] == 'generator':
+            logger.debug(' \\_ Running "%s".', qdict['script'])
+            qdict.setdefault('args', [])
+            qdict.setdefault('stdin', '')
+            script = path.join(qdict['path'], qdict['script'])
             out = await run_script_async(script=script,
-                                         args=question['args'],
-                                         stdin=question['stdin'])
-            question.update(out)
+                                         args=qdict['args'],
+                                         stdin=qdict['stdin'])
+            qdict.update(out)
-        # Get class for this question type
-        try:
-            qclass = self._types[question['type']]
-        except KeyError:
-            logger.error('Invalid type "%s" in "%s"',
-                         question['type'], question['ref'])
-            raise
-
-        # Finally create an instance of Question()
-        try:
-            qinstance = qclass(QDict(question))
-        except QuestionException:
-            logger.error('Error generating question "%s". See "%s/%s"',
-                         question['ref'],
-                         question['path'],
-                         question['filename'])
-            raise
-
-        return qinstance
+        question = question_from(qdict)  # returns a Question instance
+        question.gen()
+        return question
     # ------------------------------------------------------------------------
     def generate(self) -> Question:
@@ -7,7 +7,7 @@ Webserver
 import asyncio
 import base64
 import functools
-import logging.config
+import logging
 import mimetypes
 from os.path import join, dirname, expanduser
 import signal
@@ -16,6 +16,8 @@ from typing import List, Optional, Union
 import uuid
 # third party libraries
+import tornado.httpserver
+import tornado.ioloop
 import tornado.web
 from tornado.escape import to_unicode
@@ -89,11 +91,14 @@ class BaseHandler(tornado.web.RequestHandler):
     def get_current_user(self):
         '''called on every method decorated with @tornado.web.authenticated'''
         user_cookie = self.get_secure_cookie('aprendizations_user')
+        counter_cookie = self.get_secure_cookie('counter')
         if user_cookie is not None:
             uid = user_cookie.decode('utf-8')
-            counter = self.get_secure_cookie('counter').decode('utf-8')
-            if counter == str(self.learn.get_login_counter(uid)):
-                return uid
+
+            if counter_cookie is not None:
+                counter = counter_cookie.decode('utf-8')
+                if counter == str(self.learn.get_login_counter(uid)):
+                    return uid
         return None
@@ -141,7 +146,7 @@ class LoginHandler(BaseHandler):
         Perform authentication and redirects to application if successful
         '''
-        userid = self.get_body_argument('uid').lstrip('l')
+        userid = (self.get_body_argument('uid') or '').lstrip('l')
         passwd = self.get_body_argument('pw')
         login_ok = await self.learn.login(userid, passwd)
@@ -310,22 +315,19 @@ class FileHandler(BaseHandler):
         uid = self.current_user
         public_dir = self.learn.get_current_public_dir(uid)
         filepath = expanduser(join(public_dir, filename))
-        content_type = mimetypes.guess_type(filename)[0]
         try:
             with open(filepath, 'rb') as file:
                 data = file.read()
-        except FileNotFoundError:
-            logger.error('File not found: %s', filepath)
-        except PermissionError:
-            logger.error('No permission: %s', filepath)
-        except Exception:
+        except OSError:
             logger.error('Error reading: %s', filepath)
             raise
-        else:
+
+        content_type = mimetypes.guess_type(filename)[0]
+        if content_type is not None:
             self.set_header("Content-Type", content_type)
-            self.write(data)
-            await self.flush()
+        self.write(data)
+        await self.flush()
 # ============================================================================
@@ -81,32 +81,32 @@ class StudentState():
             self.topic_sequence = self._recommend_sequence(topics)
     # ------------------------------------------------------------------------
-    async def start_topic(self, topic: str) -> None:
+    async def start_topic(self, topic_ref: str) -> None:
         '''
         Start a new topic.
            questions: list of generated questions to do in the given topic
            current_question: the current question to be presented
         '''
-        logger.debug('start topic "%s"', topic)
+        logger.debug('start topic "%s"', topic_ref)
         # avoid regenerating questions in the middle of the current topic
-        if self.current_topic == topic and self.uid != '0':
+        if self.current_topic == topic_ref and self.uid != '0':
             logger.info('Restarting current topic is not allowed.')
             return
         # do not allow locked topics
-        if self.is_locked(topic) and self.uid != '0':
-            logger.debug('is locked "%s"', topic)
+        if self.is_locked(topic_ref) and self.uid != '0':
+            logger.debug('is locked "%s"', topic_ref)
             return
         self.previous_topic: Optional[str] = None
         # choose k questions
-        self.current_topic = topic
+        self.current_topic = topic_ref
         self.correct_answers = 0
         self.wrong_answers = 0
-        topic = self.deps.nodes[topic]
+        topic = self.deps.nodes[topic_ref]
         k = topic['choose']
         if topic['shuffle_questions']:
             questions = random.sample(topic['questions'], k=k)
@@ -69,27 +69,23 @@
   </thead>
   <tbody>
     {% for i,r in enumerate(rankings) %}
-      {% if r[0] == uid %}
-        <tr class="table-primary"> <!-- this is me -->
-      {% else %}
-        <tr>
-      {% end %}
-          <td class="text-center"> <!-- rank -->
-            <strong>
-              {{'<i class="fas fa-crown fa-2x text-warning"></i>' if i==0 else i+1}}
-            </strong>
-          </td>
-          <td> <!-- student name -->
-            {{ ' '.join(r[1].split()[n] for n in (0,-1)) }}
-            &nbsp;
-            {{ '<i class="far fa-thumbs-up text-success" title="Mais de 75% de respostas correctas"></i>' if r[3] > 0.75 else '' }}
-          </td>
-          <td> <!-- progress -->
-            <div class="progress">
-              <div class="progress-bar" role="progressbar" style="width: {{100*r[2]}}%;" aria-valuenow="{{round(100*r[2])}}%" aria-valuemin="0" aria-valuemax="100">{{round(100*r[2])}}%</div>
-            </div>
-          </td>
-        </tr>
+      <tr class="{{ 'table-warning' if r[0] == uid else '' }}">
+        <td class="text-center"> <!-- rank -->
+          <strong>
+            {{ '<i class="fas fa-crown fa-2x text-warning"></i>' if i==0 else i+1 }}
+          </strong>
+        </td>
+        <td> <!-- student name -->
+          {{ ' '.join(r[1].split()[n] for n in (0,-1)) }}
+          &nbsp;
+          {{ '<i class="far fa-thumbs-up text-success" title="Mais de 75% de respostas correctas"></i>' if r[3] > 0.75 else '' }}
+        </td>
+        <td> <!-- progress -->
+          <div class="progress">
+            <div class="progress-bar" role="progressbar" style="width: {{100*r[2]}}%;" aria-valuenow="{{round(100*r[2])}}%" aria-valuemin="0" aria-valuemax="100">{{round(100*r[2])}}%</div>
+          </div>
+        </td>
+      </tr>
     {% end %}
   </tbody>
 </table>
@@ -228,7 +228,7 @@ async def run_script_async(script: str,
         )
     try:
-        stdout, stderr = await asyncio.wait_for(
+        stdout, _ = await asyncio.wait_for(
             p.communicate(input=stdin.encode('utf-8')),
             timeout=timeout
             )
 {
+    "name": "aprendizations",
+    "lockfileVersion": 2,
     "requires": true,
-    "lockfileVersion": 1,
+    "packages": {
+        "": {
+            "dependencies": {
+                "@fortawesome/fontawesome-free": "^5.15.2",
+                "codemirror": "^5.59.1",
+                "mdbootstrap": "^4.19.2"
+            }
+        },
+        "node_modules/@fortawesome/fontawesome-free": {
+            "version": "5.15.3",
+            "resolved": "https://registry.npmjs.org/@fortawesome/fontawesome-free/-/fontawesome-free-5.15.3.tgz",
+            "integrity": "sha512-rFnSUN/QOtnOAgqFRooTA3H57JLDm0QEG/jPdk+tLQNL/eWd+Aok8g3qCI+Q1xuDPWpGW/i9JySpJVsq8Q0s9w==",
+            "hasInstallScript": true,
+            "engines": {
+                "node": ">=6"
+            }
+        },
+        "node_modules/codemirror": {
+            "version": "5.61.1",
+            "resolved": "https://registry.npmjs.org/codemirror/-/codemirror-5.61.1.tgz",
+            "integrity": "sha512-+D1NZjAucuzE93vJGbAaXzvoBHwp9nJZWWWF9utjv25+5AZUiah6CIlfb4ikG4MoDsFsCG8niiJH5++OO2LgIQ=="
+        },
+        "node_modules/mdbootstrap": {
+            "version": "4.19.2",
+            "resolved": "https://registry.npmjs.org/mdbootstrap/-/mdbootstrap-4.19.2.tgz",
+            "integrity": "sha512-a+LwPflYRYwlmYKTvftW0X7SfOMrRZ02qZjrssNko1lPU/HR5JRFc1uwa3Dmmw+6TwsYH760waqdghBFrucpOw=="
+        }
+    },
     "dependencies": {
         "@fortawesome/fontawesome-free": {
-            "version": "5.15.2",
-            "resolved": "https://registry.npmjs.org/@fortawesome/fontawesome-free/-/fontawesome-free-5.15.2.tgz",
-            "integrity": "sha512-7l/AX41m609L/EXI9EKH3Vs3v0iA8tKlIOGtw+kgcoanI7p+e4I4GYLqW3UXWiTnjSFymKSmTTPKYrivzbxxqA=="
-        },
-        "animate.css": {
-            "version": "4.1.1",
-            "resolved": "https://registry.npmjs.org/animate.css/-/animate.css-4.1.1.tgz",
-            "integrity": "sha512-+mRmCTv6SbCmtYJCN4faJMNFVNN5EuCTTprDTAo7YzIGji2KADmakjVA3+8mVDkZ2Bf09vayB35lSQIex2+QaQ=="
+            "version": "5.15.3",
+            "resolved": "https://registry.npmjs.org/@fortawesome/fontawesome-free/-/fontawesome-free-5.15.3.tgz",
+            "integrity": "sha512-rFnSUN/QOtnOAgqFRooTA3H57JLDm0QEG/jPdk+tLQNL/eWd+Aok8g3qCI+Q1xuDPWpGW/i9JySpJVsq8Q0s9w=="
         },
         "codemirror": {
-            "version": "5.59.1",
-            "resolved": "https://registry.npmjs.org/codemirror/-/codemirror-5.59.1.tgz",
-            "integrity": "sha512-d0SSW/PCCD4LoSCBPdnP0BzmZB1v3emomCUtVlIWgZHJ06yVeBOvBtOH7vYz707pfAvEeWbO9aP6akh8vl1V3w=="
+            "version": "5.61.1",
+            "resolved": "https://registry.npmjs.org/codemirror/-/codemirror-5.61.1.tgz",
+            "integrity": "sha512-+D1NZjAucuzE93vJGbAaXzvoBHwp9nJZWWWF9utjv25+5AZUiah6CIlfb4ikG4MoDsFsCG8niiJH5++OO2LgIQ=="
         },
         "mdbootstrap": {
             "version": "4.19.2",
@@ -18,13 +18,13 @@ setup(
     url="https://git.xdi.uevora.pt/mjsb/aprendizations.git",
     packages=find_packages(),
     include_package_data=True,   # install files from MANIFEST.in
-    python_requires='>=3.7.*',
+    python_requires='>=3.8.*',
     install_requires=[
         'tornado>=6.0',
         'mistune',
         'pyyaml>=5.1',
         'pygments',
-        'sqlalchemy',
+        'sqlalchemy<1.4',
         'bcrypt>=3.1',
         'networkx>=2.4'
         ],
	@@ -458,7 +458,7 @@ class LearnApp():		@@ -458,7 +458,7 @@ class LearnApp():
458		458
459	logger.info('Building questions factory:')	459	logger.info('Building questions factory:')
460	factory = dict()	460	factory = dict()
461	- for tref in self.deps.nodes():	461	+ for tref in self.deps.nodes:
462	factory.update(self._factory_for(tref))	462	factory.update(self._factory_for(tref))
463		463
464	logger.info('Factory has %s questions', len(factory))	464	logger.info('Factory has %s questions', len(factory))
	@@ -7,7 +7,7 @@ Setup configurations and then runs the application.		@@ -7,7 +7,7 @@ Setup configurations and then runs the application.
7		7
8	# python standard library	8	# python standard library
9	import argparse	9	import argparse
10	-import logging	10	+import logging.config
11	from os import environ, path	11	from os import environ, path
12	import ssl	12	import ssl
13	import sys	13	import sys
	@@ -228,7 +228,7 @@ async def run_script_async(script: str,		@@ -228,7 +228,7 @@ async def run_script_async(script: str,
228	)	228	)
229		229
230	try:	230	try:
231	- stdout, stderr = await asyncio.wait_for(	231	+ stdout, _ = await asyncio.wait_for(
232	p.communicate(input=stdin.encode('utf-8')),	232	p.communicate(input=stdin.encode('utf-8')),
233	timeout=timeout	233	timeout=timeout
234	)	234	)
1	{	1	{
		2	+ "name": "aprendizations",
		3	+ "lockfileVersion": 2,
2	"requires": true,	4	"requires": true,
3	- "lockfileVersion": 1,	5	+ "packages": {
		6	+ "": {
		7	+ "dependencies": {
		8	+ "@fortawesome/fontawesome-free": "^5.15.2",
		9	+ "codemirror": "^5.59.1",
		10	+ "mdbootstrap": "^4.19.2"
		11	+ }
		12	+ },
		13	+ "node_modules/@fortawesome/fontawesome-free": {
		14	+ "version": "5.15.3",
		15	+ "resolved": "https://registry.npmjs.org/@fortawesome/fontawesome-free/-/fontawesome-free-5.15.3.tgz",
		16	+ "integrity": "sha512-rFnSUN/QOtnOAgqFRooTA3H57JLDm0QEG/jPdk+tLQNL/eWd+Aok8g3qCI+Q1xuDPWpGW/i9JySpJVsq8Q0s9w==",
		17	+ "hasInstallScript": true,
		18	+ "engines": {
		19	+ "node": ">=6"
		20	+ }
		21	+ },
		22	+ "node_modules/codemirror": {
		23	+ "version": "5.61.1",
		24	+ "resolved": "https://registry.npmjs.org/codemirror/-/codemirror-5.61.1.tgz",
		25	+ "integrity": "sha512-+D1NZjAucuzE93vJGbAaXzvoBHwp9nJZWWWF9utjv25+5AZUiah6CIlfb4ikG4MoDsFsCG8niiJH5++OO2LgIQ=="
		26	+ },
		27	+ "node_modules/mdbootstrap": {
		28	+ "version": "4.19.2",
		29	+ "resolved": "https://registry.npmjs.org/mdbootstrap/-/mdbootstrap-4.19.2.tgz",
		30	+ "integrity": "sha512-a+LwPflYRYwlmYKTvftW0X7SfOMrRZ02qZjrssNko1lPU/HR5JRFc1uwa3Dmmw+6TwsYH760waqdghBFrucpOw=="
		31	+ }
		32	+ },
4	"dependencies": {	33	"dependencies": {
5	"@fortawesome/fontawesome-free": {	34	"@fortawesome/fontawesome-free": {
6	- "version": "5.15.2",
7	- "resolved": "https://registry.npmjs.org/@fortawesome/fontawesome-free/-/fontawesome-free-5.15.2.tgz",
8	- "integrity": "sha512-7l/AX41m609L/EXI9EKH3Vs3v0iA8tKlIOGtw+kgcoanI7p+e4I4GYLqW3UXWiTnjSFymKSmTTPKYrivzbxxqA=="
9	- },
10	- "animate.css": {
11	- "version": "4.1.1",
12	- "resolved": "https://registry.npmjs.org/animate.css/-/animate.css-4.1.1.tgz",
13	- "integrity": "sha512-+mRmCTv6SbCmtYJCN4faJMNFVNN5EuCTTprDTAo7YzIGji2KADmakjVA3+8mVDkZ2Bf09vayB35lSQIex2+QaQ=="	35	+ "version": "5.15.3",
		36	+ "resolved": "https://registry.npmjs.org/@fortawesome/fontawesome-free/-/fontawesome-free-5.15.3.tgz",
		37	+ "integrity": "sha512-rFnSUN/QOtnOAgqFRooTA3H57JLDm0QEG/jPdk+tLQNL/eWd+Aok8g3qCI+Q1xuDPWpGW/i9JySpJVsq8Q0s9w=="
14	},	38	},
15	"codemirror": {	39	"codemirror": {
16	- "version": "5.59.1",
17	- "resolved": "https://registry.npmjs.org/codemirror/-/codemirror-5.59.1.tgz",
18	- "integrity": "sha512-d0SSW/PCCD4LoSCBPdnP0BzmZB1v3emomCUtVlIWgZHJ06yVeBOvBtOH7vYz707pfAvEeWbO9aP6akh8vl1V3w=="	40	+ "version": "5.61.1",
		41	+ "resolved": "https://registry.npmjs.org/codemirror/-/codemirror-5.61.1.tgz",
		42	+ "integrity": "sha512-+D1NZjAucuzE93vJGbAaXzvoBHwp9nJZWWWF9utjv25+5AZUiah6CIlfb4ikG4MoDsFsCG8niiJH5++OO2LgIQ=="
19	},	43	},
20	"mdbootstrap": {	44	"mdbootstrap": {
21	"version": "4.19.2",	45	"version": "4.19.2",
	@@ -18,13 +18,13 @@ setup(		@@ -18,13 +18,13 @@ setup(
18	url="https://git.xdi.uevora.pt/mjsb/aprendizations.git",	18	url="https://git.xdi.uevora.pt/mjsb/aprendizations.git",
19	packages=find_packages(),	19	packages=find_packages(),
20	include_package_data=True, # install files from MANIFEST.in	20	include_package_data=True, # install files from MANIFEST.in
21	- python_requires='>=3.7.*',	21	+ python_requires='>=3.8.*',
22	install_requires=[	22	install_requires=[
23	'tornado>=6.0',	23	'tornado>=6.0',
24	'mistune',	24	'mistune',
25	'pyyaml>=5.1',	25	'pyyaml>=5.1',
26	'pygments',	26	'pygments',
27	- 'sqlalchemy',	27	+ 'sqlalchemy<1.4',
28	'bcrypt>=3.1',	28	'bcrypt>=3.1',
29	'networkx>=2.4'	29	'networkx>=2.4'
30	],	30	],