- jobe_server on the test.yaml applies as default JOBE server for all questions,…

… but can be overriden. - comments are parsed by markdown when reviewing tests.

- jobe_server on the test.yaml applies as default JOBE server for all questions,…
… but can be overriden. - comments are parsed by markdown when reviewing tests.
Miguel Barão
1 parent bfedb0e2
Showing 6 changed files with 31 additions and 15 deletions Show diff stats
BUGS.md
demo/demo.yaml
demo/questions/questions-tutorial.yaml
perguntations/questions.py
perguntations/templates/review-question.html
perguntations/testfactory.py
 # BUGS
+- em caso de timeout na submissão (e.g. JOBE ou script nao responde) a correcção não termina e o teste não é guardado.
+- QuestionCode falta reportar nos comments os vários erros que podem ocorrer (timeout, etc)
 - permitir remover alunos que estão online para poderem comecar de novo.
-- grade gives internal server error
+- grade gives internal server error??
 - reload do teste recomeça a contagem no inicio do tempo.
 - em admin, quando scale_max não é 20, as cores das barras continuam a reflectir a escala 0,20. a tabela teste na DB não tem a escala desse teste.
 - em grade.html as barras estao normalizadas para os limites scale_min e max do teste actual e nao dos testes realizados no passado (tabela test devia guardar a escala).
@@ -14,6 +14,9 @@ database: students.db
 # Directory where the submitted and corrected test are stored for later review.
 answers_dir: ans
+# Server used to compile & execute code
+jobe_server: 192.168.1.85
+
 # --- optional settings: -----------------------------------------------------
 # Title of this test, e.g. course name, year or test number
@@ -37,6 +40,7 @@ show_points: true
 # (default: no scaling, just use question points)
 scale: [0, 5]
+
 # ----------------------------------------------------------------------------
 # Base path applied to the questions files and all the scripts
 # including question generators and correctors.
@@ -26,6 +26,7 @@
     show_points: true          # mostra cotação das perguntas (default: true)
     scale: [0, 20]             # limites inferior e superior da escala (default: [0,20])
     scale_points: true         # normaliza cotações para a escala definida
+    jobe_server: moodle-jobe.uevora.pt  # server used to compile & execute code
     debug: false               # mostra informação de debug no browser
     # --------------------------------------------------------------------------
@@ -626,7 +627,6 @@
         Escreva um programa em C que recebe uma string no standard input e
         mostra a mensagem `hello ` seguida da string.
         Por exemplo, se o input for `Maria`, o output deverá ser `hello Maria`.
-      server: 127.0.0.1  # replace by appropriate address
       language: c
       correct:
         - stdin: 'Maria'
@@ -641,6 +641,10 @@
     Se um caso incluir `stdin`, este será enviado para o programa e o `stdout`
     obtido será comparado com o declarado. A pergunta é considerada correcta se
     todos os outputs coincidirem.
+
+    Por defeito é o usado o servidor JOBE declarado no teste. Para usar outro
+    diferente nesta pergunta usa-se a opção `server: 127.0.0.1` com o endereço
+    apropriado.
   answer: |
     #include <stdio.h>
     int main() {
@@ -648,7 +652,7 @@
       scanf("%s", name);
       printf("hello %s", name);
     }
-  server: 192.168.1.141
+  # server: 192.168.1.85
   language: c
   correct:
     - stdin: 'Maria'
@@ -591,11 +591,8 @@ class QuestionTextArea(Question):
 # ============================================================================
 class QuestionCode(Question):
-    '''An instance of QuestionCode will always have the keys:
-        type (str)
-        text (str)
-        correct (str with script to run)
-        answer (None or an actual answer)
+    '''
+    Submits answer to a JOBE server to compile and run against the test cases.
     '''
     _outcomes = {
@@ -669,13 +666,15 @@ class QuestionCode(Question):
                 return
             logger.debug(self._outcomes[outcome])
+
+
             if result['cmpinfo']:  # compiler errors and warnings
                 self['comments'] = f'Erros de compilação:\n{result["cmpinfo"]}'
                 self['grade'] = 0.0
                 return
-            if result['stdout'] != expected['stdout']:
-                self['comments'] = 'O output gerado é diferente do esperado.'
+            if result['stdout'] != expected.get('stdout', ''):
+                self['comments'] = 'O output gerado é diferente do esperado.'  # FIXME mostrar porque?
                 self['grade'] = 0.0
                 return
@@ -39,14 +39,14 @@
             {{ round(q['grade'] * q['points'], 2) }}
             pontos
           </p>
-          <p class="text-success">{{ q['comments'] }}</p>
+          <p class="text-success">{{ md(q['comments']) }}</p>
         {% elif q['grade'] > 0.49 %}
           <p class="text-warning">
             <i class="fas fa-exclamation-triangle fa-3x" aria-hidden="true"></i>
             {{ round(q['grade'] * q['points'], 2) }}
             pontos
           </p>
-          <p class="text-warning">{{ q['comments'] }}</p>
+          <p class="text-warning">{{ md(q['comments']) }}</p>
           {% if q['solution'] %}
             <hr>
             {{ md('**Solução:** \n\n' + q['solution']) }}
@@ -57,7 +57,7 @@
             {{ round(q['grade'] * q['points'], 2) }}
             pontos
           </p>
-          <p class="text-danger"><pre>{{ q['comments'] }}</pre></p>
+          <p class="text-danger">{{ md(q['comments']) }}</p>
           {% if q['solution'] %}
             <hr>
             {{ md('**Solução:** \n\n' + q['solution']) }}
@@ -101,7 +101,7 @@
         <p class="text-secondary">
           <i class="fas fa-ban fa-3x" aria-hidden="true"></i>
           {{ round(q['grade'] * q['points'], 2) }} pontos<br>
-          {{ q['comments'] }}
+          {{ md(q['comments']) }}
           {% if q['solution'] %}
             <hr>
             {{ md('**Solução:** \n\n' + q['solution']) }}
@@ -98,16 +98,23 @@ class TestFactory(dict):
                 # make factory only for the questions used in the test
                 if question['ref'] in qrefs:
-                    question.setdefault('type', 'information')
+                    # question.setdefault('type', 'information')
                     question.update({
                         'filename': filename,
                         'path': dirname,
                         'index': i            # position in the file, 0 based
                         })
+                    if question['type'] == 'code' and 'server' not in question:
+                        try:
+                            question['server'] = self['jobe_server']
+                        except KeyError as exc:
+                            msg = f'Missing JOBE server in "{question["ref"]}"'
+                            raise TestFactoryException(msg)
                     self.question_factory[question['ref']] = QFactory(question)
                     # check if all the questions can be correctly generated
+                    # TODO and corrected
                     try:
                         self.question_factory[question['ref']].generate()
                     except Exception as exc:
	@@ -39,14 +39,14 @@		@@ -39,14 +39,14 @@
39	{{ round(q['grade'] * q['points'], 2) }}	39	{{ round(q['grade'] * q['points'], 2) }}
40	pontos	40	pontos
41	</p>	41	</p>
42	- <p class="text-success">{{ q['comments'] }}</p>	42	+ <p class="text-success">{{ md(q['comments']) }}</p>
43	{% elif q['grade'] > 0.49 %}	43	{% elif q['grade'] > 0.49 %}
44	<p class="text-warning">	44	<p class="text-warning">
45	<i class="fas fa-exclamation-triangle fa-3x" aria-hidden="true"></i>	45	<i class="fas fa-exclamation-triangle fa-3x" aria-hidden="true"></i>
46	{{ round(q['grade'] * q['points'], 2) }}	46	{{ round(q['grade'] * q['points'], 2) }}
47	pontos	47	pontos
48	</p>	48	</p>
49	- <p class="text-warning">{{ q['comments'] }}</p>	49	+ <p class="text-warning">{{ md(q['comments']) }}</p>
50	{% if q['solution'] %}	50	{% if q['solution'] %}
51	<hr>	51	<hr>
52	{{ md('Solução: \n\n' + q['solution']) }}	52	{{ md('Solução: \n\n' + q['solution']) }}
	@@ -57,7 +57,7 @@		@@ -57,7 +57,7 @@
57	{{ round(q['grade'] * q['points'], 2) }}	57	{{ round(q['grade'] * q['points'], 2) }}
58	pontos	58	pontos
59	</p>	59	</p>
60	- <p class="text-danger"><pre>{{ q['comments'] }}</pre></p>	60	+ <p class="text-danger">{{ md(q['comments']) }}</p>
61	{% if q['solution'] %}	61	{% if q['solution'] %}
62	<hr>	62	<hr>
63	{{ md('Solução: \n\n' + q['solution']) }}	63	{{ md('Solução: \n\n' + q['solution']) }}
	@@ -101,7 +101,7 @@		@@ -101,7 +101,7 @@
101	<p class="text-secondary">	101	<p class="text-secondary">
102	<i class="fas fa-ban fa-3x" aria-hidden="true"></i>	102	<i class="fas fa-ban fa-3x" aria-hidden="true"></i>
103	{{ round(q['grade'] * q['points'], 2) }} pontos<br>	103	{{ round(q['grade'] * q['points'], 2) }} pontos<br>
104	- {{ q['comments'] }}	104	+ {{ md(q['comments']) }}
105	{% if q['solution'] %}	105	{% if q['solution'] %}
106	<hr>	106	<hr>
107	{{ md('Solução: \n\n' + q['solution']) }}	107	{{ md('Solução: \n\n' + q['solution']) }}