<html>
  <head>
    <meta content="text/html; charset=ISO-8859-1"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    <div class="moz-cite-prefix">I definitely agree on the aligning of
      questions and material. <br>
      <br>
      And I support Jim's points. <br>
      And like the idea about "builders, breakers, and defenders"...<br>
      <br>
      A few small comments when writing exam questions: <br>
      (disclaimer: I am in the exam writer pool of another org)<br>
      <br>
      - some standards now do ask not to do double negatives in
      questions or trick questions anymore <br>
      - there is a tendency to use "understanding questions" (over
      simple knowledge ones) and evaluate them via multiple choice.<br>
      - writing good exam questions is not easy and costs a lot of
      time....<br>
      <br>
      Best, Tobias<br>
      <br>
      <br>
      On 07/04/14 21:52, Eoin wrote:<br>
    </div>
    <blockquote
cite="mid:CAB0dSK5TWUWoUD20hqLcU0H=e_J_5RigQdVFChhG9OHPRc5uOg@mail.gmail.com"
      type="cite">
      <div dir="ltr">Given we are publishing training materials Id
        suggest aligning questions to training and cheat sheets...
        <div><br>
        </div>
      </div>
      <div class="gmail_extra"><br>
        <br>
        <div class="gmail_quote">On 4 April 2014 04:59, Jim Manico <span
            dir="ltr"><<a moz-do-not-send="true"
              href="mailto:jim.manico@owasp.org" target="_blank">jim.manico@owasp.org</a>></span>
          wrote:<br>
          <blockquote class="gmail_quote" style="margin:0 0 0
            .8ex;border-left:1px #ccc solid;padding-left:1ex">
            <div bgcolor="#FFFFFF" text="#000000">
              <div style="font-family:-moz-fixed;font-size:12px"
                lang="x-western">
                <pre>(comments on certification from the field)

The problem with most of the certifications is some (previously) clueless person goes to bootcamp to do an exam-cram for a week (or 2, at most) and then go take the exam and pass it.

Having taught a master's level CS course in Computer Security for 6 years (probably about 8 or 9 semesters as sometime I taught it 2x per year), I can tell you that multiple choice questions do little to test comprehension. (The SAT and ACT folks may argue a bit, but even then require problem solving, not just memorization.)

While multiple choice questions are easy to grade (can be completely automated using something like Scanatron), IMO, they are terrible at teaching understanding. Thus we see tests such as the ones ISC<sup><span style="display:inline-block;width:0;min-height:0;overflow:hidden">^</span>2</sup> administers (and somewhat less of a degree with SANS) questions that are obscured with
double or triple negatives and other trick type questions. If they didn't do that, way too many people would pass.

To really test comprehension of subject matter, you need to pose a problem and then have someone solve it. (I've been told that SANS does this with some of their tests, although GWEB wasn't one of those; if so, good for them.) Generally, you want them to write out their answer, which means at least short answer, or perhaps essay questions. Unfortunately, those are somewhat subjective to grade.

An alternative might be provide multiple test answers and a working demo similar to WebGoat that they can test against and ask them to find a particular SQLi or XSS.

The answers of course couldn't be so specific as to show allow them to test each possible answer, but rather something generic like (for an SQLi question):
a) It is possible to insert a new admin user into the Users table.
b) It is possible to dump the Users table along with the hashed password.
c) It is possible to execute a command on the DB server.
d) It is possible to bypass the login form using SQLi.

That at least has an objective answer to it, unlike short answer / essay.  The problem in my experience is that those types of really good questions take about an order of magnitude to come up with.

You could also show code snippets and ask questions about "what is wrong with this code?" (as in what type of an attack does it allow) and "which of these is the proper fix for xyz attack on this code snippet?", etc.

It won't be easy, but you just MIGHT end up with an exam that those who are already experts have confidence in that someone who can pass it has at least some level of understanding about security. (I personally cannot attest to that for CISSP.)

Also, I don't think we should be as broad as ISC<sup><span style="display:inline-block;width:0;min-height:0;overflow:hidden">^</span>2</sup>'s CISSP and there 12 security domains of knowledge. IRL, no one needs to be experts on all 12 of those. (When was the last time you had to make a recommendation for a standing pipe fire suppression unit or provide legal advice for Grahm-Leach-Bliley? Thought so.)

Instead, we have centered OWASP around builders, breakers, and defenders. Those areas are highly specialized. I know experts whom I respect that work in one area that couldn't pass a test in the other two areas and that's okay. The more specialized in-depth knowledge you get the more you have to ignore outside your fields. The idea of a plug-compatible member of technical staff is a management myth in information security engineering just as much as it is in any other engineering discipline.

***
</pre>
              </div>
              <div>
                <div class="h5">
                  <div>On 4/3/14, 8:21 PM, Jim Manico wrote:<br>
                  </div>
                  <blockquote type="cite"> Board,<br>
                    <br>
                    If the foundation wants to do a certification
                    program, here are my rough notes on the topic:<br>
                    <br>
                    <b>Managing Questions</b><b><br>
                    </b>1) We need a question bank working group of
                    experts, possible paid, to create and maintain
                    certification questions.<br>
                    2) These questions need to be kept in secret<br>
                    3) None of the question bank workers can apply for
                    the certification. Being a question writer should be
                    honored, but they cannot get the cert itself.<br>
                    <br>
                    <b>Which Certs</b><b><br>
                    </b>1) I say we start small with one assessment
                    centric cert since this is primarily a pentester
                    organization<br>
                    <br>
                    <b>How to deliver the test</b><b><br>
                    </b>1) We can use a formal testing center like <a
                      moz-do-not-send="true"
                      href="http://www.sylvanlearning.com/"
                      target="_blank">http://www.sylvanlearning.com/</a>
                    who takes a cut from the cert to deliver it.<br>
                    <br>
                    <b>Reality</b><b><br>
                    </b>2) We probably need a FTE to manage this
                    process.<br>
                    <br>
                    <b>Bonus Points</b><b><br>
                    </b>1) Bonus points: it would be nice to find a PhD
                    in Education or similar who can help us do this with
                    academic integrity.<br>
                    2) Bonus points: get the cert ANSI certified for
                    even broader acceptance in some govt and large
                    company communities.<br>
                    <br>
                    Just a start,<br>
                    Aloha,<br>
                    Jim<br>
                    <br>
                    <blockquote type="cite">
                      <div dir="ltr">
                        <div>Board,<br>
                          <br>
                        </div>
                        Where are we at with our investigation into
                        certifications and community engagement? I
                        realize we're just pulling together information
                        on the topic at the moment but I was curious on
                        the status.<br>
                        <br>
                        Jim - did you have the lead here? Can you
                        provide an update?<br>
                        <br>
                        <a moz-do-not-send="true"
                          href="https://www.owasp.org/index.php/March_3,_2014#New_Business"
                          target="_blank">https://www.owasp.org/index.php/March_3,_2014#New_Business</a><br>
                        <br>
                        <br clear="all">
                        <div>
                          <div>
                            <div>
                              <div dir="ltr"><br>
                                --<br>
                                Michael Coates<br>
                                @_mwc<br>
                                <br>
                              </div>
                            </div>
                          </div>
                        </div>
                      </div>
                      <br>
                      <fieldset></fieldset>
                      <br>
                      <pre>_______________________________________________
Owasp-board mailing list
<a moz-do-not-send="true" href="mailto:Owasp-board@lists.owasp.org" target="_blank">Owasp-board@lists.owasp.org</a>
<a moz-do-not-send="true" href="https://lists.owasp.org/mailman/listinfo/owasp-board" target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-board</a>
</pre>
                    </blockquote>
                    <br>
                  </blockquote>
                  <br>
                </div>
              </div>
            </div>
            <br>
            _______________________________________________<br>
            Owasp-board mailing list<br>
            <a moz-do-not-send="true"
              href="mailto:Owasp-board@lists.owasp.org">Owasp-board@lists.owasp.org</a><br>
            <a moz-do-not-send="true"
              href="https://lists.owasp.org/mailman/listinfo/owasp-board"
              target="_blank">https://lists.owasp.org/mailman/listinfo/owasp-board</a><br>
            <br>
          </blockquote>
        </div>
        <br>
        <br clear="all">
        <div><br>
        </div>
        -- <br>
        Eoin Keary<br>
        OWASP Member<br>
        <a moz-do-not-send="true" href="https://twitter.com/EoinKeary"
          target="_blank">https://twitter.com/EoinKeary</a>
        <div><br>
        </div>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
Owasp-board mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Owasp-board@lists.owasp.org">Owasp-board@lists.owasp.org</a>
<a class="moz-txt-link-freetext" href="https://lists.owasp.org/mailman/listinfo/owasp-board">https://lists.owasp.org/mailman/listinfo/owasp-board</a>
</pre>
    </blockquote>
    <br>
  </body>
</html>