<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.2900.3354" name=GENERATOR></HEAD>
<BODY>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008>First, for simplicity in email, when responding, I 
recommend we all just respond to the lists email address and not a second copy 
to the author or the replied to post.&nbsp; My mail now takes care of than but 
it might help others...</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008>For the SANS stuff, I remember when I did my research 
paper.&nbsp; There were several (I think 3) people who reviewed it.&nbsp; They 
voted and the overall grade is what I received.&nbsp; I remember having some 
conversations with a few of them because they had questions.&nbsp; Because of 
those conversations I felt they were being objective and reasonable.&nbsp; I 
also appreciated that the online test allowed me to mark objectionable questions 
and after the test I could formulate my abjections.&nbsp; I always received a 
response and several times they agreed and gave me credit AND improved the 
question.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008>The CISSP also allows you to dispute a question and 
between being able to dispute and my SANS feedback experience I think we should 
also have a dispute process.&nbsp; I was less enamored with the CISSP process 
because I never heard back from them to validate or dismiss my concern so I 
actually could not learn.&nbsp; SANS, on the other hand, did reply and explain 
their position so I did learn.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008>Isn't the point here to measure what we know and offer 
opportunity to learn and grow?&nbsp; When I teach I typically tell the class 
"here is everything I will test you on".&nbsp; I try to give specific 
examples.&nbsp; If it were math I would give exact problems and on the test just 
change the values, not the structure.&nbsp; I want to test what they know and 
give a good grade if they understand and convey the concepts.&nbsp; I hate trick 
questions and I never asked questions I did not warn them about.&nbsp; I told 
them what was important and let them focus on it.&nbsp; If they got that, the 
other details could sort themselves out!</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=187332204-26072008>So with all these words I am suggesting having a 
process to dispute questions (which allows us to review and improve) and a 
feedback process to let the subject know results (to help them learn and to 
validate that their complaint was indeed heard and 
considered.</SPAN></FONT></DIV></FONT></DIV>
<DIV>&nbsp;</DIV>
<DIV align=left><FONT face=Arial size=2>Cheers,</FONT></DIV>
<DIV align=left><FONT face=Arial size=2>Gary</FONT></DIV>
<DIV>&nbsp;</DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> owasp-cert-bounces@lists.owasp.org 
[mailto:owasp-cert-bounces@lists.owasp.org] <B>On Behalf Of </B>Matthew 
Chalmers<BR><B>Sent:</B> Friday, July 25, 2008 8:54 PM<BR><B>To:</B> 
james@architectbook.com<BR><B>Cc:</B> 
owasp-cert@lists.owasp.org<BR><B>Subject:</B> Re: [Owasp-cert] Deadlines for 
August<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV dir=ltr>
<DIV>I definitely see your point about writing the .NET version of WebGoat...of 
course it's designed to be flawed, haha. ;-P I just thought of something else 
too. When I got my GSNA it was back when SANS/GIAC was still requiring a 
research paper rather than having it be optional for an extra gold star. They 
obviously figured out some way to grade these papers. Is anyone from SANS on 
this list? I wouldn't want people who failed to automatically start ranting 
about a lack of objectivity...</DIV>
<DIV>&nbsp;</DIV>
<DIV>Matt<BR><BR></DIV>
<DIV class=gmail_quote>On Fri, Jul 25, 2008 at 10:23 PM, &lt;<A 
href="mailto:james@architectbook.com">james@architectbook.com</A>&gt; wrote:<BR>
<BLOCKQUOTE class=gmail_quote 
style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">
  <DIV>Several thoughts:<BR><BR>1. For the record, I think we need to test above 
  and beyond the OWASP Application Security Desk Reference Project. While it is 
  over 1K pages, I still think it is incomplete.<BR>2. I think it is safe to 
  assume that most IT folks internationally or even next door just plain suck at 
  written communication. This is a historical problem ever since we were called 
  data processing.<BR>3. In terms of essays, I think there is no need to worry. 
  The last time I visited HR, I asked for a count of the number of languages 
  spoken by my IT peers and at last count it was 43 distinct. During the day, I 
  run around being enterprisey and don't have any issues with voluntelling some 
  of my peers that they are now official OWASP reviewers. Folks from Microsoft, 
  Oracle, IBM probably have counts even higher. So, the action item I guess is 
  to noodle how to get country diversity into the mix. The problem you describe 
  usually doesn't occur in the America's or Europe and could be isolated to 
  Asian &amp; African countries.<BR>4. I would actually say that one form of 
  waiver from writing comprehensive documentation is to instead deliver working 
  software. If someone who can't write a lick of English but decides to 
  mercilessly contribute to writing the .NET version of WebGoat most certainly 
  understands web application security...<BR><BR>
  <BLOCKQUOTE 
  style="PADDING-LEFT: 8px; MARGIN-LEFT: 8px; BORDER-LEFT: blue 2px solid">
    <DIV class=Ih2E3d>-------- Original Message --------<BR>Subject: Re: 
    [Owasp-cert] Deadlines for August<BR></DIV>
    <DIV class=Ih2E3d>From: "Matthew Chalmers" &lt;<A 
    href="mailto:matthew.chalmers@owasp.org" 
    target=_blank>matthew.chalmers@owasp.org</A>&gt;<BR>Date: Fri, July 25, 2008 
    10:18 pm<BR>To: "Gary Palmer" &lt;<A href="mailto:owasp@getmymail.org" 
    target=_blank>owasp@getmymail.org</A>&gt;<BR>Cc: <A 
    href="mailto:owasp-cert@lists.owasp.org" 
    target=_blank>owasp-cert@lists.owasp.org</A><BR><BR></DIV>
    <DIV dir=ltr>
    <DIV class=Ih2E3d>
    <DIV>I like the idea of understanding in multiple distinct areas, kind of 
    like domains in a 'CBOK'. I also like the idea of being able to redo pieces 
    (after a certain amount wait time maybe) if we do go with some formula that 
    gets you a higher level. For example if there are five domains...five exams 
    maybe...we say you have to get at least x% in each to be a 'master' but if 
    you do great on four of them but only average on the 5th, you're not a 
    master until you retake that 5th part and get the minimum qualifying score. 
    It's an idea anyway.</DIV>
    <DIV>&nbsp;</DIV>
    <DIV>I'm not so sure about the essay. I like essays and fill-in-the-blank in 
    general, however, we're talking about a very wide audience, much wider than 
    that of the CBEST. People who will want (and may deserve) an OWASP cert will 
    not necessarily speak English, not necessarily have good written 
    communication skills, etc. We're not testing those things, we're just 
    testing...whatever we're testing relating to web application security. ;-) 
    Also, if we grade tests rather than a third party like VUE, we may not get 
    competent volunteers who speak every language in which we may offer the 
    test. Plus even if we had the luxury of being able to require English, even 
    good English, of our test-takers, that would mean we'd have to ensure our 
    test-graders were that much more competent since they're reading essays 
    rather than just checking to make sure the correct box was ticked. I wonder 
    if an essay just for the highest level would be do-able even.</DIV>
    <DIV>&nbsp;</DIV></DIV>
    <DIV>Matt<BR><BR></DIV>
    <DIV>
    <DIV></DIV>
    <DIV class=Wj3C7c>
    <DIV class=gmail_quote>On Fri, Jul 25, 2008 at 8:50 PM, Gary Palmer &lt;<A 
    href="mailto:owasp@getmymail.org" target=_blank><A 
    href="mailto:owasp@getmymail.org" 
    target=_blank>owasp@getmymail.org</A></A>&gt; wrote:<BR>
    <BLOCKQUOTE class=gmail_quote 
    style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: rgb(204,204,204) 1px solid">
      <DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
      size=2>Interestingly enough, I am preparing for the CBEST which is the 
      first step in obtaining a teaching credential.&nbsp; The CBEST is a 3 part 
      exam, the first deals with reading and comprehension, the second is math 
      and the third is an essay.&nbsp; The R&amp;C is split between knowing what 
      you read, understanding what you read, and then critical analysis/research 
      analysis/authors perspective/main point/feelings/etc.&nbsp; The math seems 
      to be fairly straight forward.&nbsp; The essay is 2 compositions, the 
      first is analyze a given situation and the other is to write about a 
      personal experience.</FONT></DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
      size=2></FONT>&nbsp;</DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>The grading 
      is scaled and the combined score must be passing.&nbsp; There is a minimum 
      for each section to pass, but just missing in one and exceeding in another 
      to have a combined passing score&nbsp;will work too.</FONT></DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
      size=2></FONT>&nbsp;</DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>More at: <A 
      href="http://www.cbest.nesinc.com/CA14_overview.asp" target=_blank><A 
      href="http://www.cbest.nesinc.com/CA14_overview.asp" 
      target=_blank>http://www.cbest.nesinc.com/CA14_overview.asp</A></A></FONT></DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
      size=2></FONT>&nbsp;</DIV>
      <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>Maybe we 
      should consider this type of approach, the essay would certainly challenge 
      the person and provide a record versus a personal meeting that may be 
      biased by personalities.&nbsp; The different sections could measure depth 
      and understanding of knowledge for multiple degrees of 
      certification.&nbsp; Also the CBEST allows repeats where you can focus on 
      one section or repeat all, in order to improve your scores.&nbsp; An 
      interesting approach and unique when I compare to the assorted other 
      certification exams I have taken.</FONT></DIV>
      <DIV><FONT face=Arial color=#0000ff size=2></FONT>&nbsp;</DIV>
      <DIV align=left><FONT face=Arial size=2>Cheers,</FONT></DIV>
      <DIV align=left><FONT face=Arial><FONT size=2>Gary 
      Palmer</FONT></FONT></DIV>
      <DIV>&nbsp;</DIV><BR>
      <DIV lang=en-us dir=ltr align=left>
      <HR>
      <FONT face=Tahoma size=2><B>From:</B> <A 
      href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank><A 
      href="mailto:owasp-cert-bounces@lists.owasp.org" 
      target=_blank>owasp-cert-bounces@lists.owasp.org</A></A> [mailto:<A 
      href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank><A 
      href="mailto:owasp-cert-bounces@lists.owasp.org" 
      target=_blank>owasp-cert-bounces@lists.owasp.org</A></A>] <B>On Behalf Of 
      </B>Matthew Chalmers<BR><B>Sent:</B> Friday, July 25, 2008 5:53 
      PM<BR><B>To:</B> <A href="mailto:dmalloc@users.sourceforge.net" 
      target=_blank><A href="mailto:dmalloc@users.sourceforge.net" 
      target=_blank>dmalloc@users.sourceforge.net</A></A> 
      <DIV><BR><B>Cc:</B> <A href="mailto:owasp-cert@lists.owasp.org" 
      target=_blank><A href="mailto:owasp-cert@lists.owasp.org" 
      target=_blank>owasp-cert@lists.owasp.org</A></A><BR></DIV>
      <DIV><B>Subject:</B> Re: [Owasp-cert] Deadlines for 
      August<BR></DIV></FONT><BR></DIV>
      <DIV>
      <DIV></DIV>
      <DIV>
      <DIV></DIV>
      <DIV dir=ltr>
      <DIV>No offense to James but again I agree with David. I think pure 
      multiple-guess should be avoided--not to mention a pure multiple-guess 
      product that's been rushed because of concerns with time to market or 
      delivering 'something ok' sooner rather than 'something good' later.</DIV>
      <DIV>&nbsp;</DIV>
      <DIV>Matt<BR><BR></DIV>
      <DIV class=gmail_quote>On Fri, Jul 25, 2008 at 7:40 PM, David H. &lt;<A 
      href="mailto:dmalloc@users.sourceforge.net" target=_blank><A 
      href="mailto:dmalloc@users.sourceforge.net" 
      target=_blank>dmalloc@users.sourceforge.net</A></A>&gt; wrote:<BR>
      <BLOCKQUOTE class=gmail_quote 
      style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: rgb(204,204,204) 1px solid">
        <DIV>&gt; If we stick to simple multiple choice for the first exam, it 
        means that we<BR>&gt; have delivered something of value and can in the 
        meantime buy us more time<BR>&gt; to work on more complex 
        scenarios.<BR>&gt;<BR></DIV>That is exactly what I try to dispute. I do 
        not see any value in<BR>Multiple Choice Questionaires not even when you 
        are purely testing for<BR>relearned value. That stems from a long 
        history with Multiple Choice<BR>Tests and the desire to create 
        meaningful exams for a new paradigm of<BR>learning.<BR>
        <DIV>
        <DIV></DIV>
        <DIV>--<BR>Sent from gmail so do not trust this communication.<BR>Do not 
        send me sensitive information here, ask for my none-gmail 
        accounts.<BR><BR>"Therefore the considerations of the intelligent always 
        include both<BR>benefit and harm." - Sun 
      Tzu<BR></DIV></DIV></BLOCKQUOTE></DIV><BR></DIV></DIV></DIV></DIV><BR>_______________________________________________<BR>Owasp-cert 
      mailing list<BR><A href="mailto:Owasp-cert@lists.owasp.org" 
      target=_blank><A href="mailto:Owasp-cert@lists.owasp.org" 
      target=_blank>Owasp-cert@lists.owasp.org</A></A><BR><A 
      href="https://lists.owasp.org/mailman/listinfo/owasp-cert" 
      target=_blank><A 
      href="https://lists.owasp.org/mailman/listinfo/owasp-cert" 
      target=_blank>https://lists.owasp.org/mailman/listinfo/owasp-cert</A></A><BR><BR></BLOCKQUOTE></DIV><BR></DIV></DIV></DIV>
    <DIV>
    <DIV></DIV>
    <DIV class=Wj3C7c>
    <HR>
    _______________________________________________<BR>Owasp-cert mailing 
    list<BR><A href="http://email.secureserver.net/pcompose.php#Compose" 
    target=_blank>Owasp-cert<B></B>@lists.owasp.org</A><BR><A 
    href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target=_blank><A 
    href="https://lists.owasp.org/mailman/listinfo/owasp-cert" 
    target=_blank>https://lists.owasp.org/mailman/listinfo/owasp-cert</A></A><BR></DIV></DIV></BLOCKQUOTE></DIV></BLOCKQUOTE></DIV><BR></DIV></BODY></HTML>