<html><body>Gary, I have a few questions<br><br>1. If someone wanted to dispute the question, I am assuming that they did so outside of taking the exam. Wouldn't that have required them to actually write down the question which can potentially weaken the security of the exam?<br><br>2. I am all for publishing the content areas to be used for the exam, but am somewhat against having a specific curriculum aligned to it. I do believe that students who take certification should be able to see whether the instructor has taken and passed the exams themselves and the survey results seem to indicate this is positive as well. The phrase: Those who can't do, teach is one of the first things our exam will conquer.<br><br>3. I have a preference of making certification wherever possible more open than any other process on the planet. I am revoking my initial comments regarding having a separate review committee as this really isn't transparent. I am now thinking that the best method would be to post essays to the OWASP site where each and every OWASP chapter leader gets to vote on the quality. More Yeas than Nays determines outcome. No secret societies.<br><br>
<blockquote webmail="1" style="border-left: 2px solid blue; margin-left: 8px; padding-left: 8px;">
-------- Original Message --------<br>
Subject: Re: [Owasp-cert] Deadlines for August<br>
From: "Gary Palmer" &lt;owasp@getmymail.org&gt;<br>
Date: Sat, July 26, 2008 1:29 pm<br>
To: &lt;<a href="mailto:owasp-cert@lists.owasp">owasp-cert@lists.owasp</a>.org&gt;<br>
<br>
     <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008">First, for simplicity in email, when responding, I recommend we all just respond to the lists email address and not a second copy to the author or the replied to post.&nbsp; My mail now takes care of than but it might help others...</font></font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008"></font></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008">For the SANS stuff, I remember when I did my research paper.&nbsp; There were several (I think 3) people who reviewed it.&nbsp; They voted and the overall grade is what I received.&nbsp; I remember having some conversations with a few of them because they had questions.&nbsp; Because of those conversations I felt they were being objective and reasonable.&nbsp; I also appreciated that the online test allowed me to mark objectionable questions and after the test I could formulate my abjections.&nbsp; I always received a response and several times they agreed and gave me credit AND improved the question.</font></font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008"></font></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008">The CISSP also allows you to dispute a question and between being able to dispute and my SANS feedback experience I think we should also have a dispute process.&nbsp; I was less enamored with the CISSP process because I never heard back from them to validate or dismiss my concern so I actually could not learn.&nbsp; SANS, on the other hand, did reply and explain their position so I did learn.</font></font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008"></font></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008">Isn't the point here to measure what we know and offer opportunity to learn and grow?&nbsp; When I teach I typically tell the class "here is everything I will test you on".&nbsp; I try to give specific examples.&nbsp; If it were math I would give exact problems and on the test just change the values, not the structure.&nbsp; I want to test what they know and give a good grade if they understand and convey the concepts.&nbsp; I hate trick questions and I never asked questions I did not warn them about.&nbsp; I told them what was important and let them focus on it.&nbsp; If they got that, the other details could sort themselves out!</font></font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008"></font></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"><font class="187332204-26072008">So with all these words I am suggesting having a process to dispute questions (which allows us to review and improve) and a feedback process to let the subject know results (to help them learn and to validate that their complaint was indeed heard and considered.</font></font></div></font></div> <div>&nbsp;</div> <div align="left"><font size="2" face="Arial">Cheers,</font></div> <div align="left"><font size="2" face="Arial">Gary</font></div> <div>&nbsp;</div><br> <div class="OutlookMessageHeader" dir="ltr" align="left" lang="en-us"> <hr tabindex="-1"> <font size="2" face="Tahoma"><b>From:</b> <a href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</a> [<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank" mce_href="mailto:owasp-cert-bounces@lists.owasp.org"><a href="mailto:owasp-cert-bounces@lists.owasp.org">mailto:owasp-cert-bounces@lists.owasp.org</a></a>] <b>On Behalf Of </b>Matthew Chalmers<br><b>Sent:</b> Friday, July 25, 2008 8:54 PM<br><b>To:</b> <a href="mailto:james@architectbook.com">james@architectbook.com</a><br><b>Cc:</b> <a href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</a><br><b>Subject:</b> Re: [Owasp-cert] Deadlines for August<br></font><br></div> <div></div> <div dir="ltr"> <div>I definitely see your point about writing the .NET version of WebGoat...of course it's designed to be flawed, haha. ;-P I just thought of something else too. When I got my GSNA it was back when SANS/GIAC was still requiring a research paper rather than having it be optional for an extra gold star. They obviously figured out some way to grade these papers. Is anyone from SANS on this list? I wouldn't want people who failed to automatically start ranting about a lack of objectivity...</div> <div>&nbsp;</div> <div>Matt<br><br></div> <div class="gmail_quote">On Fri, Jul 25, 2008 at 10:23 PM, &lt;<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=james%40architectbook.com');; return false;" href="mailto:james@architectbook.com" target="_blank" mce_href="mailto:james@architectbook.com"><a href="mailto:james@architectbook.com">james@architectbook.com</a></a>&gt; wrote:<br> <blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;"> <div>Several thoughts:<br><br>1. For the record, I think we need to test above and beyond the OWASP Application Security Desk Reference Project. While it is over 1K pages, I still think it is incomplete.<br>2. I think it is safe to assume that most IT folks internationally or even next door just plain suck at written communication. This is a historical problem ever since we were called data processing.<br>3. In terms of essays, I think there is no need to worry. The last time I visited HR, I asked for a count of the number of languages spoken by my IT peers and at last count it was 43 distinct. During the day, I run around being enterprisey and don't have any issues with voluntelling some of my peers that they are now official OWASP reviewers. Folks from Microsoft, Oracle, IBM probably have counts even higher. So, the action item I guess is to noodle how to get country diversity into the mix. The problem you describe usually doesn't occur in the America's or Europe and could be isolated to Asian &amp; African countries.<br>4. I would actually say that one form of waiver from writing comprehensive documentation is to instead deliver working software. If someone who can't write a lick of English but decides to mercilessly contribute to writing the .NET version of WebGoat most certainly understands web application security...<br><br> <blockquote style="border-left: 2px solid blue; padding-left: 8px; margin-left: 8px;"> <div class="Ih2E3d">-------- Original Message --------<br>Subject: Re: [Owasp-cert] Deadlines for August<br></div> <div class="Ih2E3d">From: "Matthew Chalmers" &lt;<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=matthew.chalmers%40owasp.org');; return false;" href="mailto:matthew.chalmers@owasp.org" mce_href="mailto:matthew.chalmers@owasp.org" target="_blank"><a href="mailto:matthew.chalmers@owasp.org">matthew.chalmers@owasp.org</a></a>&gt;<br>Date: Fri, July 25, 2008 10:18 pm<br>To: "Gary Palmer" &lt;<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp%40getmymail.org');; return false;" href="mailto:owasp@getmymail.org" mce_href="mailto:owasp@getmymail.org" target="_blank"><a href="mailto:owasp@getmymail.org">owasp@getmymail.org</a></a>&gt;<br>Cc: <a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert%40lists.owasp.org');; return false;" href="mailto:owasp-cert@lists.owasp.org" mce_href="mailto:owasp-cert@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</a></a><br><br></div> <div dir="ltr"> <div class="Ih2E3d"> <div>I like the idea of understanding in multiple distinct areas, kind of like domains in a 'CBOK'. I also like the idea of being able to redo pieces (after a certain amount wait time maybe) if we do go with some formula that gets you a higher level. For example if there are five domains...five exams maybe...we say you have to get at least x% in each to be a 'master' but if you do great on four of them but only average on the 5th, you're not a master until you retake that 5th part and get the minimum qualifying score. It's an idea anyway.</div> <div>&nbsp;</div> <div>I'm not so sure about the essay. I like essays and fill-in-the-blank in general, however, we're talking about a very wide audience, much wider than that of the CBEST. People who will want (and may deserve) an OWASP cert will not necessarily speak English, not necessarily have good written communication skills, etc. We're not testing those things, we're just testing...whatever we're testing relating to web application security. ;-) Also, if we grade tests rather than a third party like VUE, we may not get competent volunteers who speak every language in which we may offer the test. Plus even if we had the luxury of being able to require English, even good English, of our test-takers, that would mean we'd have to ensure our test-graders were that much more competent since they're reading essays rather than just checking to make sure the correct box was ticked. I wonder if an essay just for the highest level would be do-able even.</div> <div>&nbsp;</div></div> <div>Matt<br><br></div> <div> <div></div> <div class="Wj3C7c"> <div class="gmail_quote">On Fri, Jul 25, 2008 at 8:50 PM, Gary Palmer &lt;<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp%40getmymail.org');; return false;" href="mailto:owasp@getmymail.org" mce_href="mailto:owasp@getmymail.org" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp%40getmymail.org');; return false;" href="mailto:owasp@getmymail.org" mce_href="mailto:owasp@getmymail.org" target="_blank"><a href="mailto:owasp@getmymail.org">owasp@getmymail.org</a></a>&gt; wrote:<br> <blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;"> <div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial">Interestingly enough, I am preparing for the CBEST which is the first step in obtaining a teaching credential.&nbsp; The CBEST is a 3 part exam, the first deals with reading and comprehension, the second is math and the third is an essay.&nbsp; The R&amp;C is split between knowing what you read, understanding what you read, and then critical analysis/research analysis/authors perspective/main point/feelings/etc.&nbsp; The math seems to be fairly straight forward.&nbsp; The essay is 2 compositions, the first is analyze a given situation and the other is to write about a personal experience.</font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial">The grading is scaled and the combined score must be passing.&nbsp; There is a minimum for each section to pass, but just missing in one and exceeding in another to have a combined passing score&nbsp;will work too.</font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial">More at: <a href="http://www.cbest.nesinc.com/CA14_overview.asp" mce_href="http://www.cbest.nesinc.com/CA14_overview.asp" target="_blank"></a><a href="http://www.cbest.nesinc.com/CA14_overview.asp" mce_href="http://www.cbest.nesinc.com/CA14_overview.asp" target="_blank"><a href="http://www.cbest.nesinc.com/CA14_overview.asp">http://www.cbest.nesinc.com/CA14_overview.asp</a></a></font></div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial"></font>&nbsp;</div> <div dir="ltr" align="left"><font size="2" color="#0000ff" face="Arial">Maybe we should consider this type of approach, the essay would certainly challenge the person and provide a record versus a personal meeting that may be biased by personalities.&nbsp; The different sections could measure depth and understanding of knowledge for multiple degrees of certification.&nbsp; Also the CBEST allows repeats where you can focus on one section or repeat all, in order to improve your scores.&nbsp; An interesting approach and unique when I compare to the assorted other certification exams I have taken.</font></div> <div><font size="2" color="#0000ff" face="Arial"></font>&nbsp;</div> <div align="left"><font size="2" face="Arial">Cheers,</font></div> <div align="left"><font face="Arial"><font size="2">Gary Palmer</font></font></div> <div>&nbsp;</div><br> <div dir="ltr" align="left" lang="en-us"> <hr> <font size="2" face="Tahoma"><b>From:</b> <a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" href="mailto:owasp-cert-bounces@lists.owasp.org" mce_href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" href="mailto:owasp-cert-bounces@lists.owasp.org" mce_href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</a></a> [mailto:<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" href="mailto:owasp-cert-bounces@lists.owasp.org" mce_href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" href="mailto:owasp-cert-bounces@lists.owasp.org" mce_href="mailto:owasp-cert-bounces@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</a></a>] <b>On Behalf Of </b>Matthew Chalmers<br><b>Sent:</b> Friday, July 25, 2008 5:53 PM<br><b>To:</b> <a onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" href="mailto:dmalloc@users.sourceforge.net" mce_href="mailto:dmalloc@users.sourceforge.net" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" href="mailto:dmalloc@users.sourceforge.net" mce_href="mailto:dmalloc@users.sourceforge.net" target="_blank"><a href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</a></a> <div><br><b>Cc:</b> <a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert%40lists.owasp.org');; return false;" href="mailto:owasp-cert@lists.owasp.org" mce_href="mailto:owasp-cert@lists.owasp.org" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert%40lists.owasp.org');; return false;" href="mailto:owasp-cert@lists.owasp.org" mce_href="mailto:owasp-cert@lists.owasp.org" target="_blank"><a href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</a></a><br></div> <div><b>Subject:</b> Re: [Owasp-cert] Deadlines for August<br></div></font><br></div> <div> <div></div> <div> <div></div> <div dir="ltr"> <div>No offense to James but again I agree with David. I think pure multiple-guess should be avoided--not to mention a pure multiple-guess product that's been rushed because of concerns with time to market or delivering 'something ok' sooner rather than 'something good' later.</div> <div>&nbsp;</div> <div>Matt<br><br></div> <div class="gmail_quote">On Fri, Jul 25, 2008 at 7:40 PM, David H. &lt;<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" href="mailto:dmalloc@users.sourceforge.net" mce_href="mailto:dmalloc@users.sourceforge.net" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" href="mailto:dmalloc@users.sourceforge.net" mce_href="mailto:dmalloc@users.sourceforge.net" target="_blank"><a href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</a></a>&gt; wrote:<br> <blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0px 0px 0px 0.8ex; padding-left: 1ex;"> <div>&gt; If we stick to simple multiple choice for the first exam, it means that we<br>&gt; have delivered something of value and can in the meantime buy us more time<br>&gt; to work on more complex scenarios.<br>&gt;<br></div>That is exactly what I try to dispute. I do not see any value in<br>Multiple Choice Questionaires not even when you are purely testing for<br>relearned value. That stems from a long history with Multiple Choice<br>Tests and the desire to create meaningful exams for a new paradigm of<br>learning.<br> <div> <div></div> <div>--<br>Sent from gmail so do not trust this communication.<br>Do not send me sensitive information here, ask for my none-gmail accounts.<br><br>"Therefore the considerations of the intelligent always include both<br>benefit and harm." - Sun Tzu<br></div></div></blockquote></div><br></div></div></div></div><br>_______________________________________________<br>Owasp-cert mailing list<br><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org');; return false;" href="mailto:Owasp-cert@lists.owasp.org" mce_href="mailto:Owasp-cert@lists.owasp.org" target="_blank"></a><a onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org');; return false;" href="mailto:Owasp-cert@lists.owasp.org" mce_href="mailto:Owasp-cert@lists.owasp.org" target="_blank"><a href="mailto:Owasp-cert@lists.owasp.org">Owasp-cert@lists.owasp.org</a></a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank"></a><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank"><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</a></a><br><br></blockquote></div><br></div></div></div> <div> <div></div> <div class="Wj3C7c"> <hr> _______________________________________________<br>Owasp-cert mailing list<br><a href="http://email.secureserver.net/pcompose.php#Compose" mce_href="http://email.secureserver.net/pcompose.php#Compose" target="_blank">Owasp-cert<b></b>@lists.owasp.org</a><br><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank"></a><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank"><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</a></a><br></div></div></blockquote></div></blockquote></div><br></div> <hr>_______________________________________________<br>
Owasp-cert mailing list<br>
<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org'); return false;" href="http://email.secureserver.net/pcompose.php#Compose" mce_href="http://email.secureserver.net/pcompose.php#Compose">Owasp-cert<b></b>@lists.owasp.org</a><br>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank" mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</a></a><br>

</blockquote></body></html>