<div dir="ltr"><div class="gmail_quote">
<div dir="ltr">
<div>Well put, Gary.</div>
<div>&nbsp;</div>
<div>For the CISA, a proctored, pencil &amp; paper exam, I had to speak with a proctor at the end who advised me to note my exam number, the numbers of the questions on which I had comments, and my argument. I was not allowed to copy the questions or their choices. I was told to take this info home with me and write to ISACA (snail mail). I did end up taking home a lot of notes on questions I thought had issues but I never did write to ISACA; I passed the exam anyway.</div>

<div>&nbsp;</div>
<div>SANS has gone through 2-3 major iterations of exam styles over the years but how Gary explained it is basically how I recall it. There are pros and cons. Being able to submit comments electronically right after answering the question was good--but there were issues with being able to copy exam content (which hurts them) and not being able to go back through the exam (which hurts us as exam-takers). I, too, got very similar feedback from my comments. It was nice to know that someone actually considered them even if I didn&#39;t agree with the response.</div>

<div>&nbsp;</div>
<div>For the CEH, it was a hybrid of the two: it was a test taken on computer, but in a room with other test-takers and a proctor. (The SANS test, back then, was taken over the Internet from wherever I wanted to do it, whenever I wanted to do it.) I do not, however, recall there being an explicit, documented challenge process. And there were some questions on that exam that I really had issues with. Of course as with the others,&nbsp;having passed I promptly stopped caring.</div>

<div>&nbsp;</div>
<div>I completely agree with point #2 below. I do hope we can devise some method of testing candidates that doesn&#39;t translate well into an Exam-cram or Dummies&nbsp;style study guide. We should make every reasonable effort to keep exam content (whether they be questions, possible answers, scenarios, etc.) secret until a candidate comes to write the exam--and at that time, every reasonable effort should have been taken to make it as unlikely as possible for someone to memorise exam content and regurgitate it later, because every time that happens the pieces are assembled until practically the entire pool of possible content is known and made public.</div>

<div>&nbsp;</div>
<div>On point #3 I too am for the idea of some kind of long essay, thesis, research/white paper, etc. at an expert level of certification which is reviewed by a &#39;board&#39;. There should be some more objective points that must be included in the work, but the way in which it&#39;s included and the intellectual content of the work will have to be at least somewhat subjectively scored. If by an odd-numbered panel, the majority can rule on pass/fail. Perhaps failing work should be published just like passing work so that potential candidates can see what kind of work will not pass. The one problem I saw with the SANS paper requirement was that it had/has a multi-month timeframe--it would be difficult to prove beyond a doubt that the exam candidate did the work alone, without others&#39; help. Subtle plagiarism may also be difficult to ascertain.</div>

<div>&nbsp;</div>
<div>Matt<br><br></div>
<div>
<div></div>
<div class="Wj3C7c">
<div class="gmail_quote">On Tue, Jul 29, 2008 at 9:33 PM, Gary Palmer <span dir="ltr">&lt;<a href="mailto:owasp@getmymail.org" target="_blank">owasp@getmymail.org</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">
<div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">#1) For the CISSP I had to complete a paper form that was provided as part of the test.&nbsp; I had to complete that form within the time allotted and turn it into the reviewer.&nbsp; It was reviewed independently and outside the test room and I was not informed of the results.&nbsp; For the SANS online testing, it was structured to present one question at a time with the answer options.&nbsp; Each question had a checkbox you could use to tag the question.&nbsp; There was also a checkbox to gat the prior question in case you clicked submit and then realized you wanted to challenge.&nbsp; At the test completion, after the allotted time, you were given a chance to review the disputed questions and submit an argument on the problem.&nbsp; I have done that and gotten responses that range from &quot;yeah but... you lose&quot; to &quot;very good point, well stated and we see the confusion, you will receive credit and we will adjust the question database.&quot;&nbsp; If we worry about someone capturing the questions, then it must be a proctored exam, even the most secure website would not prevent real time screen recording!</font></span></div>

<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2"></font></span>&nbsp;</div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">#2) Being a student, exam taker, and teacher I know too well the &quot;those who cant, teach&quot; statement.&nbsp; That is why I start classes with credentials, regardless of experience the class seems more comfortable because I have degrees and certifications.&nbsp; But it really gets the points home when I give real world examples from experience.&nbsp; I very much focus on concepts and then their implementation.&nbsp; Understanding the principles behind XSS is very important because any new approaches for an exploit can be quickly seem and mitigated.&nbsp; People who only learn the established body of knowledge can protect against all know, but no new, attacks.&nbsp; If we publish content areas, someone will publish the book of knowledge (dummy book? :-) to study our knowledge areas.&nbsp; I am not saying good or bad, but the reality I believe in is:</font></span></div>

<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">1- we publish content areas</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">2- people take the exam and the certification becomes desired and well respected</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">3- more people want to take and pass the exam</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">4- some smart writers publish books on the exam and content areas and what is needed to pass</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">5- the book writers make lots of money</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">6- we are left with an exam by the numbers.</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2"></font></span>&nbsp;</div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">Asking for concepts requires more thought, back to my essay suggestion.</font></span></div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2"></font></span>&nbsp;</div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">#3) I agree with open and public processes.&nbsp; SANS posts the papers for all to see and that has become an excellent resources for many professionals.&nbsp; I think there are some who do not want to publish junk because everyone else can see it-- hit them in their pride!&nbsp; And maybe that is how to distinguish the highest level of certification, publish a paper on the OWASP site which advances or simplifies some area of content.&nbsp; Have strict guidelines for form and content and reference.&nbsp; As long as &quot;someone votes&quot; it is subjective.&nbsp; If there is a nay vote, then maybe a need exists to justify why it was rejected so others could argue or agree.</font></span></div>

<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2"></font></span>&nbsp;</div>
<div dir="ltr" align="left"><span><font face="Arial" color="#0000ff" size="2">I hate the secret approach, the most objective way to do that is by questions with explicit answers, no essays.&nbsp; multiple choice, matching, timeline event sequencing, true/false, etc.</font></span></div>

<div>&nbsp;</div>
<div align="left"><font face="Arial" size="2">Cheers,</font></div>
<div align="left"><font face="Arial" size="2">Gary</font></div></div></blockquote></div></div></div></div></div></div>