<html><body>I 100% agree and hope that others do as well. Hopefully, we can close out this part of the discussion.<br><br>
<blockquote webmail="1" style="border-left: 2px solid blue; margin-left: 8px; padding-left: 8px;">
-------- Original Message --------<br>
Subject: Re: [Owasp-cert] Is this an evil thought?<br>
From: "Christian Wenz" &lt;chw@hauser-wenz.de&gt;<br>
Date: Mon, July 28, 2008 1:22 am<br>
To: &lt;<a href="mailto:Owasp-cert@lists.owasp">Owasp-cert@lists.owasp</a>.org&gt;<br>
<br>
    <style>
 #wmMessage /* Font Definitions */ @font-face  {font-family:Wingdings; panose-1:5 0 0 0 0 0 0 0 0 0;}
 #wmMessage @font-face  {font-family:"Cambria Math"; panose-1:2 4 5 3 5 4 6 3 2 4;}
 #wmMessage @font-face  {font-family:Calibri; panose-1:2 15 5 2 2 2 4 3 2 4;}
 #wmMessage /* Style Definitions */ p.MsoNormal, #wmMessage li.MsoNormal, #wmMessage div.MsoNormal  {margin:0cm; margin-bottom:.0001pt; font-size:12.0pt; font-family:"Times New Roman","serif";}
 #wmMessage a:link, #wmMessage span.MsoHyperlink  {mso-style-priority:99; color:blue; text-decoration:underline;}
 #wmMessage a:visited, #wmMessage span.MsoHyperlinkFollowed  {mso-style-priority:99; color:purple; text-decoration:underline;}
 #wmMessage span.E-MailFormatvorlage17  {mso-style-type:personal-reply; font-family:"Calibri","sans-serif"; color:#1F497D;}
 #wmMessage .MsoChpDefault  {mso-style-type:export-only; font-size:10.0pt;}
 #wmMessage @page Section1  {size:612.0pt 792.0pt; margin:70.85pt 70.85pt 2.0cm 70.85pt;}
 #wmMessage div.Section1  {page:Section1;}

</style>    <div class="Section1"> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">Generally, I agree with a closed process. However I am still convinced that we need a „core group”. What we did with the other certification is that there was one person responsible for each topic area of the exam. This was both for competency reasons (of course everybody is very knowledgeable in OWASP’s main topics, but of course everybody has their strength points), and to ensure that there were enough questions per topic areas – for some topics it is very hard to generate enough questions for, I predict some will find out during writing questions </font><font style="font-size: 11pt; font-family: Wingdings;" color="#1f497d" face="Wingdings" lang="EN-US">J</font><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US"><o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">So far, it would be sufficient if there was one person (or one group) per topic area. However I still think that everyone responsible for a topic needs to see all or most of the questions. 1) The wording of the questions and the type of questions would be more or less consistent. 2) most importantly: there are no repeated questions. Some of the topic areas do overlap (think “The OWASP Top Ten”) with others, so chances are that the same question is added twice, maybe with a different answer set. <o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">I am very much in favor of OWASP’s open approach, but in order to have a reasonable certification process, we need to keep the questions secret. After a few months they’ll appear as braindumps anyway, so we should try to update the exam every year or so anyway. Even the LPIC exam is secret. <o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">One thing my experiences in writing exams show is that the core group should be selected specifically for this task. There are more OWASP chapter leaders than we’d need, and one thing that happened in another quite well-known exam was that the reviewers that were on board due to their job title sometimes did not have sufficient time to review, so they just waved questions through, including those that were objectionable. <o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US"><o:p>&nbsp;</o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">Alternatively, as suggested, we could refrain from using multiple choice. However in my opinion, this would prevent the exam from being successful, since it would be hard to actually take the exam. You need to be able to take the exam electronically (only then it scales) and get immediate results. I think the LPIC exams can be taken on paper (and you get your results one or two months later), but they are also using multiple choice. Of course multiple choice is not always sufficient or fair, but all other types of exams, including “live exams” in front of some judges, is unfair as well. Therefore MC is the best compromise, in my opinion.<o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US"><o:p>&nbsp;</o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">Synopsis: Core group for questions (consisting of people on this list, obviously), closed process for questions, multiple choice questions. This may not be the most popular opinion, but it’s the one that’ll work :-)<o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US"><o:p>&nbsp;</o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US">--Christian <o:p></o:p></font></div> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US"><o:p>&nbsp;</o:p></font></div> <div style="border-style: none none none solid; border-color: -moz-use-text-color -moz-use-text-color -moz-use-text-color blue; border-width: medium medium medium 1.5pt; padding: 0cm 0cm 0cm 4pt;"> <div><font style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;;" color="#1f497d" face="Calibri,sans-serif" lang="EN-US"><o:p>&nbsp;</o:p></font></div> <div>In order to protect the integrity of the exam, should I be the only person that knows all of the questions/answers? Likewise, security is ensured if the actual questions/answers aren't sent to this listserv as there may be lurkers? What do you think of question creators sending directly to reviewers with only a CC to me?<o:p></o:p></div> </div> </div>   <hr>_______________________________________________<br>
Owasp-cert mailing list<br>
<a onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org'); return false;" href="http://email.secureserver.net/pcompose.php#Compose" mce_href="http://email.secureserver.net/pcompose.php#Compose">Owasp-cert<b></b>@lists.owasp.org</a><br>
<a href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target="_blank" mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"><a href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</a></a><br>

</blockquote></body></html>