<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.2900.3354" name=GENERATOR></HEAD>
<BODY>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>#1) For the CISSP I had to complete a paper form that was 
provided as part of the test.&nbsp; I had to complete that form within the time 
allotted and turn it into the reviewer.&nbsp; It was reviewed independently and 
outside the test room and I was not informed of the results.&nbsp; For the SANS 
online testing, it was structured to present one question at a time with the 
answer options.&nbsp; Each question had a checkbox you could use to tag the 
question.&nbsp; There was also a checkbox to gat the prior question in case you 
clicked submit and then realized you wanted to challenge.&nbsp; At the test 
completion, after the allotted time, you were given a chance to review the 
disputed questions and submit an argument on the problem.&nbsp; I have done that 
and gotten responses that range from "yeah but... you lose" to "very good point, 
well stated and we see the confusion, you will receive credit and we will adjust 
the question database."&nbsp; If we worry about someone capturing the questions, 
then it must be a proctored exam, even the most secure website would not prevent 
real time screen recording!</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>#2) Being a student, exam taker, and teacher I know too 
well the "those who cant, teach" statement.&nbsp; That is why I start classes 
with credentials, regardless of experience the class seems more comfortable 
because I have degrees and certifications.&nbsp; But it really gets the points 
home when I give real world examples from experience.&nbsp; I very much focus on 
concepts and then their implementation.&nbsp; Understanding the principles 
behind XSS is very important because any new approaches for an exploit can be 
quickly seem and mitigated.&nbsp; People who only learn the established body of 
knowledge can protect against all know, but no new, attacks.&nbsp; If we publish 
content areas, someone will publish the book of knowledge (dummy book? :-) to 
study our knowledge areas.&nbsp; I am not saying good or bad, but the reality I 
believe in is:</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>1- we publish content areas</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>2- people take the exam and the certification becomes 
desired and well respected</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>3- more people want to take and pass the 
exam</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>4- some smart writers publish books on the exam and content 
areas and what is needed to pass</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>5- the book writers make lots of money</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>6- we are left with an exam by the 
numbers.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>Asking for concepts requires more thought, back to my essay 
suggestion.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>#3) I agree with open and public processes.&nbsp; SANS 
posts the papers for all to see and that has become an excellent resources for 
many professionals.&nbsp; I think there are some who do not want to publish junk 
because everyone else can see it-- hit them in their pride!&nbsp; And maybe that 
is how to distinguish the highest level of certification, publish a paper on the 
OWASP site which advances or simplifies some area of content.&nbsp; Have strict 
guidelines for form and content and reference.&nbsp; As long as "someone votes" 
it is subjective.&nbsp; If there is a nay vote, then maybe a need exists to 
justify why it was rejected so others could argue or agree.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=903131702-30072008><FONT face=Arial 
color=#0000ff size=2>I hate the secret approach, the most objective way to do 
that is by questions with explicit answers, no essays.&nbsp; multiple choice, 
matching, timeline event sequencing, true/false, etc.</FONT></SPAN></DIV>
<DIV>&nbsp;</DIV>
<DIV align=left><FONT face=Arial size=2>Cheers,</FONT></DIV>
<DIV align=left><FONT face=Arial size=2>Gary</FONT></DIV>
<DIV>&nbsp;</DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> owasp-cert-bounces@lists.owasp.org 
[mailto:owasp-cert-bounces@lists.owasp.org] <B>On Behalf Of 
</B>james@architectbook.com<BR><B>Sent:</B> Sunday, July 27, 2008 5:28 
AM<BR><B>Cc:</B> owasp-cert@lists.owasp.org<BR><B>Subject:</B> Re: [Owasp-cert] 
Deadlines for August<BR></FONT><BR></DIV>
<DIV></DIV>Gary, I have a few questions<BR><BR>1. If someone wanted to dispute 
the question, I am assuming that they did so outside of taking the exam. 
Wouldn't that have required them to actually write down the question which can 
potentially weaken the security of the exam?<BR><BR>2. I am all for publishing 
the content areas to be used for the exam, but am somewhat against having a 
specific curriculum aligned to it. I do believe that students who take 
certification should be able to see whether the instructor has taken and passed 
the exams themselves and the survey results seem to indicate this is positive as 
well. The phrase: Those who can't do, teach is one of the first things our exam 
will conquer.<BR><BR>3. I have a preference of making certification wherever 
possible more open than any other process on the planet. I am revoking my 
initial comments regarding having a separate review committee as this really 
isn't transparent. I am now thinking that the best method would be to post 
essays to the OWASP site where each and every OWASP chapter leader gets to vote 
on the quality. More Yeas than Nays determines outcome. No secret 
societies.<BR><BR>
<BLOCKQUOTE 
style="PADDING-LEFT: 8px; MARGIN-LEFT: 8px; BORDER-LEFT: blue 2px solid" 
webmail="1">-------- Original Message --------<BR>Subject: Re: [Owasp-cert] 
  Deadlines for August<BR>From: "Gary Palmer" 
  &lt;owasp@getmymail.org&gt;<BR>Date: Sat, July 26, 2008 1:29 pm<BR>To: &lt;<A 
  href="mailto:owasp-cert@lists.owasp">owasp-cert@lists.owasp</A>.org&gt;<BR><BR>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008>First, for simplicity in email, when responding, I 
  recommend we all just respond to the lists email address and not a second copy 
  to the author or the replied to post.&nbsp; My mail now takes care of than but 
  it might help others...</FONT></FONT></DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008></FONT></FONT>&nbsp;</DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008>For the SANS stuff, I remember when I did my research 
  paper.&nbsp; There were several (I think 3) people who reviewed it.&nbsp; They 
  voted and the overall grade is what I received.&nbsp; I remember having some 
  conversations with a few of them because they had questions.&nbsp; Because of 
  those conversations I felt they were being objective and reasonable.&nbsp; I 
  also appreciated that the online test allowed me to mark objectionable 
  questions and after the test I could formulate my abjections.&nbsp; I always 
  received a response and several times they agreed and gave me credit AND 
  improved the question.</FONT></FONT></DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008></FONT></FONT>&nbsp;</DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008>The CISSP also allows you to dispute a question and 
  between being able to dispute and my SANS feedback experience I think we 
  should also have a dispute process.&nbsp; I was less enamored with the CISSP 
  process because I never heard back from them to validate or dismiss my concern 
  so I actually could not learn.&nbsp; SANS, on the other hand, did reply and 
  explain their position so I did learn.</FONT></FONT></DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008></FONT></FONT>&nbsp;</DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008>Isn't the point here to measure what we know and 
  offer opportunity to learn and grow?&nbsp; When I teach I typically tell the 
  class "here is everything I will test you on".&nbsp; I try to give specific 
  examples.&nbsp; If it were math I would give exact problems and on the test 
  just change the values, not the structure.&nbsp; I want to test what they know 
  and give a good grade if they understand and convey the concepts.&nbsp; I hate 
  trick questions and I never asked questions I did not warn them about.&nbsp; I 
  told them what was important and let them focus on it.&nbsp; If they got that, 
  the other details could sort themselves out!</FONT></FONT></DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008></FONT></FONT>&nbsp;</DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><FONT 
  class=187332204-26072008>So with all these words I am suggesting having a 
  process to dispute questions (which allows us to review and improve) and a 
  feedback process to let the subject know results (to help them learn and to 
  validate that their complaint was indeed heard and 
  considered.</FONT></FONT></DIV></FONT></DIV>
  <DIV>&nbsp;</DIV>
  <DIV align=left><FONT face=Arial size=2>Cheers,</FONT></DIV>
  <DIV align=left><FONT face=Arial size=2>Gary</FONT></DIV>
  <DIV>&nbsp;</DIV><BR>
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> <A 
  href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</A> 
  [<A 
  onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" 
  href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank 
  mce_href="mailto:owasp-cert-bounces@lists.owasp.org"><A 
  href="mailto:owasp-cert-bounces@lists.owasp.org">mailto:owasp-cert-bounces@lists.owasp.org</A></A>] 
  <B>On Behalf Of </B>Matthew Chalmers<BR><B>Sent:</B> Friday, July 25, 2008 
  8:54 PM<BR><B>To:</B> <A 
  href="mailto:james@architectbook.com">james@architectbook.com</A><BR><B>Cc:</B> 
  <A 
  href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</A><BR><B>Subject:</B> 
  Re: [Owasp-cert] Deadlines for August<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV dir=ltr>
  <DIV>I definitely see your point about writing the .NET version of 
  WebGoat...of course it's designed to be flawed, haha. ;-P I just thought of 
  something else too. When I got my GSNA it was back when SANS/GIAC was still 
  requiring a research paper rather than having it be optional for an extra gold 
  star. They obviously figured out some way to grade these papers. Is anyone 
  from SANS on this list? I wouldn't want people who failed to automatically 
  start ranting about a lack of objectivity...</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>Matt<BR><BR></DIV>
  <DIV class=gmail_quote>On Fri, Jul 25, 2008 at 10:23 PM, &lt;<A 
  onclick="return true;Popup.composeWindow('pcompose.php?sendto=james%40architectbook.com');; return false;" 
  href="mailto:james@architectbook.com" target=_blank 
  mce_href="mailto:james@architectbook.com"><A 
  href="mailto:james@architectbook.com">james@architectbook.com</A></A>&gt; 
  wrote:<BR>
  <BLOCKQUOTE class=gmail_quote 
  style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: rgb(204,204,204) 1px solid">
    <DIV>Several thoughts:<BR><BR>1. For the record, I think we need to test 
    above and beyond the OWASP Application Security Desk Reference Project. 
    While it is over 1K pages, I still think it is incomplete.<BR>2. I think it 
    is safe to assume that most IT folks internationally or even next door just 
    plain suck at written communication. This is a historical problem ever since 
    we were called data processing.<BR>3. In terms of essays, I think there is 
    no need to worry. The last time I visited HR, I asked for a count of the 
    number of languages spoken by my IT peers and at last count it was 43 
    distinct. During the day, I run around being enterprisey and don't have any 
    issues with voluntelling some of my peers that they are now official OWASP 
    reviewers. Folks from Microsoft, Oracle, IBM probably have counts even 
    higher. So, the action item I guess is to noodle how to get country 
    diversity into the mix. The problem you describe usually doesn't occur in 
    the America's or Europe and could be isolated to Asian &amp; African 
    countries.<BR>4. I would actually say that one form of waiver from writing 
    comprehensive documentation is to instead deliver working software. If 
    someone who can't write a lick of English but decides to mercilessly 
    contribute to writing the .NET version of WebGoat most certainly understands 
    web application security...<BR><BR>
    <BLOCKQUOTE 
    style="PADDING-LEFT: 8px; MARGIN-LEFT: 8px; BORDER-LEFT: blue 2px solid">
      <DIV class=Ih2E3d>-------- Original Message --------<BR>Subject: Re: 
      [Owasp-cert] Deadlines for August<BR></DIV>
      <DIV class=Ih2E3d>From: "Matthew Chalmers" &lt;<A 
      onclick="return true;Popup.composeWindow('pcompose.php?sendto=matthew.chalmers%40owasp.org');; return false;" 
      href="mailto:matthew.chalmers@owasp.org" target=_blank 
      mce_href="mailto:matthew.chalmers@owasp.org"><A 
      href="mailto:matthew.chalmers@owasp.org">matthew.chalmers@owasp.org</A></A>&gt;<BR>Date: 
      Fri, July 25, 2008 10:18 pm<BR>To: "Gary Palmer" &lt;<A 
      onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp%40getmymail.org');; return false;" 
      href="mailto:owasp@getmymail.org" target=_blank 
      mce_href="mailto:owasp@getmymail.org"><A 
      href="mailto:owasp@getmymail.org">owasp@getmymail.org</A></A>&gt;<BR>Cc: 
      <A 
      onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert%40lists.owasp.org');; return false;" 
      href="mailto:owasp-cert@lists.owasp.org" target=_blank 
      mce_href="mailto:owasp-cert@lists.owasp.org"><A 
      href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</A></A><BR><BR></DIV>
      <DIV dir=ltr>
      <DIV class=Ih2E3d>
      <DIV>I like the idea of understanding in multiple distinct areas, kind of 
      like domains in a 'CBOK'. I also like the idea of being able to redo 
      pieces (after a certain amount wait time maybe) if we do go with some 
      formula that gets you a higher level. For example if there are five 
      domains...five exams maybe...we say you have to get at least x% in each to 
      be a 'master' but if you do great on four of them but only average on the 
      5th, you're not a master until you retake that 5th part and get the 
      minimum qualifying score. It's an idea anyway.</DIV>
      <DIV>&nbsp;</DIV>
      <DIV>I'm not so sure about the essay. I like essays and fill-in-the-blank 
      in general, however, we're talking about a very wide audience, much wider 
      than that of the CBEST. People who will want (and may deserve) an OWASP 
      cert will not necessarily speak English, not necessarily have good written 
      communication skills, etc. We're not testing those things, we're just 
      testing...whatever we're testing relating to web application security. ;-) 
      Also, if we grade tests rather than a third party like VUE, we may not get 
      competent volunteers who speak every language in which we may offer the 
      test. Plus even if we had the luxury of being able to require English, 
      even good English, of our test-takers, that would mean we'd have to ensure 
      our test-graders were that much more competent since they're reading 
      essays rather than just checking to make sure the correct box was ticked. 
      I wonder if an essay just for the highest level would be do-able 
      even.</DIV>
      <DIV>&nbsp;</DIV></DIV>
      <DIV>Matt<BR><BR></DIV>
      <DIV>
      <DIV></DIV>
      <DIV class=Wj3C7c>
      <DIV class=gmail_quote>On Fri, Jul 25, 2008 at 8:50 PM, Gary Palmer &lt;<A 
      onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp%40getmymail.org');; return false;" 
      href="mailto:owasp@getmymail.org" target=_blank 
      mce_href="mailto:owasp@getmymail.org"></A><A 
      onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp%40getmymail.org');; return false;" 
      href="mailto:owasp@getmymail.org" target=_blank 
      mce_href="mailto:owasp@getmymail.org"><A 
      href="mailto:owasp@getmymail.org">owasp@getmymail.org</A></A>&gt; 
      wrote:<BR>
      <BLOCKQUOTE class=gmail_quote 
      style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: rgb(204,204,204) 1px solid">
        <DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
        size=2>Interestingly enough, I am preparing for the CBEST which is the 
        first step in obtaining a teaching credential.&nbsp; The CBEST is a 3 
        part exam, the first deals with reading and comprehension, the second is 
        math and the third is an essay.&nbsp; The R&amp;C is split between 
        knowing what you read, understanding what you read, and then critical 
        analysis/research analysis/authors perspective/main 
        point/feelings/etc.&nbsp; The math seems to be fairly straight 
        forward.&nbsp; The essay is 2 compositions, the first is analyze a given 
        situation and the other is to write about a personal 
        experience.</FONT></DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
        size=2></FONT>&nbsp;</DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>The 
        grading is scaled and the combined score must be passing.&nbsp; There is 
        a minimum for each section to pass, but just missing in one and 
        exceeding in another to have a combined passing score&nbsp;will work 
        too.</FONT></DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
        size=2></FONT>&nbsp;</DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>More at: 
        <A href="http://www.cbest.nesinc.com/CA14_overview.asp" target=_blank 
        mce_href="http://www.cbest.nesinc.com/CA14_overview.asp"></A><A 
        href="http://www.cbest.nesinc.com/CA14_overview.asp" target=_blank 
        mce_href="http://www.cbest.nesinc.com/CA14_overview.asp"><A 
        href="http://www.cbest.nesinc.com/CA14_overview.asp">http://www.cbest.nesinc.com/CA14_overview.asp</A></A></FONT></DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
        size=2></FONT>&nbsp;</DIV>
        <DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2>Maybe we 
        should consider this type of approach, the essay would certainly 
        challenge the person and provide a record versus a personal meeting that 
        may be biased by personalities.&nbsp; The different sections could 
        measure depth and understanding of knowledge for multiple degrees of 
        certification.&nbsp; Also the CBEST allows repeats where you can focus 
        on one section or repeat all, in order to improve your scores.&nbsp; An 
        interesting approach and unique when I compare to the assorted other 
        certification exams I have taken.</FONT></DIV>
        <DIV><FONT face=Arial color=#0000ff size=2></FONT>&nbsp;</DIV>
        <DIV align=left><FONT face=Arial size=2>Cheers,</FONT></DIV>
        <DIV align=left><FONT face=Arial><FONT size=2>Gary 
        Palmer</FONT></FONT></DIV>
        <DIV>&nbsp;</DIV><BR>
        <DIV lang=en-us dir=ltr align=left>
        <HR>
        <FONT face=Tahoma size=2><B>From:</B> <A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" 
        href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank 
        mce_href="mailto:owasp-cert-bounces@lists.owasp.org"></A><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" 
        href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank 
        mce_href="mailto:owasp-cert-bounces@lists.owasp.org"><A 
        href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</A></A> 
        [mailto:<A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" 
        href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank 
        mce_href="mailto:owasp-cert-bounces@lists.owasp.org"></A><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert-bounces%40lists.owasp.org');; return false;" 
        href="mailto:owasp-cert-bounces@lists.owasp.org" target=_blank 
        mce_href="mailto:owasp-cert-bounces@lists.owasp.org"><A 
        href="mailto:owasp-cert-bounces@lists.owasp.org">owasp-cert-bounces@lists.owasp.org</A></A>] 
        <B>On Behalf Of </B>Matthew Chalmers<BR><B>Sent:</B> Friday, July 25, 
        2008 5:53 PM<BR><B>To:</B> <A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" 
        href="mailto:dmalloc@users.sourceforge.net" target=_blank 
        mce_href="mailto:dmalloc@users.sourceforge.net"></A><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" 
        href="mailto:dmalloc@users.sourceforge.net" target=_blank 
        mce_href="mailto:dmalloc@users.sourceforge.net"><A 
        href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</A></A> 

        <DIV><BR><B>Cc:</B> <A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert%40lists.owasp.org');; return false;" 
        href="mailto:owasp-cert@lists.owasp.org" target=_blank 
        mce_href="mailto:owasp-cert@lists.owasp.org"></A><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=owasp-cert%40lists.owasp.org');; return false;" 
        href="mailto:owasp-cert@lists.owasp.org" target=_blank 
        mce_href="mailto:owasp-cert@lists.owasp.org"><A 
        href="mailto:owasp-cert@lists.owasp.org">owasp-cert@lists.owasp.org</A></A><BR></DIV>
        <DIV><B>Subject:</B> Re: [Owasp-cert] Deadlines for 
        August<BR></DIV></FONT><BR></DIV>
        <DIV>
        <DIV></DIV>
        <DIV>
        <DIV></DIV>
        <DIV dir=ltr>
        <DIV>No offense to James but again I agree with David. I think pure 
        multiple-guess should be avoided--not to mention a pure multiple-guess 
        product that's been rushed because of concerns with time to market or 
        delivering 'something ok' sooner rather than 'something good' 
        later.</DIV>
        <DIV>&nbsp;</DIV>
        <DIV>Matt<BR><BR></DIV>
        <DIV class=gmail_quote>On Fri, Jul 25, 2008 at 7:40 PM, David H. &lt;<A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" 
        href="mailto:dmalloc@users.sourceforge.net" target=_blank 
        mce_href="mailto:dmalloc@users.sourceforge.net"></A><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=dmalloc%40users.sourceforge.net');; return false;" 
        href="mailto:dmalloc@users.sourceforge.net" target=_blank 
        mce_href="mailto:dmalloc@users.sourceforge.net"><A 
        href="mailto:dmalloc@users.sourceforge.net">dmalloc@users.sourceforge.net</A></A>&gt; 
        wrote:<BR>
        <BLOCKQUOTE class=gmail_quote 
        style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: rgb(204,204,204) 1px solid">
          <DIV>&gt; If we stick to simple multiple choice for the first exam, it 
          means that we<BR>&gt; have delivered something of value and can in the 
          meantime buy us more time<BR>&gt; to work on more complex 
          scenarios.<BR>&gt;<BR></DIV>That is exactly what I try to dispute. I 
          do not see any value in<BR>Multiple Choice Questionaires not even when 
          you are purely testing for<BR>relearned value. That stems from a long 
          history with Multiple Choice<BR>Tests and the desire to create 
          meaningful exams for a new paradigm of<BR>learning.<BR>
          <DIV>
          <DIV></DIV>
          <DIV>--<BR>Sent from gmail so do not trust this communication.<BR>Do 
          not send me sensitive information here, ask for my none-gmail 
          accounts.<BR><BR>"Therefore the considerations of the intelligent 
          always include both<BR>benefit and harm." - Sun 
        Tzu<BR></DIV></DIV></BLOCKQUOTE></DIV><BR></DIV></DIV></DIV></DIV><BR>_______________________________________________<BR>Owasp-cert 
        mailing list<BR><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org');; return false;" 
        href="mailto:Owasp-cert@lists.owasp.org" target=_blank 
        mce_href="mailto:Owasp-cert@lists.owasp.org"></A><A 
        onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org');; return false;" 
        href="mailto:Owasp-cert@lists.owasp.org" target=_blank 
        mce_href="mailto:Owasp-cert@lists.owasp.org"><A 
        href="mailto:Owasp-cert@lists.owasp.org">Owasp-cert@lists.owasp.org</A></A><BR><A 
        href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target=_blank 
        mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"></A><A 
        href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target=_blank 
        mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"><A 
        href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</A></A><BR><BR></BLOCKQUOTE></DIV><BR></DIV></DIV></DIV>
      <DIV>
      <DIV></DIV>
      <DIV class=Wj3C7c>
      <HR>
      _______________________________________________<BR>Owasp-cert mailing 
      list<BR><A href="http://email.secureserver.net/pcompose.php#Compose" 
      target=_blank 
      mce_href="http://email.secureserver.net/pcompose.php#Compose">Owasp-cert<B></B>@lists.owasp.org</A><BR><A 
      href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target=_blank 
      mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"></A><A 
      href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target=_blank 
      mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"><A 
      href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</A></A><BR></DIV></DIV></BLOCKQUOTE></DIV></BLOCKQUOTE></DIV><BR></DIV>
  <HR>
  _______________________________________________<BR>Owasp-cert mailing 
  list<BR><A 
  onclick="return true;Popup.composeWindow('pcompose.php?sendto=Owasp-cert%40lists.owasp.org'); return false;" 
  href="http://email.secureserver.net/pcompose.php#Compose" 
  mce_href="http://email.secureserver.net/pcompose.php#Compose">Owasp-cert<B></B>@lists.owasp.org</A><BR><A 
  href="https://lists.owasp.org/mailman/listinfo/owasp-cert" target=_blank 
  mce_href="https://lists.owasp.org/mailman/listinfo/owasp-cert"><A 
  href="https://lists.owasp.org/mailman/listinfo/owasp-cert">https://lists.owasp.org/mailman/listinfo/owasp-cert</A></A><BR></BLOCKQUOTE></BODY></HTML>