<div dir="ltr">To OWASP Board:    Here is quick update from Matt T on some research & work he had to do the past couple days on the WIKI do to HIGH Loads.<div><br></div><div>FYI Only - This is the kind of work Matt "should" be doing.  We spent time this weekend at the Staff Summit identifying some areas that can be off-loaded to other IT resource so Matt can focus on these mission critical issues.</div><div><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Best Regards, Paul Ritchie</div><div>OWASP Executive Director</div><div><a href="mailto:paul.ritchie@owasp.org" target="_blank">paul.ritchie@owasp.org</a></div><div><br></div></div></div></div></div></div>
<br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Matt Tesauro</b> <span dir="ltr"><<a href="mailto:matt.tesauro@owasp.org">matt.tesauro@owasp.org</a>></span><br>Date: Tue, Mar 8, 2016 at 4:42 PM<br>Subject: Update on wiki server issues<br>To: Paul Ritchie <<a href="mailto:paul.ritchie@owasp.org">paul.ritchie@owasp.org</a>>, Kate Hartmann <<a href="mailto:kate.hartmann@owasp.org">kate.hartmann@owasp.org</a>>, Noreen Whysel <<a href="mailto:noreen.whysel@owasp.org">noreen.whysel@owasp.org</a>>, Laura Grau <<a href="mailto:laura.grau@owasp.org">laura.grau@owasp.org</a>>, Claudia Casanovas <<a href="mailto:claudia.aviles-casanovas@owasp.org">claudia.aviles-casanovas@owasp.org</a>>, Kelly Santalucia <<a href="mailto:kelly.santalucia@owasp.org">kelly.santalucia@owasp.org</a>><br><br><br><div dir="ltr"><div>Paul and company,</div><div><br></div>There continue to be brief periods of high CPU & load on the OWASP wiki server. I've been digging through the 8.4+ million lines of the March log files for the last 2 hours and have discovered 3 contributing factors:<div><br></div><div>(1) Internet putzes running SSL configuration scanners against us.</div><div>       These are hard to deal with as they don't appear in the log files depending on which scanner someone chooses to use.</div><div>    <b>What to do</b>:  Nothing for the time being - this is already dying down (those I can see) and I expect it to continue to lesson as we get father from the latest SSL vulnerability we get.</div><div><br></div><div>(2) Internet putzes running web crawlers on the wiki</div><div>       Web crawlers start on the main page of a web site and follow every link they find.  Beyond just being annoying, these crawlers will 'view' every change on every page for the wiki.  Each crawler can generate several thousand requests to the server.  One crawler from Taiwan requested 7,000 pages in under 10 minutes.</div><div>    What to do:  I will either write a fail2ban rule or add an Apache module that will restrict or ban for ~10 minutes any person that makes too many requests per minute.  The threshold will be set far faster than any normal user would click on links.</div><div><br></div><div>(3) The wiki is taking to itself - a lot</div><div>          I also noticed a large number of requests in a short period where the wiki is making requests to itself.  These are requests that come from the wiki server to the wiki server.  Logging in MediaWiki isn't very good so I cannot tell exactly why these requests are being made.  It appears that there is 1 or more MediaWiki extension that is having problems and probably needs an update. </div><div>     What to do:  Unfortunately, there's no automated process to keep MediaWiki extensions updated so I'll need to manually verify the version of each of our extensions to see which has updates.</div><div><div><br></div><div>I've also adjusted some settings on Apache and our DB which should give us some breathing room while I continue to work on this issue.</div><div><br></div><div>Cheers!</div><div><br><div><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr">--<br>-- Matt Tesauro</div><div dir="ltr">OWASP AppSec Pipeline Lead</div><div dir="ltr"><a href="https://www.owasp.org/index.php/OWASP_AppSec_Pipeline" target="_blank">https://www.owasp.org/index.php/OWASP_AppSec_Pipeline</a> <br><div>OWASP WTE Project Lead<br><u><a href="https://www.owasp.org/index.php/OWASP_Web_Testing_Environment_Project" target="_blank">https://www.owasp.org/index.php/OWASP_Web_Testing_Environment_Project</a></u><br><a href="http://appseclive.org/" target="_blank">http://AppSecLive.org</a> - Community and Download site</div></div></div></div></div></div></div>
</div></div></div>
</div><br></div></div>