<P>Thank you Bob for the heads up.</P><P>Who else needs to know about this? &nbsp;Oppenheimer? &nbsp;Haefner? &nbsp;Larry Baker?</P><P>Please advise, best to call me on my cell 650-644-5927.</P><P>Tom</P><P>&nbsp;</P><P>Tom Brocher<BR>Team&nbsp;Chief Scientist<BR>Earthquake&nbsp;Hazards Team<BR>W:&nbsp;(650) 329-4737, Cell: (650) 644-5927, Fax: (650) 329-5617<BR>brocher@usgs.gov<BR><BR>U.S.&nbsp;Geological Survey, MS 977<BR>345&nbsp;Middlefield Road, Menlo Park, CA 94025<BR><BR><BR></P><P>&nbsp;<BR><FONT SIZE=2 STYLE=font-size:9pt><B>Robert Simpson &lt;simpson@usgs.gov&gt;</B></FONT><BR><FONT SIZE=2 STYLE=font-size:9pt>10/19/2008 10:43 MST</FONT><BR><BR>&nbsp;<FONT SIZE=2 STYLE=font-size:9pt>To</FONT> &nbsp; <FONT SIZE=2 STYLE=font-size:9pt>Thomas Brocher M &lt;brocher@usgs.gov&gt;, McCarthy Jill &lt;jmccarthy@usgs.gov&gt;</FONT><BR>&nbsp;<FONT SIZE=2 STYLE=font-size:9pt>cc</FONT> &nbsp; <FONT SIZE=2 STYLE=font-size:9pt>Jeff A Brody &lt;jbrody@usgs.gov&gt;, EHP Web &lt;EHPweb@geohazards.usgs.gov&gt;, Wald Lisa &lt;lisa@usgs.gov&gt;, Gary L Welch &lt;gwelch@usgs.gov&gt;</FONT><BR>&nbsp;<FONT SIZE=2 STYLE=font-size:9pt>bcc</FONT> &nbsp; <BR>&nbsp;<FONT SIZE=2 STYLE=font-size:9pt>Subject</FONT> &nbsp; <FONT SIZE=2 STYLE=font-size:9pt>quake.usgs.gov not updating</FONT><BR>&nbsp; <BR><BR></P><P><FONT FACE="Monospace,Courier">Hi Tom and Jill,<BR></FONT><BR><FONT FACE="Monospace,Courier">In case there is a Northern California earthquake today, you should be<BR>aware&nbsp;that the quake.usgs.gov webpages are not updating. The 3<BR>Earthquake&nbsp;Hazards Program &quot;quake&quot; servers ehznorth.wr.usgs.gov,<BR>ehzden.cr.usgs.gov,&nbsp;and ehzeast.er.usgs.gov aren't getting earthquake<BR>information&nbsp;from the QDDS hubs.<BR></FONT><BR><FONT FACE="Monospace,Courier">The earthquake.usgs.gov webpages appear to be working OK at the moment.<BR></FONT><BR><FONT FACE="Monospace,Courier">I reported network problems last night to x4444 and got an email from<BR>Jeff&nbsp;Brody reporting that there appears to be a problem with one of<BR>the&nbsp;Domain Name Servers. &nbsp;It's a mystery to me why the failure of a<BR>single&nbsp;domain name server would affect our quake servers in Denver and<BR>Reston,&nbsp;but I suppose it's not impossible. &nbsp;(If so, we have another<BR>single&nbsp;point of failure.<BR></FONT><BR><FONT FACE="Monospace,Courier">I also call the ENS NOSC number last night (866-376-6672) thinking<BR>that&nbsp;the problem might be a USGS network problem. &nbsp;The problem was<BR>assigned&nbsp;a ticket number (see attached).<BR></FONT><BR><FONT FACE="Monospace,Courier">Sorry, but I don't know what to do next. &nbsp;If there's an earthquake,<BR>we're&nbsp;in trouble.<BR></FONT><BR><FONT FACE="Monospace,Courier">Bob<BR>simpson@usgs.gov<BR>(650)-329-4865&nbsp; (home)<BR>(650)-322-9322&nbsp; (office)</FONT><BR><BR><BR><FONT FACE="Monospace,Courier">On Oct 19, 2008, at 12:39 AM, Jeff A Brody wrote:<BR></FONT><BR><FONT FACE="Monospace,Courier">&gt;<BR>&gt;<BR>&gt;<BR>&gt;<BR>&gt;&nbsp;Hi Bob,<BR>&gt;<BR>&gt;&nbsp;I received your message this evening at about 11:30pm. &nbsp;The problem<BR>&gt;&nbsp;appears<BR>&gt;&nbsp;to be related a problem with the Domain Name Server - 130.118.4.2.<BR>&gt;&nbsp;I'm confirming this.<BR>&gt;&nbsp;For the interim, referencing the 130.118.4.7 server works.<BR>&gt;<BR>&gt;&nbsp;Jeff<BR>&gt;<BR></FONT><BR><FONT FACE="Monospace,Courier">---------------------------<BR>From:&nbsp;&quot;Tait, Michael R&quot; &lt;michael.r.tait@verizonbusiness.com&gt;<BR>Date:&nbsp;October 19, 2008 12:27:53 AM PDT<BR>To:&nbsp;Robert Simpson &lt;simpson@usgs.gov&gt;<BR>Cc:&nbsp;David Oppenheimer H &lt;oppen@usgs.gov&gt;, Wald Lisa &lt;lisa@usgs.gov&gt;,<BR>Christopher&nbsp;Bidwell &lt;cbidwell@usgs.gov&gt;, doinoc@lists.mci.com<BR>Subject:&nbsp;RE: Requesting trace routes from Source to Destination<BR></FONT><BR><FONT FACE="Monospace,Courier">Mr. Simpson,<BR></FONT><BR><FONT FACE="Monospace,Courier">I’ve opened ticket 2008101901243. &nbsp; I haven’t determined or<BR>isolated&nbsp;the cause of the reported problem. &nbsp;At this time I am<BR>referring&nbsp;to 2nd level to review ticket in the morning.<BR></FONT><BR><FONT FACE="Monospace,Courier">Thanks,<BR></FONT><BR><FONT FACE="Monospace,Courier">Michael Tait<BR>Verizon&nbsp;Business ESN NOSC<BR>866-376-6672<BR></FONT><BR><BR><BR><FONT FACE="Monospace,Courier">From: Robert Simpson [<A HREF=mailto:simpson@usgs.gov>mailto:simpson@usgs.gov</A>]<BR>Sent:&nbsp;Sunday, October 19, 2008 2:13 AM<BR>To:&nbsp;Tait, Michael R<BR>Cc:&nbsp;David Oppenheimer H; Wald Lisa; Christopher Bidwell<BR>Subject:&nbsp;Re: Requesting trace routes from Source to Destination<BR></FONT><BR><FONT FACE="Monospace,Courier">Hi Mike,<BR></FONT><BR><FONT FACE="Monospace,Courier">Here are the 3 hubs:<BR></FONT><BR><FONT FACE="Monospace,Courier">host qdds1.wr.usgs.gov<BR>qdds1.wr.usgs.gov&nbsp;has address 130.118.43.18<BR></FONT><BR><FONT FACE="Monospace,Courier">host qdds2.er.usgs.gov<BR>qdds2.er.usgs.gov&nbsp;has address 130.11.56.112<BR></FONT><BR><FONT FACE="Monospace,Courier">host dmc.iris.washington.edu<BR>dmc.iris.washington.edu&nbsp;has address 128.95.166.129<BR></FONT><BR><FONT FACE="Monospace,Courier">And here are 3 traceroutes, the last one which is still working...<BR></FONT><BR><FONT FACE="Monospace,Courier">pascal:9&gt; &nbsp;traceroute ehznorth.wr.usgs.gov<BR>traceroute&nbsp;to ehznorth.wr.usgs.gov (130.118.61.120), 64 hops max, 40<BR>byte packets</FONT></P><UL><FONT FACE="Monospace,Courier">1 &nbsp;salt5-l3-vlan22 (130.118.22.215) &nbsp;4.167 ms &nbsp;0.411 ms &nbsp;0.299 ms<BR>2&nbsp; ehznorth (130.118.61.120) &nbsp;0.181 ms &nbsp;0.242 ms &nbsp;0.178 ms</FONT><BR></UL><P><FONT FACE="Monospace,Courier">pascal:10&gt; &nbsp;traceroute ehzeast.er.usgs.gov<BR>traceroute&nbsp;to ehzeast.er.usgs.gov (130.11.44.114), 64 hops max, 40<BR>byte packets</FONT></P><UL><FONT FACE="Monospace,Courier">1 &nbsp;salt5-l3-vlan22 (130.118.22.215) &nbsp;4.205 ms &nbsp;0.354 ms &nbsp;0.241 ms<BR>2 &nbsp;mpj1-ca-f000.usgs.net (130.118.12.116) &nbsp;2.939 ms &nbsp;0.904 ms &nbsp;0.848</FONT></UL><P><FONT FACE="Monospace,Courier">ms<BR>3&nbsp; 198.187.220.102 (198.187.220.102) &nbsp;66.595 ms &nbsp;66.583 ms &nbsp;66.405 ms<BR>4&nbsp; 130.11.7.249 (130.11.7.249) &nbsp;66.497 ms &nbsp;66.483 ms &nbsp;66.395 ms<BR>5&nbsp; ehzeast.er.usgs.gov (130.11.44.114) &nbsp;66.593 ms &nbsp;66.677 ms &nbsp;66.585</FONT><BR><FONT FACE="Monospace,Courier">ms<BR></FONT><BR><FONT FACE="Monospace,Courier">pascal:11&gt; &nbsp;traceroute ehzden.cr.usgs.gov<BR>traceroute&nbsp;to ehzden.cr.usgs.gov (137.227.224.73), 64 hops max, 40<BR>byte packets</FONT></P><UL><FONT FACE="Monospace,Courier">1 &nbsp;salt5-l3-vlan22 (130.118.22.215) &nbsp;4.109 ms &nbsp;0.342 ms &nbsp;0.241 ms<BR>2&nbsp; mp1-ca-f100.usgs.net (130.118.12.117) &nbsp;3.161 ms &nbsp;1.009 ms &nbsp;0.808 ms<BR>3&nbsp; 198.187.220.123 (198.187.220.123) &nbsp;28.620 ms &nbsp;28.677 ms &nbsp;28.699 ms<BR>4&nbsp; * * *<BR>5&nbsp; * * *<BR>6&nbsp; * * *<BR>7&nbsp; * * *<BR>8&nbsp; * * *<BR>9 &nbsp;* * *</FONT></UL><P><FONT FACE="Monospace,Courier">10 &nbsp;* * *<BR>11&nbsp; * * *<BR>12&nbsp; * * *<BR>13&nbsp; * * *<BR>14&nbsp; * * *<BR>15&nbsp; * * *<BR>16&nbsp; * * *<BR>17&nbsp; * * *<BR>18&nbsp; * * *<BR>19&nbsp; * * *<BR>20&nbsp; * * *<BR></FONT><BR><BR><FONT FACE="Monospace,Courier">On Oct 18, 2008, at 10:59 PM, Tait, Michael R wrote:<BR></FONT><BR><BR><FONT FACE="Monospace,Courier">Mr. Simpson<BR></FONT><BR><FONT FACE="Monospace,Courier">To help isolate any possible capacity, latency or routing issue; can<BR>you&nbsp;please supply us with trace routes from your source ip address to<BR>each&nbsp;server? &nbsp; Could you also supply the ip addresses of the hubs that<BR>feed&nbsp;the servers?<BR></FONT><BR><FONT FACE="Monospace,Courier">Thanks,<BR></FONT><BR><FONT FACE="Monospace,Courier">Michael Tait<BR>Verizon&nbsp;Business ESN NOSC<BR>866-376-6672<BR></FONT><BR><BR><BR></P>