<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
  <meta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">
</head>
<body bgcolor="#ffffff" text="#000000">
Hello Mike and all-<br>
I'm the lucky guy in the middle of planning for the receipt of the
CFSRR (the next reanal) at NCDC.&nbsp; I have asked the data be provided to
us in Grib2 to save space.&nbsp; The number you are stating are correct-
approximately 915TB in Grib1 so there is an approximate 40-50%
reduction.&nbsp;&nbsp; NCDC and NCEP conducted a User Workshop at AMS Town Hall
on Jan 21.&nbsp; The slides I prepared for our Director and working with
NCEP are attached (and the numbers are listed as <u>Grib1</u> for
consistency)<br>
<br>
What I and others here planning for this dataset is that we would like
to hear how some of these data could be best organized.&nbsp; Our suggested
file level is attached in the presentation (not sure gradsusr list will
pass the presentation thru however).&nbsp; In any event- NCDC plans to make
as much of this avbl when it's released to the public in June of 2009
(as I understand it from NCEP).&nbsp; SOme I want on disk (about 150TB for
on-line access) via NOMADS, and the rest will have to be staged off
from tape.&nbsp; Hope this helps. Glenn &nbsp; &nbsp; &nbsp; <br>
<br>
Mike Bosilovich wrote the following on 1/30/2008 8:53 AM:
<blockquote
 cite="mid:79aecae70801300553t1c76ab13ne8b5804fda9bc490@mail.gmail.com"
 type="cite">Thanks for the prompt reply Brian,<br>
  <br>
I realize and greatly appreciate the amount of work you, Jennifer and
others have done, with very little support. Grads is a great tool,
hands down. And I tell that to anyone who will listen.<br>
  <br>
I assumed that you all, as developers, would like feedback on what
users need to do. Lats4d fills a very important role in my work, and I
expect others as well. I wanted to pass on a point of view. Certainly,
I'm not trying to tell you what you must do, only providing feedback on
the capability that I find useful. <br>
  <br>
Now, as for what Jennifer said, there was a post that says lats will
not be supported. That was the impetus for my post. If I misunderstood,
and there will be lats4d capability in some way, I apologize for over
reacting.<br>
  <br>
In any event, I also need to clarify my statement on the new NCEP
reanalysis. They will have 1000TB of Grib1 format data at NCDC (this is
still changing, as I understand). In Grib2, it comes down to 500Tb or
so. For what that's worth, it's still immense. I got the sense that
they are planning on grib1, because of the lack of utilities with grib2
capability.<br>
  <br>
Again, this is merely my opinion as a user, and I hoped the opinion and
the information would be useful to the developers. <br>
  <br>
Sincerely,<br>
  <br>
Mike Bosilovich<br>
  <br>
  <div class="gmail_quote">On Jan 29, 2008 10:02 PM, Brian Doty &lt;<a
 moz-do-not-send="true" href="mailto:doty@cola.iges.org">doty@cola.iges.org</a>&gt;
wrote:<br>
  <blockquote class="gmail_quote"
 style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Mike,
the new Version 2 of GrADS is being released in alpha version<br>
and incomplete so that people would have access to the new GRIB2<br>
support. &nbsp; With no funding for many years and key personnel working<br>
limited part time hours we do not have the resources to support old<br>
code and also move forward to provide essential new functionality for<br>
present and future research needs. &nbsp;GrADS development first started<br>
in the late 1980s and it has taken us several years of work to clean<br>
up the 15 years of accumulated mods and patches on top of the<br>
original code base in order to come out with a new code base so we<br>
could move forward. &nbsp; I have made every effort over the years to<br>
ensure upward compatibility and maintain stability. &nbsp;There is no way<br>
that a 20 year old code base can be patched and hacked for another 20<br>
years or even 5 years and maintain stability and still support the<br>
100TB data sets you talk about and the other projects probably in the<br>
pipeline. &nbsp; As new versions of data formats appear -- grib2, hdf5,<br>
new netcdf on the way, etc --- &nbsp;we have no choice. &nbsp;We cannot keep<br>
using old libraries and maintain them ourselves. &nbsp;We cannot patch and<br>
hack old code that we didn't write to begin with and which in some<br>
cases has restrictive copyrights.<br>
    <br>
As I say, version 2 as it stands now is incomplete. &nbsp; Key areas of<br>
functionality which need to be re-implemented have not yet been<br>
done. &nbsp;Other major parts of grads have not yet been upgraded, such as<br>
the graphics package. &nbsp; As Jennifer said in her original email, the<br>
output of various data formats is high on the list of things yet to<br>
be done... &nbsp; Brian<br>
    <div>
    <div class="Wj3C7c"><br>
On Jan 29, 2008, at 4:34 PM, Mike Bosilovich wrote:<br>
    <br>
&gt;<br>
&gt; I have to admit an ignorance to some of the inner workings of Grads<br>
&gt; development. But I am quite surprised to hear that lats4d is not<br>
&gt; presently supported in Grads 2.<br>
&gt;<br>
&gt; I have been using Grads for 10 years now (I can still recall the<br>
&gt; relief after years of ncargf77 programming :-) Of course, I still<br>
&gt; write code when appropriate, but grads and lats4d have been the<br>
&gt; main tools in my work. Lats4d fills a critical void. By pointing it<br>
&gt; at any grads formatted file (netcdf, hdf, binary or grib), I can<br>
&gt; reformat the data to what ever a colleague may need. I can also,<br>
&gt; easily, no, effortlessly subset variables space or time. Coupled<br>
&gt; with a call to regrid, this subsetting utility is beyond compare.<br>
&gt; In a c shell, it can rip through huge data files with simplicity. I<br>
&gt; hope this does not sound like exaggeration, lats4d is the strongest<br>
&gt; data tool I have used.<br>
&gt;<br>
&gt; In our office, we have just begun production of a new reanalysis<br>
&gt; data product. While it will take some time to complete, we are<br>
&gt; beginning to develop examples on how users can access and analyze<br>
&gt; the data. Comparison with other reanalyses is obvious and will be<br>
&gt; in high demand. To accomplish that, they will need to regrid our<br>
&gt; data sets to the existing coarser reanalysis data sets. Or, they<br>
&gt; may need to change the format out of our native HDF. The easiest<br>
&gt; way to explain to others how to do this is with lats4d.<br>
&gt;<br>
&gt; There will be 100Tb of reanalysis data available through a GDS.<br>
&gt; With Lats4d and gradsdods (or gradsdap), this would be much more<br>
&gt; accessible. Users, with some examples, will access the data through<br>
&gt; online capabilities, rather than bulk downloading of the native HDF<br>
&gt; files (a throttle may be needed for access if that is the preferred<br>
&gt; by users). In addition, a plan is being prepared to develop a DVD,<br>
&gt; similar to the NCEP reanalyses CD and NARR DVD. Personally, I would<br>
&gt; like to see a flavor of grads and lats4d included therein<br>
&gt; (admittedly, I have not gotten to discuss this with the grads<br>
&gt; developers yet).<br>
&gt;<br>
&gt; It doesn't stop there. At AMS last week, NCEP and NCDC held a town<br>
&gt; hall meeting to discuss their plans for the next reanalyses. They<br>
&gt; expect to have nearly 1000Tb of data from three different<br>
&gt; reanalyses, and their production has also started. I don't see<br>
&gt; storage as a barrier, but bandwidth is. Too many users making too<br>
&gt; many big requests will limit accessibility. Lats4d access to their<br>
&gt; GDS will become an important function.<br>
&gt;<br>
&gt; Again, I have to admit I do not know the extent of the issues here.<br>
&gt; By necessity, I will have to use versions of grads that include<br>
&gt; lats4d not only in my work, but as I show other how to use our<br>
&gt; data. I felt the need to speak up and I hope that these issues will<br>
&gt; be considered.<br>
&gt;<br>
&gt; A sincere grads and lats4d user,<br>
&gt;<br>
&gt; Mike Bosilovich<br>
&gt;<br>
    </div>
    </div>
  </blockquote>
  </div>
  <br>
</blockquote>
<br>
<pre class="moz-signature" cols="72">--
Glenn K. Rutledge
Services Team Leader
Remote Sensing and Applications Division
NOMADS Project Manager
National Oceanic and Atmospheric Administration
National Climatic Data Center
151 Patton Ave
Asheville NC 28801
Phone: (828) 271-4097
Fax: (828) 271-4328

NOMADS: <a class="moz-txt-link-freetext" href="http://nomads.ncdc.noaa.gov/">http://nomads.ncdc.noaa.gov/</a>
</pre>
</body>
</html>