Articles:

1. Scalability Principles
2. SEDA
3. Large codebase organization with Spring
4. Building Scalability and Achieving Performance: A Virtual Panel
5. Scalability Worst Practices
6. Shard Lessons
7. Asynchronous Architectures [4]
8. Thoughts on Development
9. Hitting the scalability wall – Amdahl’s Law
10. 10 Lessons in Scalability from MySpace
11. Twitter as a scalability case study

Videos & presentations:

1. Randy Shoup on eBay’s Architectural Principles
2. Architecture Evaluation in Practice
3. Availability & Consistency
4. Architecting for Latency
5. The Design and Architecture of InfoQ
6. Architecture Quality: Operational Manageability
7. How to scale your web app
8. Behind the Scenes at MySpace.com
9. Scaling Twitter

Ця стаття розповідає про моє бачення такого “патерна” як Словник. Важливо визначитися, що саме слід вважати словником в предметній області.

Словник – це набір термінів пов’язаних між собою певною областю використання, які проте рідко змінюються. Частіше всього, словники використовуються, для того, щоб надати користувачам вибір значень з певної множити, наприклад, країну проживання, стать, посаду тощо.

Словники складаються з записів, які собою являють пару ключ-значення. В залежності від значення словники бувають простими та складними. Простий словник, це коли певному ключу відповідає одне значення, а складний словник – ключу відповідає набір значення. Наприклад, якщо коду країни відповідає тільки назва цієї країни, то цей словник є простим, де ключем виступає код країни. Прикладом складного словника є словник матеріалів, де коду товару відповідає його назва, вартість, країна виробник, маса тощо.

Складні словники можуть бути складеними. Складеним словником називається такий, в якого одне із значень є елементом іншого словниками. Наприклад, дано складний словник країн, в якому певному коду відповідають назва та код типу країни (республіка, федерація, королівство тощо). Код типу країни вказує на словник типів країн, таким чином словник країни можна вважати складеним та залежним від словника типів країн.

Рис 1 – Різні типи словників.

Словники часто використовують при розробці програмного забезпечення, адже дають можливість групувати набори даних в окремі групи, використовувати їх в групах та асоціювати певне значення з групою. В предметної області певний набір даних може бути словником, якщо він не виступає центральним в даній предметній області. Словники повинні залишатися максимально спрощеним та піддававтися мінімальним змінам в процесі використання, в той час як центральні сутності предметної можуть бути дуже складними та змінювати часто.

Чим складніший словник, тим більше програмний продукт залежить від нього. Словники можуть з часом переростати на повноцінні набори даних. При цьому збільшується або їх складності або кількість даних.

Зі словників часто починається проектування та кодування програм, вони є об’єктом перевикористання. Якщо використовувати необхідні словники спроектовані та закодовані на попередніх проектах, то можна скоротити час на написання нових проектів. Розроблений словник може виступати незалежним компонентом, але подібні компоненти буває тяжко спроектувати, адже вони вимагають гнучкості в роботі, а також тісної залежності від них іншого коду.

Існує кілька способів зберігання даних словників: набори констант, енумерації, файли, база даних тощо. Використання констант та енумерації для зберігання елементів словника пожуть значно покращити процес кодувати та збільшити читабельність коду, але при цьому частіше всього ми втрачаємо можливість швидкої зміни «захардкодженого» набору даних. Звичайно, словник статей, може бути спокійно закодований у вигляді енумерації, але словник країн ні. Те, що словники змінюються рідко не значить, що вони ніколи не міняються. В окремих випадках є необхідність добавити нові елементи або виконати корестування існуючих, і в залежності від типу програми, найкращими будуть тут зберігання словників у файлах та базах даних.

Ще однією хорошою практикою є змістовні ключі словників. Простіше працювати та підтримувати в роботі словники, що містять ключі, які легко зрозуміти та отримати інформацію про сам елемент словника. Цього тяжко досягнути якщо використовувати числові ідентифікатори. Наприклад, для словника типів кредитних карточок ключі VISA, MSTR, AMEX тощо зручніше використовувати, ніж, наприклад, 1, 2, 3. У випадку використання бази даних для зберігання словників також простіше писати запити.
Оскільки словники містять невеликі набори даних і в основному рідко змінюються, то вони частіше легко піддаються кешуванню. Але тут слід не забувати, що словники теж можуть міняти, тому програма повинна підтримувати або можливість обновити дані в кеші або виконати інвалідацію кеша або ж увімкнути підтримку дати закінчення терміни дії кешу, після якого нові дані будуть знов закешовані.

Для зберігання та використання словників можна також використовувати і інші способи. Наприклад, якщо використовується MySQL, то для роботи із таблицями з словниками можна використвувати MyISAM engine, адже він найкраще підходить для даних, що рідко змінуюються, але частіше зчитуються. Таблиці із словниками частіше піддаються повному кешуванню СУБД, а використання сладених індексів на всі колонки БД може взагалі позбавити необхідность у фізичному вводі-виводі. Збереження словників у базі даних та використання зовнішніх ключів покращує цілісність даних, і знову ж таки, не сильно впливає на ресурси для виконання запитів.

Well, the task is simple enough:

1. build secured web service for mostly getting and sometimes posting data;
2. REST interface is required
   • but SOAP could be added later (I think that if you build SOAP web service you should wait that you’ll need to provide REST API for this web service too and vise versa).

As web service is build with REST philosophy, than we need to support processing of GET, POST (well, for me it’s enough) requests and return data as XML or JSON. Spring MVC as well others REST web service frameworks and API help with this too. So, what’s next?

As application is build with Spring 2.5, it was the best to have some framework for building REST web service easily and easily to integrate it with Spring. Not a secret, that Spring MVC integrates with Spring better that any other web framework or REST web service framework (hm, maybe it’s because it is build on Spring). Well, this is cons for using Spring MVC and it is good, but truly – this not enough yet.

Yet one requirement: SOAP web service could be added later. And if it could be added than (in most cases) it will be added. This is important, very important, because we want to build easy-to-extend software. And in case of SOAP WS I prefer to use Spring WS, that is well integrated with Spring MVC. Need also to take into consideration that some REST web service frameworks hardly integrates with Spring MVC or wanted to process all requests. That is a great pros for using Spring MVC.

You may understand what I’m implying. Yes, Spring MVC will be used to build RESTful web service.

Architecture

The main goals of architecture are:

• be scalable (not to much, but enough to process thousands of requests per hour)
• be extendable (SOAP must be easy to add)
• do what is required and nothing more

Next decisions were made:

• request should be stateless
• each request should be processed as quick as possible
• there will be 2 levels of caching: one cache for entities and queries (used by web service backend service), and another cache for rendered XML response (used by web service endpoint).
• everything that could be changed is configured through simple XML configuration (i.e. cache configuration, security configuration, business logic configuration etc.)

The main result of made decisions & rules is request processing lifecycle, that consists of next few phases:

1. Authentification & Authorization (security filter)
2. Getting request parameters. Web service endpoint (in our case it is SpringMVC controller) parses request parameters and validates them.
3. If everything is okay than it tries to get XML response from cache and sends it as response to the client. This step is optional and is processed only if cache is enabled and client does not specify request as such that ignores cache.
4. Endpoint determines the appropriate WebService backend service and run it and get results.
5. Endpoint converts results into XML, prepare response and stores it at cache (if cache is enabled). After the XML response is send back to client.

So, if the request response is cached in 2nd or 1st cache levels, than response will be generated without hitting database. In my development environment caching helps to increase performance up to 1500%. In production this number is less – just 300-500%. Still these is very well.

This lifecycle helps to build a scheme of responsibilities and modules. Later each responsibility could be processed by own server or a set of servers.

Simple implemenation

Spring 2.5 gave us possibility to use annotations as for declaring services as for declaring SpringMVC controllers. Spring’s annotations Controller, RequestMapping, RequestParam and flexible politic on request handle method parameters gives us brilliant instrument for building web service endpoint.
Ofcourse, hardcoding of URLs in annotations looks as not the best way for building flexible and configurable application. But, this is quite pardonable, because we will use UrlRewriteFilter. UrlRewriteFilter is very useful tool, as it will helps to rewrite URLs, get parameters from URL and do other interesting things. But for our the most important are next 2 features:

1. flexibility while mapping external URLs (used by users) to internal URLS (processed by endpoint controllers)
2. possibility to catch parameters from URL, e.g. http://example.com/book/edit/12 ->
   http://exampl.com/book/edit?boodId=12 etc.

Lets look how we could use this features:
Let we have RESTful web service that returns XML with information with specified by id book. Web service clients could get this information by requesting url
http://ourservice.com/ws/rest/book/{bookId} (e.g. http://ourservice.com/ws/rest/book/12). Our application should handle this call and the information about book wit specified id.

Here is our web service controller:

@Controllerpublic class WebServiceEndpoint {

     @Autowired     private BookService bookService;

     @RequestMapping(value = "webservice/book", methods = RequestMethod.GET)
     public ModelAndView getBook(@RequestParam(name="bookID", required=true)int bookId, Map<String, Object> model) {
           model.put("book", bookService.getBookById(bookId));         return new ModelAndView("template/ws/bookInfo", model);
     }
}

Code is very simple, but it’s good as for sample.

So, we have controller that processes all GET requests for 'webservice/book' resource, that should have request parameter of type integer with name ‘bookID’. Endpoint just call backend service, gets information about book, put it to model map and return the ModelAndView instance with simple template that will be rendered and returned to client.

This endpoint controller can’t be default process web service request. To redirect web service client request to our endpoint we will use UrlRewriteFilter

     <rule>
       <from>^/ws/rest/book/[0-9]+$</from>
       <to>/webservice/book?bookID=$1</to>
     </rule>

so request for resource http://ourservice.com/ws/rest/book/12 will be rewrited by filter to http://ourservice.com/webservice/book?bookID=12.

Simple, but important.
var dzone_url = ‘http://java-ua.blogspot.com/2009/01/for-long-time-one-of-scores-of-software.html’;
var dzone_title = ‘You and your’s sofware expansibility.’;
var dzone_style = ’1′;

In file web.xml add the freemarker configuration.

<servlet>        <servlet-name>pages</servlet-name>        <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class></servlet>

 <servlet-mapping>        <servlet-name>pages</servlet-name>        <url-pattern>*.page</url-pattern> </servlet-mapping>

<servlet>        <servlet-name>freemarker</servlet-name>        <servlet-class>freemarker.ext.servlet.FreemarkerServlet</servlet-class>

        <init-param>            <param-name>TemplatePath</param-name>            <param-value>/</param-value>        </init-param>        <init-param>            <param-name>NoCache</param-name>            <param-value>true</param-value>        </init-param>        <init-paramv            <param-name>ContentType</param-name>            <param-value>text/html</param-value>        </init-param>

        ....

        <load-on-startup>1</load-on-startup></servlet>

<servlet-mapping>        <servlet-name>freemarker</servlet-name>        <url-pattern>*.ftl</url-pattern></servlet-mapping>

And here is the important part *-servlet.xml configuration:

<!-- Tiles 2 configuration--><bean id="tilesConfigurer" class="org.springframework.web.servlet.view.tiles2.TilesConfigurer">        <property name="definitions">            <list>                <!-- the tiles configuration files are declared here -->                 <value>/WEB-INF/defs/general.xml</value>                <value>/WEB-INF/defs/secure.xml</value>            </list>        </property></bean>

<bean id="tilesViewResolver" class="com.javaua.spring.integration.ext.ExtUrlBasedViewResolver">    <property name="viewClass" value="com.javaua.spring.integration.ext.ExtTilesView"/>    <property name="exposeSpringMacroModel" value="true"/></bean>

<bean id="viewResolver" class="org.springframework.web.servlet.view.freemarker.FreeMarkerViewResolver">    <property name="cache" value="true"/>    <property name="prefix" value=""/>    <property name="suffix" value=".ftl"/>    <!-- if you want to use the Spring FreeMarker macros, set this property to true -->    <property name="exposeSpringMacroHelpers" value="true"/></bean>

<!-- Controller that returns view = /layout/header --><bean name="/layout/header.page" class="au.com.at2.web.spring.HeaderController"/>

Also show here the part of general.xml file where Tiles definitions are set up.:

<definition name="home" extends="default">        <put-attribute name="title" value="Home Page"/>        <put-attribute name="body" value="/templates/home.ftl"/></definition><definition name="default" template="/templates/main.ftl">        <put-attribute name="header" value="/layout/header.page"/>        <put-attribute name="footer" value="/templates/layout/footer.ftl"/></definition><definition name="/layout/header" template="/templates/layout/header.ftl"/>

Source code of com.javaua.spring.integration.ext.ExtUrlBasedViewResolver class:

import org.springframework.core.Ordered;import org.springframework.web.servlet.View;import org.springframework.web.servlet.view.AbstractUrlBasedView;import org.springframework.web.servlet.view.UrlBasedViewResolver;

public class ExtUrlBasedViewResolver extends UrlBasedViewResolver implements Ordered {

    private boolean exposeSpringMacroModel = false;

    public void setExposeSpringMacroModel(boolean exposeSpringMacroModel) {        this.exposeSpringMacroModel = exposeSpringMacroModel;    }

    protected View loadView(String viewName, Locale locale) throws Exception {        AbstractUrlBasedView view = buildView(viewName);        View viewObj = (View) getApplicationContext().getAutowireCapableBeanFactory().initializeBean(view, viewName);

        if (viewObj instanceof ExtTilesView) {            ExtTilesView tilesView = (ExtTilesView) viewObj;            tilesView.setExposeSpringMacroModel(exposeSpringMacroModel);        }

        return viewObj;    }

Source code of com.javaua.spring.integration.ext.ExtTilesView class:

import org.springframework.web.servlet.view.tiles2.TilesView;import org.springframework.web.servlet.view.AbstractTemplateView;import org.springframework.web.servlet.support.RequestContext;

import javax.servlet.http.HttpServletResponse;import javax.servlet.http.HttpServletRequest;import javax.servlet.ServletException;import java.util.Map;

public class ExtTilesView extends TilesView {

    private boolean exposeSpringMacroModel = false;

    public void setExposeSpringMacroModel(boolean exposeSpringMacroModel) {        this.exposeSpringMacroModel = exposeSpringMacroModel;    }

    @SuppressWarnings("unchecked")    protected final void renderMergedOutputModel(Map model, HttpServletRequest request,                                                 HttpServletResponse response) throws Exception {

        if (exposeSpringMacroModel) {            if (model.containsKey(AbstractTemplateView.SPRING_MACRO_REQUEST_CONTEXT_ATTRIBUTE)) {                throw new ServletException(                        "Cannot expose bind macro helper '" +                        AbstractTemplateView.SPRING_MACRO_REQUEST_CONTEXT_ATTRIBUTE +                        "' because of an existing model object of the same name");            }            model.put(AbstractTemplateView.SPRING_MACRO_REQUEST_CONTEXT_ATTRIBUTE,                    new RequestContext(request, getServletContext(), model));        }

        super.renderMergedOutputModel(model, request, response);    }}

Why we need those two classes? Simple enough. Class ExtTilesView exposes Spring macro model which is required when using standard macros used to support work with Freemarker and Velocity typelate frameworks. And the class ExtUrlBasedViewResolver helps us to prevent view-not-found-error. Because, standard UrlBasedViewResolver is used for getting tiles view, it will throw an error when view with specified name is not found. In my case, I have two view resolvers and each will throw an error if view can’t be found.
And FreeMarkerViewResolver will request for the file, while tiles requests just for XML definition. That’s why I’ve ran the tiles view resolver as first one.
var dzone_url = ‘http://java-ua.blogspot.com/2009/01/spring-mvc-freemarker-tiles-2.html’;
var dzone_title = ‘Spring MVC + FreeMarker + Tiles 2′;
var dzone_style = ’1′;

• SerialGC – встановлена по дефолту, працює найкраще якщо на машині тільки один процесор, коли виконуєть збір сміття, то програма тормозить, адже в даний момент вона не відповідає.
• ParallelGC – використовується можливість виконувати мінорний (minor) збір сміття в паралельних потоках. Програма здатна відповідати на запити клієнта в момент збору сміття
• ParallelOldGC – виконує мажорний (major) збір сміття в паралельних потоках
• ConcMarkSweepGC – В даному випадку постійно відбувається збір сміття, програма не тормозить при зборах сміття, як це можна замітити в 3 попередніх випадках.

Таким чином, я вирішив переконфігурувати для прикладу IntellijIdea, що я використовую.

-Xms256m
-Xmx512m
-XX:MaxPermSize=120m
-XX:+UseConcMarkSweepGC
-ea
-Dawt.useSystemAAFontSettings=lcd


Для покращення швидкодії роботи, можна також установити значення ms = mx, так щоб

-Xms512m
-Xmx512m
-XX:MaxPermSize=120m
-XX:+UseConcMarkSweepGC
-ea
-Dawt.useSystemAAFontSettings=lcd


Ресурси

• Java SE 6 HotSpot[tm] Virtual Machine Garbage Collection Tuning – із серії must-read
• Java HotSpot VM Options – якось давно шукав подібну документацію, тепер повезло більше – знашов.
• Tuning Garbage Collection Outline – цікава підбірка фактів про GC

enum DAYS {  MON, TUE,  WED, THU,   FRI, SAT,   SUN;

  public String is() {     return "working";  }}

Що ж, MON.is().equals("working") має бути істинним; але подібне тяжко сказати, наприклад, для SUN.is().equals("working").
Звичайно тепер ми можемо визначити enum наступним чином:

enum DAYS {  MON, TUE,  WED, THU,   FRI,   SAT {     public String is() {        return "week-end, day 1";     }  },  SUN {     public String is() {        return "week-end, day 2";     }  };

  public String is() {     return "working";  }}

І все, тепер SUN.is().equals("week-end, day 2") == true.
Проблема вирішена, при чому, без збереження зайвого поля – вказівника на рядок.

I was thinking about changing used OS from Windows to Mac OS X or to Linux (Ubuntu) a very long time already. But just now found free day to move.
Still, If I’ll not find the solution with java update and sound bad work then I’ll become Linux (Ubuntu) user.