#Parrot 3.1.0 "Budgerigar" Released! | Ruby on Parrot, Javascript on Parrot, IPv6 is now supported and tested. - L<link|http://parrot.org/news/2011/Parrot-3.1.0>


#Parrot 3.1.0 "Budgerigar" Released! | Ruby on Parrot, Javascript on Parrot, IPv6 is now supported and tested.


TITLE

DESCRIPTION

comment

=begin comment :src
{
  "from": {
    "id": "zag",
    "type": "user",
    "name": "углы «Исимуры»"
  },
  "via": {
    "url": "http://friendfeed.com/share/bookmarklet",
    "name": "Bookmarklet"
  },
  "id": "e/20febce8449e4a929b72a66569700943",
  "url": "http://friendfeed.com/zag/20febce8/parrot-3-1-0-budgerigar-released-ruby-on",
  "date": "2011-02-16T10:00:33Z",
  "rawBody": "#Parrot 3.1.0 \"Budgerigar\" Released! | Ruby on Parrot, Javascript on Parrot, IPv6 is now supported and tested.",
  "body": "<a href=\"http://friendfeed.com/search?q=%23Parrot\">#Parrot</a> 3.1.0 &quot;Budgerigar&quot; Released! | Ruby on Parrot, Javascript on Parrot, IPv6 is now supported and tested. - <a rel=\"nofollow\" href=\"http://parrot.org/news/2011/Parrot-3.1.0\" title=\"http://parrot.org/news/2011/Parrot-3.1.0\">http://parrot.org/news...</a>",
  "rawLink": "http://parrot.org/news/2011/Parrot-3.1.0",
  "likes": [
    {
      "from": {
        "name": "Анатолий Шарифулин",
        "id": "sharifulin",
        "type": "user"
      },
      "date": "2011-02-16T19:21:10Z"
    },
    {
      "from": {
        "type": "user",
        "id": "kkapp",
        "name": "alex@kapranoff.ru"
      },
      "date": "2011-02-16T14:58:08Z"
    }
  ]
}
=end comment


root

RT @PerlDancer: Dancer talk scheduled at "Perl Bulgaria" 2011 http://event.perlrussia.org/sofia2011/talk/99 - L<link|http://twitter.com/zagru/statuses/37835103627513856>


RT @PerlDancer: Dancer talk scheduled at "Perl Bulgaria" 2011 http://event.perlrussia.org/sofia2011/talk/99


=begin comment :src
{
  "rawLink": "http://twitter.com/zagru/statuses/37835103627513856",
  "body": "RT @<a rel=\"nofollow\" href=\"http://twitter.com/PerlDancer\">PerlDancer</a>: Dancer talk scheduled at &quot;Perl Bulgaria&quot; 2011 <a rel=\"nofollow\" href=\"http://event.perlrussia.org/sofia2011/talk/99\" title=\"http://event.perlrussia.org/sofia2011/talk/99\">http://event.perlrussia.org/sofia20...</a>",
  "id": "e/56f2fdc7f0202cdee7c37ab05f8ab89b",
  "date": "2011-02-16T11:26:06Z",
  "rawBody": "RT @PerlDancer: Dancer talk scheduled at \"Perl Bulgaria\" 2011 http://event.perlrussia.org/sofia2011/talk/99",
  "url": "http://friendfeed.com/zag/56f2fdc7/rt-perldancer-dancer-talk-scheduled-at-perl",
  "from": {
    "type": "user",
    "id": "zag",
    "name": "углы «Исимуры»"
  },
  "via": {
    "url": "http://twitter.com/zagru/statuses/37835103627513856",
    "name": "Twitter"
  }
}
=end comment


Image

Прежде чем приступить к изучению социального робота, полезно знать о его элементной базе. Это поможет сосредоточиться на логике его работы. Библиотека C<Flow> способствует созданию простых и независимых компонент, на основе которых можно строить сложные композиции.


Flow - потоковая обработка данных


В разработке используются в основном 2 приема обработки данных: либо загрузка всех данных в оперативную память, либо обработка небольшими порциями по мере чтения. Первый способ прост и годится для небольших объемов, второй - сложнее, но является единственным решением при обработке больших объемов данных.


Оба подхода к обработке данных можно встретить, например, при обработке XML. К первому типу относится библиотека C<XML::LibXML>. К потоковым относятся C<XML::Parser>, C<XML::SAX>, C<XML::ExtOn>. На основе потоковой библиотеки C<XML::ExtOn> построена, например, реализация C<Perl6::Pod>.


Однако все больше приходится использовать потоковую обработку не только в отношении XML. И тут такие сущности, как пространства имен и тэги оказываются лишними. Для подобных случаев я создал библиотеку Flow N<Flow - библиотека для обработки потока данных. L<http://search.cpan.org/perldoc?Flow| http://search.cpan.org/perldoc?Flow> >. По сути C<FLow> -  это C<XML::SAX::Machines> N<Introducing XML::SAX::Machines. L<http://www.xml.com/pub/a/2002/02/13/sax-machines.html|http://www.xml.com/pub/a/2002/02/13/sax-machines.html>> в максимально  упрощенном виде: выброшен XML и SAX, а осталась лишь идея композиции - Machines I<( то, что требуется для построения роботов! )>.


caption

Простое должно оставаться простым


head

Концептуально библиотека C<Flow> похожа на набор привычных утилит: grep, tail, head, которые используются ежедневно в командной строке. Они ориентированы на построчную I<потоковую> обработку и будучи объединенными в I<pipe> реализуют необходимую логику. Например:


Данная команда выведет строки из файла, содержащие "MyLine".


Идея компоновки простых инструментов в "pipe" используется в Flow. Указанный ниже код реализует аналогичную логику:


code

=begin code
  use Flow;
  my $f = create_flow( 
		Grep=>qr/MyLine/,
                sub {print @_; \@_}
	);
  open FH, "<test_file.txt";
  $p = $f->parser;
  $p->begin;
  while (my $str = <FH> ) {
   $p->flow($str)
  }
  $p->end;
=end code


Особенностью C<Flow>, является то, что процесс обработки потока позволяет применять логику к буферу, содержащим несколько элементов данных.


my $f = create_flow( Splice=>20, Grep=>qr/MyLine/) 


Благодаря этому достигается компромисс в виде блочной обработки данных. Это позволяет снизить процессорные затраты на вызовы методов. К тому же варьируя размер блока данных ( C<Splice> ) можно регулировать использование памяти.


Пример использования библиотеки Flow


Чтобы продемонстрировать возможности библиотеки, рассмотрим небольшую задачу. Пусть нам необходимо найти произведение чисел, хранящихся в файле. Содержимое файла следующее:


Таким образом имеем простой файл, в каждой строке которого находится число. Код, решающий эту задачу, выглядит следующим образом:


=begin code :allow<B>
  use Flow;
  my $res = 1;
  my $f = create_flow(
            #Печатаем каждую прочитанную строку
	    sub { print "process:",@_,"\n" ;\@_},
            #Результат произведения накапливаем в 
            # переменной B<$res>
	    sub { $res *= $_ for @_}
	);
  open FH, "<test_file.txt";
  $p = $f->parser;
  $p->begin;
  while (my $str = <FH> ) {
   $p->flow($str)
  }
  $p->end;
  # вывод результата 
  print "$res \n";

=end code


Результат работы скрипта следующий:


Результат произведения чисел равен 0. Для этого была прочитана каждая строка файла и произведено действие умножения.


В приведенном примере обработка завершиться как только будет достигнут конец файла. Для нашей задачи результат становится очевидным, если будет встречен 0, так как если среди множителей есть 0, то и произведение будет равно 0. Дальнейшая выборка чисел и обработка не нужна.


Особенностью C<Flow> является обратная связь, существующая между циклом формирования потока данных и элементами, обрабатывающими этот поток. Возможна ситуация, когда дальнейшая обработка не имеет смысла. Например, необходимая информация была найдена или встречены данные, при которых продолжение вычислений теряет смысл I<( как в рассмотренном примере )>. 


Реализуется данный механизм исходя из следующего соглашения. Если блок кода или метод объекта в последовательности обработчиков возвращает C<undef> или ссылку на массив, то производится дальнейшая обработка данных. Иначе данный результат рассматривается как особый и возвращается в инициирующий поток цикл. В нашем примере таким циклом является построчное чтение из файла.


C учетом описанных особенностей модифицируем код примера:


=begin code :allow<B>
  use Flow;
  my $res = 1;
  my $f = create_flow(
	    sub { print "process:",@_,"\n" ;\@_},
	    sub { 
		for (@_) {
	   #Возращаем 1 как признак особого случая
		$res *= $_ B< or return 1> 
			}
		\@_ # передача данных далее "по цепочке"
		}
	);
  open FH, "<test_file.txt"; 
  $p = $f->parser;
  $p->begin;
  while (my $str = <FH> ) {
  # прекращаем дальнейшую обработку 
   B<last if> $p->flow($str)
  }
  $p->end;
  # вывод результата 
  print "$res \n";

=end code


Результат будет следующим:


Как видим возможно управлять процессом формирования потока данных из компонент, обрабатывающих сам поток данных.


Именно наличие подобной управляющей обратной связи N< Обратная связь. L<http://ru.wikipedia.org/wiki/Обратная_свзяь|http://ru.wikipedia.org/wiki/%D0%9E%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%B0%D1%8F_%D1%81%D0%B2%D1%8F%D0%B7%D1%8C>. Наиболее полную информацию об обратных связях можно почерпнуть из курса по "Автоматизированным Системам Управления".>, позволяет достигать оптимальных результатов при обработке данных. 


Данный пример прост, но общее понимание принципа работы библиотеки C<Flow> поможет при ее использовании в более сложных задачах.
