Lec14 Crawlers
Lec14 Crawlers
Lec14 Crawlers
'
( !
) *
+
,
– *
-
– *
)
# –
. * - ! '
( ! ! ! *
,! * /!
– ! 0*
"# ! $%%&
1
( ! 1
) ,
2 ) / 03
( 3 ,
+ ) 4 3
4 !
5 …
+4
4 * +)
# +) 4,
’ ! / 0* 3
"# ! $%%&
+ ,
“ ”
!"""
"# ! $%%&
2
–
/ 0
,
1 !
7 ,
1 !
1 ! “ ”
"# ! $%%&
5
( * ' +–
! 8
* !
! ! * ! !
,
5
- !
2 '
! 4 #
2
8 !
1 …
"# ! $%%&
3
2 ' 4
GET /index.html HTTP/1.0
<HEAD><TITLE>Document moved</TITLE></HEAD>
<BODY><H1>Document moved</H1>
This document has moved
<A
HREF="http://mapuccino.haifa.ibm.com/mapuccino/index.html">
here</A>.<P>
</BODY>
(slide courtesy of Michael Herscovici and Michal Jacobi)
"# ! $%%&
, 2 3
) 1 3 )
2 9%:.
9%$
,1 …
2 ! ,
( ) 4 *;;
) <
!, ) *
) +
6 4
) 4
+ +
+'!
"# ! $%%&
4
/ ;
0
1 ) 1 ) *
)
3 ! )
* !
1 ! * 3 ’
1’ )
1’ ) !4
=
, 4 1’ )
( 4
) 3 > / ) 0
3 4 ! 4 *
) / *
+ 0
"# ! $%%&
2 '1
1 !
3
“ ” !
3
- !
. 3
! *
! ' !
! / ;;
’ .2 0
"# ! $%%&
5
2 ' ! 4
! 4 2 *( !
! '
! 4 2 # $
' –
1 “( ! 3 ”
1 > ! 4
4
1 ! ;4 / 0
! *
%
/ 8 !0
"# ! $%%&
2 -
-
“ '3 ” ;
2 - ,
/ 0
#
3
2
+ *2 +
! * +
)
;;) “ ”* )
"# ! $%%&
6
2 - ' 4
% & '() %
* * * *
+ , -% .
/
. %
0% . *
. %
1* 234
% 5 %
* .6 7
%
% . . *
% 7
. * *
*
, 3 *
* %
+. 8 * .
7, 3 0% 8
! " #$$
"# ! $%%&
2 - '
% &9#: % . * 8 ;:* 7
, 3 5* % 9#:
* - 8 , 3
< . . % 7
% . =, 3 &
% 6 7
* <
3 8 0 . %
, 3 7 7 = . > * +
? 7,
@A *
B#$$
"# ! $%%&
7
( !2 )
“1 ( !2 ”*# ;
*
(((’$%%9,
:?: + :: +
$%%$ $%%9
1 ' ! '
1! :%
;1 @ :%
A?B *
AAB /:: 0
( +' ' + ,
C?;
$B ( ! +
1 @;
$B *
'
2 *;;
"# ! $%%&
5 !
2 ! ,
) , 3
2 ,
’
# ,
,
3 ' '
1 ,
! !! , !!
/:0 ! 3 3*/$0 + ! *
/90 ! 3
"# ! $%%&
8
D
“D ( ! ”*( ;
*
(((’$%%$,
1 6 ! *
E6 !
1 >’ '
! +
- . ! !
,
! 4> >*
…*
>F:* 6 4> F
>/:0G…G >/4>0 / ! % 0
>
4 D/6H6 / .
600
"# ! $%%&
D / ;
0
D ! *
+ ! * +!
! + +
1 ! + + .+
’ > ’ +
! +* I >/ 0 – .+I
! +
! 4 - ! – *
! ! + !
' '
!
- !
* + -!
* ! !
"# ! $%%&
9
D / ;
0
4 '
! /2 *2 3 ' 0
D!> , -
6 ' /<
0 , !
* ! +
3
"# ! $%%&
#
1
, !
2 , '
! , ' + '
* ' +
.
+
+ '
) + ' 4
)
! '
3
"# ! $%%&
10
,
( !
( ! / ; !; 0
! 1
2 . 3 #2*
2 * ! > !*JK1* ;
,.
. ; !; . ;
.
;; !L L * + ( !
( / ; ; 0
D
5
/ ; ; 0
D
' ' 5 * ' '
(
"# ! $%%&
,
5 ( )
5 *
2
2 '# !
5 !
"# ! $%%&
11
,
2 ( ’
:; 1 ! 4 ,
:; - ( !
$;
9; ! + +
$; ,
:; / *3 0
$; / 0
9; 4
"; 5 ! + / ;; ' 0
9; 7 * * *
"; 2 - * *
?; / 0
C; 5 -
&; ' * + *
…
"# ! $%%&
( !'
– * *
4 ; ! ;
1 ,
>
'
,
1 .
, 2 * > *
K5 ;
"# ! $%%&
12