В общем суть его заключается в том, что теперь индекс будет обновляться не слоями, а "кусками" и постоянно, что позволит попадать сайтам в индекс google гораздо быстрей. Теперь можно будет отслеживать изменения, а следовательно принимать меры гораздо оперативней!
Источник — более подробно
Ниже по ссылке оригинал.
Там достаточно много интересного и полезного из первых рук.
Caffeine – новая система индексирования веб-сайтов от Google
09.06.2010
Кэрри Грим, разработчик Google