Differences

This shows you the differences between two versions of the page.

--- utile:hadoop_hbase [2015/09/27 15:44]
Andrei Roșu-Cojocaru
+++ utile:hadoop_hbase [2015/09/28 02:09] (current)
Andrei Roșu-Cojocaru [Plugin Hadoop pentru Eclipse]
@@ Line 357: / Line 357: @@
 Framework-ul Hadoop pune la dispoziția utilizatorilor interfețe web ce permit monitorizarea cluster-ului:
-  * procesul NameNode ([[http://localhost:50070|]]) oferă informații cu privire la sistemul de fișiere distribuit HDFS, putând fi consultată inclusiv structura acestuia și descărcate resurse din cadrul său;\\ {{ :utile:hadoop_hbase:hadoop_namenode.png?nolink&700 }}
+  * procesul NameNode ([[http://localhost:50070|]]) oferă informații cu privire la sistemul de fișiere distribuit HDFS, putând fi consultată inclusiv structura acestuia și descărcate resurse din cadrul său;\\ {{ :utile:hadoop_hbase:hadoop_namenode.png?nolink }}
-  * procesul ResourceManager ([[http://localhost:8088|]]) conține date referitoare la sarcinile care au fost rulate, starea acestora, putând fi consultate și statistici cu privire la aplicațiile executate.\\ {{ :utile:hadoop_hbase:hadoop_resourcemanager.png?nolink&700 }}
+  * procesul ResourceManager ([[http://localhost:8088|]]) conține date referitoare la sarcinile care au fost rulate, starea acestora, putând fi consultate și statistici cu privire la aplicațiile executate.\\ {{ :utile:hadoop_hbase:hadoop_resourcemanager.png?nolink&800 }}
 ====== Instalare HBase 1.1.2 ======
@@ Line 508: / Line 508: @@
 ====== Plugin Hadoop pentru Eclipse =====
-Dezvoltarea aplicațiilor Hadoop / HDFS în Eclipse poate fi facilitată de folosirea unui plugin:
+Dezvoltarea aplicațiilor Hadoop / HDFS în Eclipse poate fi facilitată de folosirea [[http://aipi2015.andreirosucojocaru.ro/hadoop-eclipse-plugin-2.6.1.jar|unui plugin]].
-  * [[http://aipi2014.andreirosucojocaru.ro/hadoop-eclipse-kepler-plugin-2.2.0.jar|Hadoop 2.2.0]]
-  * [[http://aipi2014.andreirosucojocaru.ro/hadoop-eclipse-kepler-plugin-2.6.0.jar|Hadoop 2.6.0]]
 Arhiva ''.jar'' corespunzătoare acestuia trebuie copiată în subdirectorul ''plugins'' al mediului de dezvoltare Eclipse pentru a putea fi folosit corespunzător.
@@ Line 561: / Line 558: @@
 Configurarea unui proiect Map/Reduce se face prin //New// → //Project// → //Map/Reduce// → //Map/Reduce Project//, specificându-se și locația unde a fost instalat framework-ul Hadoop pe discul local (//Use Default Hadoop// → //Configure Hadoop install directory...//)
-{{ :utile:hadoop_hbase:hadoop_plugin05.png?nolink&600 }}
 {{ :utile:hadoop_hbase:hadoop_plugin06.png?nolink&600 }}
 {{ :utile:hadoop_hbase:hadoop_plugin07.png?nolink&600 }}
-Ulterior, clasele specifice acestui tip de aplicaţii (clasa principală, respectiv clasele Mapper şi Reducer) se vor genera automat (//New// → //Other// → //Map/Reduce// de unde se selectează tipurile de clasă respective: //MapReduce Driver//, //Mapper// şi //Reducer//), utilizatorul completând numai conţinutul metodelor responsabile cu sarcinile executate pe fiecare cluster în parte şi cu prelucrarea rezultatelor finale pe baza informaţiilor provenite de la proces care a rulat o anumită parte a sarcinii.
 {{ :utile:hadoop_hbase:hadoop_plugin08.png?nolink&600 }}
+Ulterior, clasele specifice acestui tip de aplicaţii (clasa principală, respectiv clasele Mapper şi Reducer) se vor genera automat (//New// → //Other// → //Map/Reduce// de unde se selectează tipurile de clasă respective: //MapReduce Driver//, //Mapper// şi //Reducer//), utilizatorul completând numai conţinutul metodelor responsabile cu sarcinile executate pe fiecare cluster în parte şi cu prelucrarea rezultatelor finale pe baza informaţiilor provenite de la proces care a rulat o anumită parte a sarcinii.
 {{ :utile:hadoop_hbase:hadoop_plugin09.png?nolink&600 }}
+{{ :utile:hadoop_hbase:hadoop_plugin10.png?nolink&600 }}
+{{ :utile:hadoop_hbase:hadoop_plugin11.png?nolink&600 }}
 De asemenea, pentru clasele de tip ''Mapper'' / ''Reducer'', vor trebui specificate tipul de intrare şi tipul de ieşire prin indicarea clasei de bază parametrizate pe care o vor moșteni.
-{{ :utile:hadoop_plugin10.jpg?nolink&600 }}
+{{ :utile:hadoop_hbase:hadoop_plugin12.png?nolink&600 }}
-{{ :utile:hadoop_plugin11.jpg?nolink&600 }}
+{{ :utile:hadoop_hbase:hadoop_plugin13.png?nolink&600 }}
-{{ :utile:hadoop_plugin12.jpg?nolink&600 }}
+{{ :utile:hadoop_hbase:hadoop_plugin14.png?nolink&600 }}
-{{ :utile:hadoop_plugin13.jpg?nolink&600 }}
+{{ :utile:hadoop_hbase:hadoop_plugin15.png?nolink&600 }}
 Întrucât se doreşte ca rezultatele procesărilor distribuite să fie afişate în cadrul consolei Eclipse, se va crea un fişier ''log4j.properties'' care va fi plasat în subdirectorul ''bin'' al proiectului respectiv:
@@ Line 594: / Line 593: @@
 </file>
-Rularea proiectului va trebui realizată în contexul Hadoop, astfel încât să fie invocate procesele care sunt responsabile cu distribuirea sarcinii, respectiv cu preluarea rezultatelor obţinute în urma prelucrărilor pe diferite sarcini. Astfel, din meniul contextual al proiectului va trebui să se specifice ''Run As'' → ''Run On Hadoop''.
+Rularea proiectului va trebui realizată în contexul Hadoop, astfel încât să fie invocate procesele care sunt responsabile cu distribuirea sarcinii, respectiv cu preluarea rezultatelor obţinute în urma prelucrărilor pe diferite sarcini. Astfel, din meniul contextual al proiectului va trebui să se specifice //Run As// → //Run On Hadoop//.
-{{ :utile:hadoop_plugin14.jpg?nolink&500 }}
+{{ :utile:hadoop_hbase:hadoop_plugin16.png?nolink }}
 Pe măsură ce este rulată aplicaţia, în consolă vor fi afişate actualizările privind sarcinile de tip map şi sarcinile de tip reduce, exprimate procentual.