Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
utile:hadoop_hbase [2015/09/27 15:46]
Andrei Roșu-Cojocaru
utile:hadoop_hbase [2015/09/28 02:09] (current)
Andrei Roșu-Cojocaru [Plugin Hadoop pentru Eclipse]
Line 508: Line 508:
 ====== Plugin Hadoop pentru Eclipse ===== ====== Plugin Hadoop pentru Eclipse =====
  
-Dezvoltarea aplicațiilor Hadoop / HDFS în Eclipse poate fi facilitată de folosirea ​unui plugin: +Dezvoltarea aplicațiilor Hadoop / HDFS în Eclipse poate fi facilitată de folosirea [[http://aipi2015.andreirosucojocaru.ro/​hadoop-eclipse-plugin-2.6.1.jar|unui plugin]].
- +
-  * [[http://aipi2014.andreirosucojocaru.ro/​hadoop-eclipse-kepler-plugin-2.2.0.jar|Hadoop 2.2.0]] +
-  * [[http://​aipi2014.andreirosucojocaru.ro/​hadoop-eclipse-kepler-plugin-2.6.0.jar|Hadoop 2.6.0]]+
  
 Arhiva ''​.jar''​ corespunzătoare acestuia trebuie copiată în subdirectorul ''​plugins''​ al mediului de dezvoltare Eclipse pentru a putea fi folosit corespunzător. Arhiva ''​.jar''​ corespunzătoare acestuia trebuie copiată în subdirectorul ''​plugins''​ al mediului de dezvoltare Eclipse pentru a putea fi folosit corespunzător.
Line 561: Line 558:
  
 Configurarea unui proiect Map/Reduce se face prin //New// → //Project// → //​Map/​Reduce//​ → //​Map/​Reduce Project//, specificându-se și locația unde a fost instalat framework-ul Hadoop pe discul local (//Use Default Hadoop// → //Configure Hadoop install directory...//​) Configurarea unui proiect Map/Reduce se face prin //New// → //Project// → //​Map/​Reduce//​ → //​Map/​Reduce Project//, specificându-se și locația unde a fost instalat framework-ul Hadoop pe discul local (//Use Default Hadoop// → //Configure Hadoop install directory...//​)
- 
-{{ :​utile:​hadoop_hbase:​hadoop_plugin05.png?​nolink&​600 }} 
  
 {{ :​utile:​hadoop_hbase:​hadoop_plugin06.png?​nolink&​600 }} {{ :​utile:​hadoop_hbase:​hadoop_plugin06.png?​nolink&​600 }}
  
 {{ :​utile:​hadoop_hbase:​hadoop_plugin07.png?​nolink&​600 }} {{ :​utile:​hadoop_hbase:​hadoop_plugin07.png?​nolink&​600 }}
- 
-Ulterior, clasele specifice acestui tip de aplicaţii (clasa principală,​ respectiv clasele Mapper şi Reducer) se vor genera automat (//New// → //Other// → //​Map/​Reduce//​ de unde se selectează tipurile de clasă respective: //MapReduce Driver//, //Mapper// şi //​Reducer//​),​ utilizatorul completând numai conţinutul metodelor responsabile cu sarcinile executate pe fiecare cluster în parte şi cu prelucrarea rezultatelor finale pe baza informaţiilor provenite de la proces care a rulat o anumită parte a sarcinii. ​ 
  
 {{ :​utile:​hadoop_hbase:​hadoop_plugin08.png?​nolink&​600 }} {{ :​utile:​hadoop_hbase:​hadoop_plugin08.png?​nolink&​600 }}
 +
 +Ulterior, clasele specifice acestui tip de aplicaţii (clasa principală,​ respectiv clasele Mapper şi Reducer) se vor genera automat (//New// → //Other// → //​Map/​Reduce//​ de unde se selectează tipurile de clasă respective: //MapReduce Driver//, //Mapper// şi //​Reducer//​),​ utilizatorul completând numai conţinutul metodelor responsabile cu sarcinile executate pe fiecare cluster în parte şi cu prelucrarea rezultatelor finale pe baza informaţiilor provenite de la proces care a rulat o anumită parte a sarcinii. ​
  
 {{ :​utile:​hadoop_hbase:​hadoop_plugin09.png?​nolink&​600 }} {{ :​utile:​hadoop_hbase:​hadoop_plugin09.png?​nolink&​600 }}
 +
 +{{ :​utile:​hadoop_hbase:​hadoop_plugin10.png?​nolink&​600 }}
 +
 +{{ :​utile:​hadoop_hbase:​hadoop_plugin11.png?​nolink&​600 }}
  
 De asemenea, pentru clasele de tip ''​Mapper''​ / ''​Reducer'',​ vor trebui specificate tipul de intrare şi tipul de ieşire prin indicarea clasei de bază parametrizate pe care o vor moșteni. De asemenea, pentru clasele de tip ''​Mapper''​ / ''​Reducer'',​ vor trebui specificate tipul de intrare şi tipul de ieşire prin indicarea clasei de bază parametrizate pe care o vor moșteni.
  
-{{ :utile:hadoop_plugin10.jpg?​nolink&​600 }}+{{ :utile:hadoop_hbase:​hadoop_plugin12.png?​nolink&​600 }}
  
-{{ :utile:hadoop_plugin11.jpg?​nolink&​600 }}+{{ :utile:hadoop_hbase:​hadoop_plugin13.png?​nolink&​600 }}
  
-{{ :utile:hadoop_plugin12.jpg?​nolink&​600 }}+{{ :utile:hadoop_hbase:​hadoop_plugin14.png?​nolink&​600 }}
  
-{{ :utile:hadoop_plugin13.jpg?​nolink&​600 }}+{{ :utile:hadoop_hbase:​hadoop_plugin15.png?​nolink&​600 }}
  
 Întrucât se doreşte ca rezultatele procesărilor distribuite să fie afişate în cadrul consolei Eclipse, se va crea un fişier ''​log4j.properties''​ care va fi plasat în subdirectorul ''​bin''​ al proiectului respectiv: Întrucât se doreşte ca rezultatele procesărilor distribuite să fie afişate în cadrul consolei Eclipse, se va crea un fişier ''​log4j.properties''​ care va fi plasat în subdirectorul ''​bin''​ al proiectului respectiv:
Line 594: Line 593:
 </​file>​ </​file>​
  
-Rularea proiectului va trebui realizată în contexul Hadoop, astfel încât să fie invocate procesele care sunt responsabile cu distribuirea sarcinii, respectiv cu preluarea rezultatelor obţinute în urma prelucrărilor pe diferite sarcini. Astfel, din meniul contextual al proiectului va trebui să se specifice ​''​Run As'' ​→ ''​Run On Hadoop''​.+Rularea proiectului va trebui realizată în contexul Hadoop, astfel încât să fie invocate procesele care sunt responsabile cu distribuirea sarcinii, respectiv cu preluarea rezultatelor obţinute în urma prelucrărilor pe diferite sarcini. Astfel, din meniul contextual al proiectului va trebui să se specifice ​//Run As// → //Run On Hadoop//.
  
-{{ :utile:hadoop_plugin14.jpg?nolink&​500 ​}}+{{ :utile:hadoop_hbase:​hadoop_plugin16.png?nolink }}
  
 Pe măsură ce este rulată aplicaţia, în consolă vor fi afişate actualizările privind sarcinile de tip map şi sarcinile de tip reduce, exprimate procentual. Pe măsură ce este rulată aplicaţia, în consolă vor fi afişate actualizările privind sarcinile de tip map şi sarcinile de tip reduce, exprimate procentual.
utile/hadoop_hbase.1443357979.txt.gz · Last modified: 2015/09/27 15:46 by Andrei Roșu-Cojocaru
CC Attribution-Share Alike 4.0 International
Driven by DokuWiki Recent changes RSS feed Valid CSS Valid XHTML 1.0