Перейти к содержимому


Фотография

Python, MongoDB, XLSX


10 ответов в этой теме

#1 DarkTwin

DarkTwin

    Пернатый пЫнгвЫн

  • True Members
  • PipPipPipPipPip
  • 3 227 сообщений
293
Очень хороший
  • Пол:Мужчина

Опубликовано 31 Октябрь 2016 - 19:10

Давайте пообщаемся :)

 

У меня, по всей видимости, не понимание каких то основ.

 

Ради развлечения написал сбор данных с росреестр. Там обычный rest api, правда описания нет, но кого это останавливает.

Отдает он в json - по этому монга.

 

Данные собрал - надо фильтровать нужные поля и выводить для дальнейшего анализа.

Ок - проблем нет collection.find({...}, {...}).where(..)

 

А вот дальше у меня каша. 

Как мне из полученного массива данных, красиво, структурировано, возможно в шаблон, вывести данные?

 

Конечно можно не xlsx, а cvs. 

 

 

PS.

Пишу тут, а не на профильных форумах - ради общения :)

 


Маленький вывод

Меня интересует адрес и кадастр. Площади и стоимости на потом. 

Spoiler

  • 1

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц


#2 Beowulf

Beowulf

    Злобный программист

  • True Members
  • PipPipPipPipPip
  • 1 859 сообщений
195
Очень хороший
  • Пол:Мужчина
  • Интересы:Программирую все, что можно

Опубликовано 01 Ноябрь 2016 - 17:29

Смаппить в структуру/объект или что-то ещё что есть в питоне?


  • 0

#3 key

key

    -=SunKain=-

  • True Members
  • PipPipPipPipPip
  • 2 489 сообщений
12
Обычный
  • Пол:Мужчина
  • Город:Аден

Опубликовано 01 Ноябрь 2016 - 17:40

А может тупо забить на Python и переписать все на C#?

Там тем более у них есть уже DataProvider обертка для работы с MongoDB. Все бесплатно.

И маппинг простой получится.


  • 0
Mess with the best
Die like the rest

Размещенное изображение

Пуля производит удивительные изменеия в голове, даже если она попала в задницу.
(С) Лукьяненко "Черновик"

Conseal nohing.
And watch the fools searching forever.

#4 DarkTwin

DarkTwin

    Пернатый пЫнгвЫн

  • True Members
  • PipPipPipPipPip
  • 3 227 сообщений
293
Очень хороший
  • Пол:Мужчина

Опубликовано 01 Ноябрь 2016 - 18:47


Смаппить в структуру/объект или что-то ещё что есть в питоне?

dictionary если взять python... Вообще есть вполне себе структура JSON.  Вот только под миллион записей так обрабатывать в словаре... что то тут не так. Занимает секунды, но все ровно что то не так. К тому же у меня проблема в осознании структуры самого json. 

 

 

 


А может тупо забить на Python и переписать все на C#? Там тем более у них есть уже DataProvider обертка для работы с MongoDB. Все бесплатно. И маппинг простой получится.

- чем C# лучше ? И это риторический вопрос.

- DataProvider... PyMongo https://api.mongodb....python/current/  и появился он чуть ли не самый первый. Бесплатно это хорошо, но и тут не за деньги. 

- у меня нет проблемы вывести данные. у меня проблема сделать это красиво и правильно :) А да еще хотелось бы в шаблон :)

 

 

До кучи. "Валидатор" json не подскажите ? 


  • 0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц


#5 Beowulf

Beowulf

    Злобный программист

  • True Members
  • PipPipPipPipPip
  • 1 859 сообщений
195
Очень хороший
  • Пол:Мужчина
  • Интересы:Программирую все, что можно

Опубликовано 02 Ноябрь 2016 - 00:41

jsonlint.com

 

джейсон маппит объекты в {} и массивы/списки/коллекции/мапы в []

 

если объект, всё просто: 

 

{ "field1" : "fieldValue1", ... }

 

"fieldValue1" - может быть чем угодно (значение, объект, массив) "field1" : { "innerObjectField" : "innerObjectFieldValue" }

 

всё просто )

а насчёт красиво - для красивости ты как раз описываешь словарь, в который у тебя автоматически будет маппится ответ


  • 0

#6 DarkTwin

DarkTwin

    Пернатый пЫнгвЫн

  • True Members
  • PipPipPipPipPip
  • 3 227 сообщений
293
Очень хороший
  • Пол:Мужчина

Опубликовано 02 Ноябрь 2016 - 10:15

Статья как по заказу 

https://habrahabr.ru...ru/blog/314014/  :) 


  • 0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц


#7 key

key

    -=SunKain=-

  • True Members
  • PipPipPipPipPip
  • 2 489 сообщений
12
Обычный
  • Пол:Мужчина
  • Город:Аден

Опубликовано 02 Ноябрь 2016 - 16:26

Ты же пообщаться хотел :) 

C# просто для других целей. Тем более мой личный опыт основывается на C#, поэтому и предложил.


  • 0
Mess with the best
Die like the rest

Размещенное изображение

Пуля производит удивительные изменеия в голове, даже если она попала в задницу.
(С) Лукьяненко "Черновик"

Conseal nohing.
And watch the fools searching forever.

#8 DarkTwin

DarkTwin

    Пернатый пЫнгвЫн

  • True Members
  • PipPipPipPipPip
  • 3 227 сообщений
293
Очень хороший
  • Пол:Мужчина

Опубликовано 02 Ноябрь 2016 - 18:34

Ну тогда мое предложение - Go

А конкретнее как то так

https://yadi.sk/i/GVHQjpZ8xyR7c

 

Идея сделать отдельно утилиту на GO для разбора и переконвертации мне понравилась. Надо сделать еще один велосипед :)

 

Я не имею ни чего против C#, но менять язык только потому что в текущем что от не получается, притом не получается исключительно из за незнания, а не потому что нельзя - глупо. 

 

 

Пока остановился на разборе ручками - создание словарей - вывод из словаря в csv

А дальше пусть экономисты развлекаются. 


  • 0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц


#9 Beowulf

Beowulf

    Злобный программист

  • True Members
  • PipPipPipPipPip
  • 1 859 сообщений
195
Очень хороший
  • Пол:Мужчина
  • Интересы:Программирую все, что можно

Опубликовано 03 Ноябрь 2016 - 00:10

И чего людей на всякое непотребство тянет?)


  • 0

#10 key

key

    -=SunKain=-

  • True Members
  • PipPipPipPipPip
  • 2 489 сообщений
12
Обычный
  • Пол:Мужчина
  • Город:Аден

Опубликовано 08 Ноябрь 2016 - 18:10

Скучно, наверное. 

Жены нет, детей нет, времени свободного дофигищи :)


  • 0
Mess with the best
Die like the rest

Размещенное изображение

Пуля производит удивительные изменеия в голове, даже если она попала в задницу.
(С) Лукьяненко "Черновик"

Conseal nohing.
And watch the fools searching forever.

#11 DarkTwin

DarkTwin

    Пернатый пЫнгвЫн

  • True Members
  • PipPipPipPipPip
  • 3 227 сообщений
293
Очень хороший
  • Пол:Мужчина

Опубликовано 08 Ноябрь 2016 - 18:17

Угадал только про детей.

Если бы было время или много людей - делали бы руками :)

 

Все это для https://www.reformagkh.ru https://dom.gosuslugi.ru/#!/main 

Я в управляющей компании работаю :)

 

В принципе все сделал.

База по 20 кварталам у меня есть. 

Если вдруг кому эта хрень нужна будет - дам. 


  • 0

"Люди забыли эту истину, - сказал Лис, - но ты не забывай: ты навсегда в ответе за всех, кого приручил..."

Антуан де Сент-Экзюпери. Маленький принц




Ответить в эту тему



  

Посетителей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных пользователей